JP2021529370A - ターゲット対象の向きの決定方法、スマート運転制御方法及び装置並びに機器 - Google Patents

Abstract

本願の実施形態は、ターゲット対象の向きの決定方法及び装置、スマート運転制御方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラムを開示する。該ターゲット対象の向きの決定方法は、ターゲット対象の向きの決定方法は、画像におけるターゲット対象の可視面を取得することと、三次元空間の水平面での、前記可視面における複数の点の位置情報を取得することと、前記位置情報に基づいて、前記ターゲット対象の向きを決定することと、を含む。

Description

（関連出願の相互参照）
本願は、２０１９年５月３１日に中国特許局提出された出願番号２０１９１０４７０３１４．０、発明名称「ターゲット対象の向きの決定方法、スマート運転制御方法及び装置並びに機器」の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願は、コンピュータビジョン技術に関し、特に、ターゲット対象の向きの決定方法、ターゲット対象の向きの決定装置、スマート運転制御方法、スマート運転制御装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラムに関する。

車両、他の乗り物及び歩行者などのターゲット対象の向きの決定は、視覚的認知技術における重要な事項である。例えば、道路状況が複雑である適用シーンにおいて、車両の向きを正確に決定することは、交通事故の発生を避けるのに寄与し、更に、車両のスマート運転の安全性の向上に寄与する。

本願の実施例形態は、ターゲット対象の向きの決定の技術的解決手段及びスマート運転制御の技術的解決手段を提供する。

本願の実施形態の第１態様によれば、ターゲット対象の向きの決定方法を提供する。該方法は、画像におけるターゲット対象の可視面を取得することと、三次元空間の水平面での、前記可視面における複数の点の位置情報を取得することと、前記位置情報に基づいて、前記ターゲット対象の向きを決定することと、を含む。

本願の実施形態の第２態様によれば、スマート運転制御方法を提供する。前記方法は、車両に設けられた撮像装置により、前記車両が位置する路面のビデオストリームを取得することと、ターゲット対象の向きの決定方法を利用して、前記ビデオストリームに含まれる少なくとも１つのビデオフレームに対して、ターゲット対象の向きの決定処理を行い、ターゲット対象の向きを得ることと、前記ターゲット対象の向きに基づいて、前記車両の制御命令を生成して出力することと、を含む。

本願の実施形態の第３態様によれば、ターゲット対象の向きの決定装置を提供する。該装置は、画像におけるターゲット対象の可視面を取得するように構成される第１取得モジュールと、三次元空間の水平面での、前記可視面における複数の点の位置情報を取得するように構成される第２取得モジュールと、前記位置情報に基づいて、前記ターゲット対象の向きを決定するように構成される決定モジュールと、を備える。

本願の実施形態の第４態様によれば、スマート運転制御装置を提供する。前記装置は、車両に設けられた撮像装置により、前記車両が位置する路面のビデオストリームを取得するように構成される第３取得モジュールと、ターゲット対象の向きの決定方法を利用して、前記ビデオストリームに含まれる少なくとも１つのビデオフレームに対して、ターゲット対象の向きの決定処理を行い、ターゲット対象の向きを得るように構成されるターゲット対象の向きの決定装置と、前記ターゲット対象の向きに基づいて、前記車両の制御命令を生成して出力するように構成される制御モジュールと、を備える。

本願の実施形態の第５態様によれば、電子機器を提供する。前記電子機器は、コンピュータプログラムを記憶するように構成されるメモリと、前記メモリに記憶されているコンピュータプログラムを実行し、且つ前記コンピュータプログラムが実行される時、本願のいずれか１つの方法の実施形態を実現させるように構成されるプロセッサと、を備える。

本願の実施形態の第６態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される時、本願のいずれか１つの方法の実施形態を実現させる。

本願の実施形態の第７態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムはコンピュータ命令を含み、前記コンピュータ命令が機器のプロセッサで実行される時、本願のいずれか１つの方法の実施形態を実現させる。

本願で提供されるターゲット対象の向きの決定方法及び装置、スマート運転制御方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラムによれば、三次元空間の水平面での、画像中のターゲット対象の可視面における複数の点の位置情報を利用して、ターゲット対象の向きをフィッティングして決定することで、ニューラルネットワークにより向きの分類を行ってターゲット対象の向きを得るという実現形態に存在する、向き分類のためのニューラルネットワークにより予測した向きの精度が不十分であり、向き角度値を直接的に回帰するニューラルネットワークの訓練が複雑であるという課題を効果的に避け、ターゲット対象の向きの迅速かつ正確な取得に寄与する。これから分かるように、本願で提供される技術的解決手段は、得られたターゲット対象の向きの正確度の向上に寄与し、得られたターゲット対象の向きのリアルタイム性の向上にも寄与する。

以下、図面及び実施形態を参照しながら、本願の技術的解決手段を更に詳しく説明する。

本願によるターゲット対象の向きの決定方法の一実施形態を示すフローチャートである。 本願による取得された、画像におけるターゲット対象の可視面を示す概略図である。 本願による車両前側面の有効領域を示す概略図である。 本願による車両後側面の有効領域を示す概略図である。 本願の車両左側面の有効領域を示す概略図である。 本願の車両右側面の有効領域を示す概略図である。 本願による車両前側面での、有効領域を選択するための位置枠を示す概略図である。 本願による車両右側面での、有効領域を選択するための位置枠を示す概略図である。 本願による車両後側面の有効領域を示す概略図である。 本願による奥行きマップを示す概略図である。 本願による有効領域の点集合選択エリアを示す概略図である。 本願による直線フィッティングを示す概略図である。 本願によるスマート運転制御方法の一実施形態を示すフローチャートである。 本願によるターゲット対象の向きの決定装置の一実施形態の構造を示す概略図である。 本願によるスマート運転制御装置の一実施形態の構造を示す概略図である。 本願の実施形態を実現させるための一例示的な機器を示すブロック図である。

明細書の一部を構成する図面は、本願の実施例を記述し、その記述とともに、本願の原理の解釈に役立つ。

図面を参照しながら、下記詳細な記述に基づいて、本願をより明確に理解することができる。

以下、図面を参照しながら、本願の様々な例示的な実施例を詳しく説明する。別途明記されない限り、これらの実施例において説明される構成要素の相対的配置及びステップの相対的配列、数式及び数値は、本願の範囲を限定するものではないことに留意されたい。

また、説明の便宜上、図示の各部分の寸法は実際の比例関係に従って描かれたものではないことが理解されるべきである。以下の少なくとも１つの例示的な実施例の説明は本質的に単なる例であり、本発明及びその適用又は用途を限定することをまったく意図しない。

当業者が既知の技術、方法および設備について詳しく述べることはないが、適宜な状況において、前記技術、方法および設備は明細書の一部とみなすべきである。

類似した符号及びアルファベットは下記図面において類似した要素を表すため、いずれか１つの要素が１つの図面において定義された場合、後続図面においてそれをこれ以上検討する必要がないことに留意されたい。

本願の実施例は、端末装置、コンピュータシステム及びサーバなどの電子機器に適用される。それは、多数の他の汎用又は専用コンピュータシステム環境又は構成とともに動作する。端末装置、コンピュータシステム及びサーバなどの電子機器と共に適用されるのに適する周知の端末装置、コンピューティングシステム、環境及び／又は構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルド又はラップトップデバイス、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブル消費者向け電子機器製品、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び上記任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

端末装置、コンピュータシステム及びサーバ等の電子機器は、コンピュータシステムにより実行されるコンピュータシステムによる実行可能な命令（例えば、プログラムモジュール）の一般的な内容で説明できる。一般的には、プログラムモジュールは、ルーチン、プログラム、対象プログラム、ユニット、ロジック、データ構造などを含んでもよいが、これらは、特定のタスクを実行するか又は特定の抽象データ型を実現させる。コンピュータシステム／サーバを、分散型クラウドコンピューティング環境において実行することができる。分散型クラウドコンピューティング環境において、タスクは、通信ネットワークを介してリンクされるリモート処理デバイスにより実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは、記憶装置を備えるローカル又はリモートコンピューティングシステム記憶媒体に位置してもよい。

例示的な実施例
本願のターゲット対象の向きの決定方法は、車両向き検出、ターゲット対象の３Ｄ検出及び車両軌跡フィッティングなどの多くの用途に適用可能である。例えば、ビデオにおける各ビデオフレームについて、本願の方法で各ビデオフレームにおける各車両の向きを決定することができる。また例えば、ビデオにおけるいずれか１つのビデオフレームについて、本願の方法で該ビデオフレームにおけるターゲット対象の向きを決定することができる。従って、ターゲット対象の向きを取得した上で、三次元空間での、該ビデオフレームにおけるターゲット対象の位置及びスケールを得て、３Ｄ検出を実現させることができる。また例えば、ビデオにおける複数の連続したビデオフレームについて、本願の方法で、複数のビデオフレームにおける同一の車両の向きをそれぞれ決定し、同一の車両の複数の向きを利用して車両の走行軌跡をフィッティングすることができる。

図１は、本願によるターゲット対象の向きの決定方法の一実施例を示すフローチャートである。図１に示すように、該実施例の方法は、ステップＳ１００、ステップＳ１１０及びステップＳ１２０を含む。以下、各ステップについて詳しく説明する。

Ｓ１００において、画像におけるターゲット対象の可視面を取得する。

任意選択的な例において、本願における画像は、ピクチャ、写真及びビデオにおけるビデオフレームなどであってもよい。例えば、画像は、移動可能な物体に設けられた撮像装置により撮られたビデオにおけるビデオフレームであってもよい。また例えば、画像は、固定位置に設けられた撮像装置により撮られたビデオにおけるビデオフレームであってもよい。上記移動可能な物体は、車両、ロボット又はマニピュレータ等を含んでもよく、これらに限定されない。上記固定位置は、路面、テーブル面、壁又は路辺などを含んでもよく、これらに限定されない。

任意選択的な例において、本願における画像は、一般的な高精細度撮像装置（例えば、ＩＲ（Ｉｎｆｒａｒｅｄ Ｒａｙ：赤外線）カメラ又はＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ：赤緑青）カメラ等）により得られた画像であってもよい。これにより、本願は、レーダ測距装置及びデプスカメラなどの高スペックなハードウェアを使用しなければならないことによるコストが高いなどの現象を避けるのに寄与する。

任意選択的な例において、本願におけるターゲット対象は、乗り物などのような剛性構造を有するターゲット対象を含むが、これらに限定されない。ここで、乗り物は、一般的には車両を含む。本願における車両は、二輪以上（二輪を含まない）の自動車、二輪以上（二輪を含まない）の非自動車などを含むが、これらに限定されない。二輪以上の自動者は、四輪自動車、バス、トラック、又は専用作業者などを含むが、これらに限定されない。二輪以上の非自動車は、人力三輪車などを含むが、これらに限定されない。本願におけるターゲット対象は、種々の形態であってもよいため、本願のターゲット対象の向きの決定技術の汎用性の向上に寄与する。

任意選択的な例において、本願におけるターゲット対象は一般的には少なくとも１つの面を含む。例えば、ターゲット対象は一般的には、前側面、後側面、左側面及び右側面という４つの面を含む。また例えば、ターゲット対象は、前側上面、前側下面、後側上面、後側下面、左側面及び右側面という６つの面を含んでもよい。ターゲット対象に含まれる面は事前設定されたものである。つまり、面の範囲及び数は、事前設定されたものである。

任意選択的な例において、ターゲット対象が車両である場合、ターゲット対象は、車両前側面、車両後側面、車両左側面及び車両右側面を含んでもよい。車両前側面は、車両頂部前側、車両ヘッドライト前側及び車両シャーシ前側を含んでもよい。車両後側面は、車両頂部後側、車両テールライト後側及び車両シャーシ後側を含んでもよい。車両左側面は、車両頂部左側、車両ヘッドライト及びテールライトの左側面、車両シャーシ左側及び車両左側タイヤを含んでもよい。車両右側面は、車両頂部右側、車両ヘッドライト及びテールライトの右側面、車両シャーシ右側及び車両右側タイヤを含んでもよい。

任意選択的な例において、ターゲット対象が車両である場合、ターゲット対象は、車両前側上面、車両前側下面、車両後側上面、車両後側下面、車両左側面及び車両右側面を含んでもよい。車両前側上面は、車両頂部前側及び車両ヘッドライト前側上端を含んでもよい。車両前側下面は、車両ヘッドライト前側上端及び車両シャーシ前側を含んでもよい。車両後側上面は、車両頂部後側及び車両テールライト後側上端を含んでもよい。車両後側下面は、車両テールライト後側上端及び車両シャーシ後側を含んでもよい。車両左側面は、車両頂部左側、車両前テールライト左側面、車両シャーシ左側及び車両左側タイヤを含んでもよい。車両右側面は、車両頂部右側、車両ヘッドライト及びテールライトの右側面、車両シャーシ右側及び車両右側タイヤを含んでもよい。

任意選択的な例において、本願は、画像分割方式で、画像におけるターゲット対象の可視面を得ることができる。例えば、ターゲット対象の面を単位として画像に対して意味領域分割処理を行う。意味領域分割処理の結果により、画像におけるターゲット対象の全ての可視面（例えば、車両の全ての可視面など）を得ることができる。画像が複数のターゲット対象を含む場合、本願は、画像における各ターゲット対象の全ての可視面を得ることができる。

例えば、図２において、本願は、画像における３つのターゲット対象の可視面を得る。図２に示す画像における各ターゲット対象の可視面は、マスク（ｍａｓｋ）で表される。図２に示す画像における１つ目のターゲット画像は、画像の右下に位置する車両である。１つ目のターゲット対象の可視面は、車両後側面（図２における最右側の車両の濃灰色のｍａｓｋに示すように）及び車両左側面（図２における最右側の車両の薄灰色のｍａｓｋに示すように）を含む。図２に示す画像における２つ目のターゲット対象は、１つ目のターゲット対象の左上に位置する。２つ目のターゲット対象の可視面は、車両後側面（図２における中間の車両の濃灰色のｍａｓｋに示すように）及び車両左側面（図２における中間の車両の灰色のｍａｓｋに示すように）を含む。図２における３つ目のターゲット対象は、２つ目のターゲット対象の左上に位置する。３つ目のターゲット対象の可視面は、車両後側面（図２における最左側の車両の薄灰色のｍａｓｋに示すように）を含む。

任意選択的な例において、本願は、ニューラルネットワークを利用して画像におけるターゲット対象の可視面を得ることができる。例えば、画像をニューラルネットワークに入力し、該ニューラルネットワークにより、画像に対して意味領域分割処理を行い（例えば、ニューラルネットワークにより、まず画像の特徴情報を抽出し、続いて、ニューラルネットワークにより、抽出された特徴情報に対して分類回帰処理などを行う）、ニューラルネットワークにより、入力画像における各ターゲット対象の各可視面の複数の信頼度を生成して出力する。１つの信頼度は、該可視面がターゲット対象の相応面である確率を表す。いずれか１つのターゲット対象のいずれか１つの可視面について、本願は、ニューラルネットワークから出力された該可視面の複数の信頼度に基づいて、該可視面のカテゴリを決定することができる。例えば、該可視面が車両前側面、車両後側面、車両左側面又は車両右側面などであると決定することができる。

任意選択的な例において、本願における画像分割は、インスタンス分割であってもよい。つまり、本願は、インスタンス分割（Ｉｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）アルゴリズムに基づいたニューラルネットワークを利用して画像におけるターゲット対象の可視面を得ることができる。上記インスタンスは、独立した個体と認められてもよい。本願におけるインスタンスは、ターゲット対象の面と認められてもよい。インスタンス分割アルゴリズムに基づいたニューラルネットワークは、Ｍａｓｋ−ＲＣＮＮ（Ｍａｓｋ Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：マスク領域畳み込みニューラルネットワーク）を含むが、これに限定されない。ニューラルネットワークを利用してターゲット対象の可視面を得ると、得られたターゲット対象の可視面の正確性及び取得効率の向上に寄与する。また、ニューラルネットワークが正確度及び処理速度の点で改良されるにつれて、本願のターゲット対象の向きの決定精度及び速度も改良される。なお、本願は、他の方式で画像におけるターゲット対象の可視面を得ることもできる。他の方式は、縁検出に基づいた方式、閾値分割に基づいた方式及びレベル集合に基づいた方式などを含むが、これらに限定されない。

Ｓ１１０において、三次元空間の水平面での、前記可視面における複数の点の位置情報を取得する。

任意選択的な例において、本願における三次元空間は、画像を撮る撮像装置の三次元座標系により区画された三次元空間を指す。例えば、撮像装置の光軸方向は、三次元空間のＺ軸方向（即ち、奥行き方向）である。水平右方向は、三次元空間のＸ軸方向である。垂直下方向は、三次元空間のＹ軸方向である。つまり、撮像装置の三次元座標系は、三次元空間の座標系である。本願における水平面は一般的には、三次元座標系におけるＺ軸方向及びＸ軸方向により区画された平面である。つまり、三次元空間の水平面での、点の位置情報は、一般的には、点のＸ座標及びＺ座標を含む。三次元空間の水平面での、点の位置情報は、ＸＯＺ平面での、三次元空間における点の投影位置（上面図での位置）を指すと認められてもよい。

任意選択的な例において、本願の可視面における複数の点は、可視面の有効領域の点集合選択エリアに位置する点を指してもよい。該点集合選択エリアと有効領域の縁との距離は、所定の距離要件に合致すべきである。例えば、有効領域の点集合選択エリアにおける点は、下記式（１）の要件を満たすべきである。また例えば、有効領域の高さをｈ１とし、幅をｗ１とすれば、有効領域の点集合選択エリアの上縁から有効領域の上縁までの距離は少なくとも（１／ｎ１）×ｈ１であり、有効領域の点集合選択エリア下縁から有効領域の下縁までの距離は少なくとも（１／ｎ２）×ｈ１であり、有効領域の点集合選択エリアの左縁から有効領域の左縁までの距離は少なくとも（１／ｎ３）×ｗ１であり、有効領域の点集合選択エリアの右縁から有効領域の右縁までの距離は少なくとも（１／ｎ４）×ｗ１である。ここで、ｎ１、ｎ２、ｎ３及びｎ４は、いずれも１より大きい整数であり、且つｎ１、ｎ２、ｎ３及びｎ４の値は、同じであっても異なってもよい。

本願は、複数の点を有効領域の点集合選択エリアにおける複数の点に限定することで、縁領域の奥行き情報が不正確であることにより、三次元空間の水平面での、複数の点の位置情報が不正確になるという現象を避けるのに寄与し、三次元空間の水平面での、複数の点の位置情報の正確度の向上に寄与し、更に、最終的に決定されたターゲット対象の向きの正確度の向上に寄与する。

任意選択的な例において、画像における１つのターゲット対象について言えば、得られた該ターゲット対象の可視面が複数の可視面である場合、本願は、該ターゲット対象の複数の可視面から、１つの可視面を、処理されるべき面として選択し、三次元空間の水平面での、該処理されるべき面における複数の点の位置情報を取得することができる。つまり、本願は、単一の処理されるべき面を利用して、ターゲット対象の向きを得る。

任意選択的な例において、本願は、複数の可視面から、１つの可視面をランダムに選択して処理されるべき面とすることができる。任意選択的な例において、本願は、複数の可視面の面積に基づいて、複数の可視面から１つの可視面を、処理されるべき面として選択することができる。例えば、面積が最も大きい可視面を、処理されるべき面として選択する。任意選択的な例において、本願は、複数の可視面の有効領域の面積に基づいて、複数の可視面から１つの可視面を、処理されるべき面として選択することもできる。任意選択的な例において、可視面の面積は、可視面に含まれる点（例えば、画素点）の数によって決まってもよい。同様に、有効領域の面積も、有効領域に含まれる点例えば、画素点）の数によって決まってもよい。本願における可視面の有効領域は、可視面における、垂直な平面にほぼ位置する領域であってもよい。ここで、垂直な平面は、ＹＯＺ平面にほぼ平行である。

本願は、複数の可視面から１つの可視面を選択することで、遮蔽などの要因により、可視面の可視領域が小さすぎて、三次元空間の水平面での、複数の点の位置情報に誤差が発生しやすいなどの現象を避けることができる。従って、三次元空間の水平面での、複数の点の位置情報の正確度の向上に寄与し、更に、最終的に決定されたターゲット対象の向きの正確度の向上に寄与する。

任意選択的な例において、本願は、複数の可視面の有効領域の面積に基づいて、複数の可視面から、１つの可視面を、処理されるべき面として選択するプロセスは下記ステップを含んでもよい。

ステップａにおいて、１つの可視面について、画像での該可視面における点（例えば、画素点）の位置情報に基づいて、該可視面に対応する有効領域選択用位置枠を決定する。

任意選択的な例において、本願における有効領域選択用位置枠は少なくとも、それに対応する可視面の一部の領域を覆う。可視面の有効領域は、可視面が属する位置に関わる。例えば、可視面が車両前側面である場合、有効領域は一般的には、車両ヘッドライト前側及び車両シャーシ前側からなる領域（例えば、図３における点線枠内の車両に属する領域）を指す。また例えば、可視面が車両後側面である場合、有効領域は一般的には、車両テールライト後側及び車両シャーシ後側からなる領域（例えば、図４における点線枠内の車両に属する領域）を指す。また例えば、可視面が車両右側面である場合、有効領域は、可視面全体を指してもよく、車両ヘッドライト及びテールライトの右側面並びに車両シャーシ右側からなる領域（例えば、図５における点線枠内の車両に属する領域）を指してもよい。また例えば、可視面が車両左側面である場合、有効領域は、可視面全体を指してもよく、車両ヘッドライト及びテールライトの左側面並びに車両シャーシ左側からなる領域（例えば、図６における点線枠内の車両に属する領域）を指してもよい。

任意選択的な例において、可視面の有効領域が可視面の全体領域であるか、それとも可視な一部領域であるかに関わらず、本願は、有効領域選択用位置枠を利用して、可視面の有効領域を決定することができる。つまり、本願における全ての可視面に対して、それぞれに対応する有効領域選択用位置枠を利用して、各可視面の有効領域を決定することができる。つまり、本願は、各可視面に対して１つの位置枠を決定し、各可視面のそれぞれに対応する位置枠を利用して各可視面の有効領域を決定することができる。

もう１つの任意選択的な例において、本願における一部の可視面に対して、有効領域選択用位置枠を利用して、可視面の有効領域を決定することができる。一部の可視面に対して、他の方式で可視面の有効領域を決定することができる。例えば、可視面全体を直接的に有効領域とすることができる。

任意選択的な例において、１つのターゲット対象の１つの可視面について言えば、本願は、画像での該可視面における点（例えば、全ての画素点）の位置情報に基づいて、有効領域選択用位置枠の１つの頂点位置及び該可視面の幅及び高さを決定することができる。続いて、頂点位置、可視面の幅の一部（即ち、可視面の一部の幅）及び可視面の高さの一部（即ち、可視面の一部の高さ）に基づいて、該可視面に対応する位置枠を決定することができる。

任意選択的な例において、画像の座標系原点が画像の左下隅に位置する場合、画像での、該可視面における全ての画素点の位置情報における最小ｘ座標及び最小ｙ座標を有効領域選択用位置枠の１つの頂点（即ち、左下頂点）とすることができる。

任意選択的な例において、画像の座標系原点が画像の右上隅に位置する場合、画像での、該可視面における全ての画素点の位置情報における最大ｘ座標及び最大ｙ座標を有効領域選択用位置枠の１つの頂点（即ち、左下頂点）とすることができる。

任意選択的な例において、本願は、画像での、該可視面における全ての画素点の位置情報における最小ｘ座標と最大ｘ座標との差を可視面の幅とし、画像での、該可視面における全ての画素点の位置情報における最小ｙ座標と最大ｙ座標との差を可視面の高さとすることができる。

任意選択的な例において、可視面が車両前側面である場合、本願は、有効領域選択用位置枠の１つの頂点（例えば、左下頂点）、可視面の幅の一部（例えば、０．５、０．３５又は０．６幅）及び及可視面の高さの一部（例えば、０．５、０．３５又は０．６高さなど）に基づいて、車両前側面に対応する有効領域選択用位置枠を決定することができる。

任意選択的な例において、可視面が車両後側面である場合、本願は、例えば、図７における右下隅の白色の長方形に示すように、有効領域選択用位置枠の１つの頂点（例えば、左下頂点）、可視面の幅の一部（例えば、０．５、０．３５又は０．６幅）及び及可視面の高さの一部（例えば、０．５、０．３５又は０．６高さなど）に基づいて、車両後側面に対応する有効領域選択用位置枠を決定することができる。

任意選択的な例において、可視面が車両左側面である場合、本願は、１つの頂点位置、可視面の幅及び可視面の高さに基づいて、車両左側面に対応する位置枠を決定することもできる。例えば、有効領域選択用位置枠の頂点（例えば、左下頂点）、可視面の幅及び可視面の高さに基づいて、車両左側面に対応する有効領域選択用位置枠を決定する。

任意選択的な例において、可視面が車両右側面である場合、本願は、１つの頂点位置、可視面の幅及び可視面の高さに基づいて、車両右側面に対応する位置枠を決定することもできる。例えば、図８における車両左側面を含む薄灰色の長方形に示すように、有効領域選択用位置枠の頂点（例えば、左下頂点）、可視面の幅及び可視面の高さに基づいて、車両右側面に対応する有効領域選択用位置枠を決定する。

ステップｂにおいて、可視面とそれに対応する位置枠との交差領域を該可視面の有効領域とする。任意選択的な例において、本願は、可視面とそれに対応する有効領域選択用位置枠に対して交差部算出を行うことで、対応する交差領域を得ることができる。図９において、右下隅の方形枠は、車両後側面に対して交差部算出を行うことで得られた交差領域である。つまり、車両後側面の有効領域である。

ステップｃにおいて、複数の可視面のうち、有効領域面積が最も大きい可視面を、処理されるべき面とする。

任意選択的な例において、車両左／右側面について、可視面全体を有効領域としてもよく、交差領域を有効領域としてもよい。車両前／后側面について、一般的には、一部の可視面を有効領域とする。

本願は、有効領域面積が最も大きい可視面を処理されるべき面とすることで、処理されるべき面から複数の点を選択する場合、選択の余地がより広いため、三次元空間の水平面での、複数の点の位置情報の正確度の向上に寄与し、更に、最終的に決定されたターゲット対象の向きの正確度の向上に寄与する。

任意選択的な例において、画像における１つのターゲット対象について言えば、得られた該ターゲット対象の可視面が複数の可視面である場合、本願は、該ターゲット対象の複数の可視面をいずれも処理されるべき面として、三次元空間の水平面での、各処理されるべき面における複数の点の位置情報を取得することができる。つまり、本願は、複数の処理されるべき面を利用して、ターゲット対象の向きを得ることができる。

任意選択的な例において、本願は、処理されるべき面の有効領域から複数の点を選択する。例えば、処理されるべき面の有効領域の点集合選択エリアから、複数の点を選択する。有効領域の点集合選択エリアは、有効領域の縁との距離が所定の距離要件を満たす領域を指す。

例えば、有効領域の点集合選択エリアにおける点（例えば、画素点）は下記式（１）の要件を満たすべきである。

式（１）において、

は、有効領域の点集合選択エリアの点集合を表す。

は画像における（例えば、画素点）の座標を表す。ｕｍｉｎは、有効領域における点（例えば、画素点）の最小ｕ座標を表す。ｕｍａｘは、有効領域における点（例えば、画素点）の最大ｕ座標を表す。ｖｍｉｎは、有効領域における点（例えば、画素点）の最小ｖ座標を表す。ｖｍａｘは、有効領域における点（例えば、画素点）の最大ｖ座標を表す。

ただし、

、

であり、ここで、０．２５及び０．１０は、他の小数に変化されてもよい。

また例えば、有効領域の高さをｈ２とし、幅をｗ２とすれば、有効領域の点集合選択エリアの上縁から有効領域の上縁までの距離は、少なくとも（１／ｎ５）×ｈ２であり、有効領域の点集合選択エリアの下縁から有効領域の下縁までの距離は、少なくとも（１／ｎ６）×ｈ２であり、有効領域の点集合選択エリアの左縁から有効領域の左縁までの距離は、少なくとも（１／ｎ７）×ｗ１であり、有効領域の点集合選択エリアの右縁から有効領域の右縁までの距離は、少なくとも（１／ｎ８）×ｗ２である。ここで、ｎ５、ｎ６、ｎ７及びｎ８はいずれも１より大きい整数であり、且つｎ５、ｎ６、ｎ７及びｎ８の値は同じであっても異なってもよい。例えば、図１１において、車両右側面は処理されるべき面の有効領域であり、ここの灰色ブロックは、点集合選択エリアである。

本願は、複数の点の位置を可視面の有効領域の点集合選択エリアに限定することで、縁領域の奥行き情報が不正確であることにより、三次元空間の水平面での、複数の点の位置情報が不正確になるという現象を避けるのに寄与し、三次元空間の水平面での、複数の点の位置情報の正確度の向上に寄与し、更に、最終的に決定されたターゲット対象の向きの正確度の向上に寄与する。

任意選択的な例において、本願は、まず複数の点のＺ座標を取得し、続いて、下記式（２）により、複数の点のＸ座標及びＹ座標を得る。

式（２）
上記式（２）において、Ｐは既知のパラメータであり、撮像装置の内部パラメータである。Ｐは、３×３行列であってもよく、つまり、

であってもよい。

及び

はいずれも撮像装置の焦点距離を表す。

は、画像のｘ座標軸での、撮像装置の光心を表す。ａ２３は、画像のｙ座標軸での、撮像装置の光心を表す。行列における他のパラメータの値は、いずれもゼロである。Ｘ、Ｙ及びＺは、三次元空間における、点のＸ座標、Ｙ座標及びＺ座標を表す。ｗは、スケーリング変換比率を表し、且つｗの値は、Ｚの値であってもよい。ｕ及びｖは、画像での、点の座標を表す。

は、＊の転置行列を表す。

Ｐを式（２）に代入すると、下記式（３）を得ることができる。

式（３）
本願における複数の点のｕ、ｖ及びＺは既知の値である。従って、上記式（３）により、複数の点のＸ及びＹを得ることができる。これにより、本願は、三次元空間の水平面での、複数の点の位置情報を得る。つまり、Ｘ及びＺを得る。つまり、画像における点を三次元空間に変換した後、上面図での該点の位置情報を得る。

任意選択的な例において、本願において、複数の点のＺ座標の取得方式は、以下のとおりであってもよい。まず、画像の奥行き情報（例えば奥行きマップ）を得る。該奥行きマップの寸法は、一般的には画像の寸法と同じである。また、該奥行きマップにおける各画素位置での階調値は、画像における該位置での点（例えば、画素点）の奥行き値を表す。奥行きマップの一例は、図10に示すとおりである。続いて、画像の奥行き情報を利用して複数の点のＺ座標を得る。

任意選択的な例において、本願における画像の奥行き情報の取得方式は、ニューラルネットワークを利用して画像の奥行き情報を得るという方式、ＲＧＢ−Ｄ（赤緑青−奥行き）に基づいた撮像装置を利用して画像の奥行き情報を得るという方式、又はレーザレーダ（Ｌｉｄａｒ）装置を利用して画像の奥行き情報を得るという方式などを含むが、これらに限定されない。

例えば、画像をニューラルネットワークに入力し、該ニューラルネットワークにより奥行き予測を行い、寸法が入力画像の寸法と同じである奥行きマップを出力する。該ニューラルネットワークの構造は、完全畳み込みニューラルネットワーク（ＦＣＮ：Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）等を含むが、これらに限定されない。該ニューラルネットワークは、奥行きタグを有する画像サンプルを利用して訓練されたものである。

また例えば、画像をもう１つのニューラルネットワークに入力し、該ニューラルネットワークにより両眼視差予測処理を行い、画像の視差情報を出力する。続いて、本願は、視差を利用して奥行き情報を得ることができる。例えば、下記式（４）により、画像の奥行き情報を得る。

上記式（４）において、ｚは、画素点の奥行きを表し、ｄは、ニューラルネットワークから出力された画素点の視差を表し、ｆは、撮像装置の焦点距離を表し、既知の値である。ｂは、両眼カメラ間の距離を表し、既知の値である。

また例えば、レーザレーダを利用してポイントクラウドデータを得た後、レーザレーダの座標系から画像平面への変換式により、画像の奥行き情報を得る。

Ｓ１２０において、上記位置情報に基づいて、ターゲット対象の向きを決定する。

任意選択的な例において、本願は、複数の点のＸ及びＺに基づいて、直線フィッティングを行うことができる。例えば、図１２における灰色ブロックにおける複数の点の、ＸＯＺ平面への投影は、図１２における右下隅に示す粗い縦のバー（点で集束したもの）に示すとおりである。これらの点の直線フィッティング結果は、図１２における右下隅に示す細い直線に示すとおりである。本願は、フィッティングした直線の勾配に基づいて、ターゲット対象の向きを決定することができる。例えば、車両左／右側面における複数の点を利用して直線フィッティングを行う場合、フィッティングした直線の勾配を直接的に車両の向きとすることができる。また例えば、車両前／后側面における複数の点を利用してフィッティングを行う場合、

又は

を利用して、フィッティングされた直線の勾配を調整することで、車両の向きを得ることができる。本願の直線フィッティング方式は、一次曲線フィッティング又は一次関数最小二乗フィッティングを含むが、これらに限定されない。

従来のニューラルネットワークの分類回帰に基づいてターゲット対象の向きを得るという方式において、より正確なターゲット対象の向きを得るために、ニューラルネットワークを訓練する時、向きのカテゴリの数を増加する必要がある。これは、訓練用サンプルのアノテーションの難度を増加させるだけでなく、ニューラルネットワークの訓練収束の難度も増加させる。しかしながら、４つのカテゴリ又は８つのカテゴリのみに応じてニューラルネットワークを訓練すると、決定されたターゲット対象の向きの精度が好ましくない。従って、従来のニューラルネットワークの分類回帰に基づいてターゲット対象の向きを得るという方式において、ニューラルネットワークの訓練難度及び向き決定精度を両立させにくい。本願は、ターゲット対象の可視面における複数の点を利用して車両の向きを決定する。従って、訓練難度及び向き決定精度を両立させにくいという現象を避けるだけでなく、ターゲット対象の向きを０−２π範囲内のいずれか１つの角度にすることもできる。従って、ターゲット対象の向きの決定の難度を低減させるのみ寄与し、更に、得られたターゲット対象（例えば、車両）の向きの精度の向上にも寄与する。なお、本願の直線フィッティングプロセスにより占有される演算リソースが多くないため、ターゲット対象の向きを迅速に決定することができる。従って、ターゲット対象の向きの決定のリアルタイム性の向上に寄与する。なお、面に基づいた意味領域分割技術及び奥行き決定技術の成長は、いずれも、本願のターゲット対象の向きの決定精度の向上に寄与する。

任意選択的な例において、本願は、複数の可視面を利用してターゲット対象の向きを決定する場合、各可視面に対して、本願は、三次元空間の水平面での、該可視面における複数の点の位置情報を利用して、直線フィッティング処理を行い、複数本の直線を得ることができる。本願は、複数本の直線の勾配を考慮した上で、ターゲット対象の向きを決定することができる。例えば、複数本の直線のうちの１本の直線の勾配に基づいて、ターゲット対象の向きを決定する。また例えば、複数本の直線の勾配に基づいてターゲット対象の複数の向きをそれぞれ決定し、更に、各向きのバランス係数に基づいて、各向きに対して加重平均化を行い、ターゲット対象の最終的向きを得る。バランス係数は、事前設定された既知の値である。ここの事前設定は、動的設定であってもよい。つまり、バランス係数を設定する場合、画像におけるターゲット対象の可視面の種々の要因を考慮することができる。例えば、画像におけるターゲット対象の可視面が完全な面であるかどうかという要因を考慮する。また例えば、画像におけるターゲット対象の可視面は、車両前／後側面であるか、それとも車両左／右側面であるかという要因を考慮する。

図１３は、本願によるスマート運転制御方法を示すフローチャートである。本願のスマート運転制御方法は、自動運転（例えば、人間による支援が全くない自動運転）環境又は運転支援環境に適用可能であるが、これらに限定されない。

Ｓ１３００において、車両に設けられた撮像装置により、前記車両が位置する路面のビデオストリームを取得する。該撮像装置は、ＲＧＢに基づいた撮像装置などを含むが、これらに限定されない。

Ｓ１３１０において、ビデオストリームに含まれる少なくとも１つのビデオフレームに対して、ターゲット対象の向きの決定処理を行い、ターゲット対象の向きを得る。該ステップの具体的な実現プロセスは、上記方法実施形態における図１に関する説明を参照されたい。ここで、詳細な説明を省略する。

Ｓ１３２０において、画像におけるターゲット対象の向きに基づいて、車両の制御命令を生成して出力する。

任意選択的な例において、本願で生成された制御命令は、速度保持制御命令、速度調整制御命令（例えば、減速走行命令、加速走行命令など）、方向保持制御命令、方向調整制御命令（例えば、左操舵命令、右操舵命令、左側車線への車線変更命令、又は右側車線への車線変更命令など）、クラクション鳴らし命令、リマインド制御命令、運転モード切替制御命令（例えば、オートクルーズ運転モードなどへの切り替え）、経路計画命令又は軌跡追跡命令を含むが、これらに限定されない。

本願のターゲット対象の向きの決定技術は、スマート運転制御分野に加えて、他の分野にも適用可能である。例えば、工業製造におけるターゲット対象の向き検出、スーパーなどの屋内でのターゲット対象の向き検出、防犯分野でのターゲット対象の向き検出などを実現させることができる。本願は、ターゲット対象の向きの決定技術の適用シーンを限定するものではない。

本願で提供されるターゲット対象の向きの決定装置の一例は、図１４に示すとおりである。図１４における装置は、第１取得モジュール１４００と、第２取得モジュール１４１０と、決定モジュール１４２０と、を備える。

第１取得モジュール１４００は画像におけるターゲット対象の可視面を取得するように構成される。例えば、画像におけるターゲット対象である車両の可視面を取得する。

任意選択的な例において、上記画像は、移動可能な物体に設けられた撮像装置により撮られたビデオにおけるビデオフレームであってもよく、固定位置に設けられた撮像装置により撮られたビデオにおけるビデオフレームであってもよい。ターゲット対象が車両である場合、ターゲット対象は、車両頂部前側、車両ヘッドライト前側及び車両シャーシ前側を含む車両前側面、車両頂部後側、車両テールライト後側及び車両シャーシ後側を含む車両後側面、車両頂部左側、車両ヘッドライト及びテールライトの左側面、車両シャーシ左側及び車両左側タイヤを含む車両左側面、車両頂部右側、車両ヘッドライト及びテールライトの右側面、車両シャーシ右側及び車両右側タイヤを含む車両右側面を含んでもよい。第１取得モジュール１４００は更に、画像に対して画像分割処理を行い、画像分割処理の結果に基づいて、画像におけるターゲット対象の可視面を得るように構成される。第１取得モジュール１４００により具体的に実行された操作は、上記Ｓ１００に関する説明を参照されたい。ここで、詳細な説明を省略する。

第２取得モジュール１４１０は、三次元空間の水平面での、可視面における複数の点の位置情報を取得するように構成される。第２取得モジュール１４１０は、第１サブモジュールと、第２サブモジュールと、を備えてもよい。ここで、第１サブモジュールは、可視面の数が複数である場合、複数の可視面から、１つの可視面を、処理されるべき面として選択するように構成される。第２サブモジュールは、三次元空間の水平面での、処理されるべき面における複数の点の位置情報を取得するように構成される。

任意選択的な例において、第１サブモジュールは、第１ユニット、第２ユニット及び第３ユニットのうちのいずれか１つを備えてもよい。ここで、第１ユニットは、複数の可視面から、１つの可視面をランダムに選択して処理されるべき面とするように構成される。第２ユニットは、複数の可視面の面積に基づいて、複数の可視面から１つの可視面を、処理されるべき面として選択するように構成される。第３ユニットは、複数の可視面の有効領域の面積に基づいて、複数の可視面から１つの可視面を、処理されるべき面として選択するように構成される。可視面の有効領域は、可視面の全ての領域をふくんでもよく、可視面の一部の領域を含んでもよい。車両左／右側面の有効領域は、可視面の全ての領域を含んでもよい。車両前／後側面の有効領域の面積は、可視面の一部の領域を含んでもよい。第３ユニットは、第１サブユニットと、第２サブユニットと、第３サブユニットと、を備えてもよい。第１サブユニットは、１つの可視面について、画像での該可視面における点の位置情報に基づいて、該可視面に対応する有効領域選択用位置枠を決定するように構成される。第２サブユニットは、該可視面と前記位置枠との交差領域を該可視面の有効領域とするように構成される。第３サブユニットは、複数の可視面のうち、有効領域面積が最も大きい可視面を、処理されるべき面とするように構成される。第１サブユニットは、まず、画像での該可視面における点の位置情報に基づいて、有効領域選択用位置枠の１つの頂点位置及び該可視面の幅と高さを決定し、続いて、第１サブユニットは、頂点位置、該可視面の幅の一部及び高さの一部に基づいて、該可視面に対応する位置枠を決定する。位置枠の１つの頂点位置は、画像での該可視面における複数の点の位置情報における最小ｘ座標及び最小ｙ座標に基づいて得られた位置を含む。第２サブモジュールは、第４ユニットと、第５ユニットと、を更に備える。第４ユニットは、処理されるべき面から、複数の点を選択するように構成される。第５ユニットは、三次元空間の水平面での、複数の点の位置情報を取得するように構成される。第４ユニットは、処理されるべき面の有効領域の点集合選択エリアから複数の点を選択することができる。ここで、点集合選択エリアは、有効領域の縁との距離が所定の距離要件を満たす領域を含む。

任意選択的な例において、第２取得モジュール１４１０は、第３サブモジュールを備えてもよい。第３サブモジュールは、可視面の数が複数である場合、三次元空間の水平面での、複数の可視面における複数の点の位置情報をそれぞれ取得するように構成される。第２サブモジュール又は第３サブモジュールにより、三次元空間の水平面での、複数の点の位置情報を取得する方式は、まず、複数の点の奥行き情報を取得し、続いて、奥行き情報及び画像での複数の点の座標に基づいて、三次元空間の水平面の水平座標軸での、複数の点の位置情報を取得することであってもよい。例えば、第２サブモジュール又は第３サブモジュールは、画像を第１ニューラルネットワークに入力し、第１ニューラルネットワークにより、奥行き処理を行い、第１ニューラルネットワークからの出力に基づいて、複数の点の奥行き情報を得る。また例えば、第２サブモジュール又は第３サブモジュールは、画像を第２ニューラルネットワークに入力し、第２ニューラルネットワークにより視差処理を行い、第２ニューラルネットワークから出力された視差に基づいて、複数の点の奥行き情報を得る。また例えば、第２サブモジュール又は第３サブモジュールは、奥行き撮像装置により撮られた奥行き画像に基づいて、複数の点の奥行き情報を得ることができる。また例えば、第２サブモジュール又は第３サブモジュールは、レーザレーダ装置により得られたポイントクラウドデータに基づいて、複数の点の奥行き情報を得る。

第２取得モジュール１４１０により具体的に実行された操作は、上記Ｓ１１０に関する説明を参照されたい。ここで、詳細な説明を省略する。

決定モジュール１４２０は、第２取得モジュール１４１０により取得された位置情報に基づいて、ターゲット対象の向きを決定するように構成される。決定モジュール１４２０は、まず、三次元空間の水平面での、処理されるべき面における複数の点の位置情報に基づいて、直線フィッティングを行う。続いて、決定モジュール１４２０は、フィッティングした直線の勾配に基づいて、ターゲット対象の向きを決定する。決定モジュール１４２０は、第４サブモジュールと、第５サブモジュールと、を備えてもよい。第４サブモジュールは、三次元空間の水平面での、複数の可視面における複数の点の位置情報に基づいて、それぞれ直線フィッティングを行うように構成される。第５サブモジュールは、フィッティングした複数本の直線の勾配に基づいて、ターゲット対象の向きを決定するように構成される。例えば、第５サブモジュールは、複数本の直線のうちの１本の直線の勾配に基づいて、ターゲット対象の向きを決定することができる。また例えば、第５サブモジュールは、複数本の直線の勾配に基づいて、ターゲット対象の複数の向きを決定し、複数の向き及び複数の向きのバランス係数に基づいて、ターゲット対象の最終的向きを決定する。決定モジュール１４２０により具体的に実行された操作は、上記Ｓ１２０に関する説明を参照されたい。ここで、詳細な説明を省略する。

本願で提供されるスマート運転制御装置の構造は、図１５に示すとおりである。

図５における装置は、第３取得モジュール１５００と、ターゲット対象の向きの決定装置１５１０と、制御モジュール１５２０と、を備える。第３取得モジュール１５００は、車両に設けられた撮像装置により、車両の所在する路面のビデオストリームを取得するように構成される。ターゲット対象の向きの決定装置１５１０は、ビデオストリームに含まれる少なくとも１つのビデオフレームに対して、ターゲット対象の向きの決定処理を行い、ターゲット対象の向きを得るように構成される。制御モジュール１５２０は、ターゲット対象の向きに基づいて、車両の制御命令を生成して出力するように構成される。例えば、制御モジュール１５２０により生成されて出力された制御命令は、速度保持制御命令、速度調整制御命令、方向保持制御命令、方向調整制御命令、リマインド制御命令、運転モード切替制御命令、経路計画命令又は軌跡追跡命令を含む。

例示的な機器
図１６は、本願を実現させるための例示的な機器１６００を示す。機器１６００は、車両に配置された制御システム／電子システム、携帯端末（例えばスマートフォン等）、パーソナルコンピュータ（例えば、デスクトップコンピュータ又はノートパソコンなどのようなＰＣ）、タブレット及びサーバ等の電子機器であってもよい。図１６において、機器１６００は、１つ又は複数のプロセッサ、通信部等を含む。前記１つ又は複数のプロセッサは、１つ又は複数の中央演算処理ユニット（ＣＰＵ）１６０１、及び／又は、ニューラルネットワークを利用して視覚的追跡を行うための画像処理装置（ＧＰＵ）１６１３等であってもよい。プロセッサは、読み出し専用メモリ（ＲＯＭ）１６０２に記憶されている実行可能な命令又は記憶部１６０８からランダムアクセスメモリ（ＲＡＭ）１６０３にロードされた実行可能な命令に基づいて、様々な適切な動作及び処理を実行することができる。通信パート１６１２は、ネットワークカードを含んでもよいが、これに限定されない。前記ネットワークカードは、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでもよいが、これに限定されない。プロセッサは、読み出し専用メモリ１６０２及び／又はランダムアクセスメモリ１６０３と通信して、実行可能な命令を実行し、バス１６０４を介して通信パート１６１２に接続され、通信パート１６１２を経由して他の対象装置と通信することで、本願におけるステップを完了する。

上記各命令により実行される操作は、本願の上記方法実施例における関連説明を参照することができる。ここで、詳細な説明を省略する。なお、ＲＡＭ １６０３に、装置の操作に必要な様々なプログラム及びデータが記憶されてもよい。ＣＰＵ１６０１、ＲＯＭ１６０２及びＲＡＭ１６０３は、バス１６０４を介して相互接続される。ＲＡＭ１６０３が存在する場合、ＲＯＭ１６０２は、任意選択的なモジュールである。ＲＡＭ１６０３に実行可能な命令が記憶されている。又は、実行中に、ＲＯＭ１６０２に実行可能な命令を書き込む。実行可能な命令は、中央演算処理ユニット１６０１に上記ターゲット対象の向きの決定方法又はスマート運転制御方法に対応する操作を実行させる。１入力／出力（Ｉ／Ｏ）インタフェース１６０５もバス１６０４に接続される。通信パート１６１２は、一体的に設けられてもよいし、それぞれバスに接続される複数のサブモジュール（例えば、複数のＩＢネットワークカード）を有するものとして設けられてもよい。

キーボード、マウスなどを含む入力部１６０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）及びスピーカー等を含む出力部１６０７、ハードディスク等を含む記憶部１６０８、及びＬＡＮカード、モデム等のようなネットワークインタフェースカードを含む通信部１６０９は、Ｉ／Ｏインタフェース１６０５に接続される。通信部１６０９は、インターネットのようなネットワークを経由して通信処理を実行する。ドライブ１６１０も必要に応じてＩ／Ｏインタフェース１６０５に接続される。磁気ディスク、光ディスク、磁気光ディスク、半導体メモリ等のようなリムーバブル媒体１６１１は、必要に応じてドライブ１６１０に取り付けられ、それから読み出されたコンピュータプログラムを必要に応じて記憶部１６０８にインストールするようになる。

図１６に示したアーキテクチャは、任意選択的な実現形態に過ぎず、実践過程において、実際の需要に応じて、上記図１６に示した部材の数及びタイプを選択、削除、増加、置き換えることができることに特に留意されたい。異なる機能部材を設ける場合、分散型配置又は集積型配置などのような実現形態を用いてもよい。例えば、ＧＰＵ１６１３とＣＰＵ１６０１を離して設けてもよい。また、例えば、ＧＰＵ１６１３をＣＰＵ１６０１に集積してもよい。通信部は、離間するように設けられてもよいし、ＣＰＵ１６０１又はＧＰＵ１６１３に集積して設けられてもよい。これらの置き換え可能な実施形態は、いずれも本願の保護範囲内に含まれる。

特に、本願の実施例によれば、フローチャートを参照しながら記載された下記プロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本願の実施例は、機械可読媒体上に有体に具現されたコンピュータプログラムを含むコンピュータプログラム製品を含む。コンピュータプログラムは、フローチャートに示したステップを実行するためのプログラムコードを含む。プログラムコードは、本願の実施例が提供する方法におけるステップに対応する命令を含んでもよい。このような実施例において、該コンピュータプログラムは、通信部１６０９により、ネットワークからダウンロードされてインストールされか、及び／又はリムーバブル媒体１６１１からインストールされる。該コンピュータプログラムが中央演算処理ユニット（ＣＰＵ）１６０１により実行される場合、本願に記載の、上記対応するステップを実現させるための命令を実行する。

１つ又は複数の任意選択的な実施例において、本願の実施例は、コンピュータ可読命令を記憶するためのコンピュータプログラム製品を更に提供する。前記命令が実行される場合、コンピュータに上記任意の実施例に記載のターゲット対象の向きの決定方法又はスマート運転制御方法を実行させる。該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェアまたはその組み合わせにより実現されてもよい。任意選択的な一例において、前記コンピュータプログラム製品は具体的には、コンピュータ記憶媒体として体現される。別の任意選択的な例において、前記コンピュータプログラム製品は、具体的には、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）等のようなソフトウェア製品として体現される。

１つ又は複数の任意選択的な実施例において、本願の実施例は、もう１つのターゲット対象の向きの決定方法又はスマート運転制御方法並びにそれに対応する装置及び電子機器、コンピュータ記憶媒体、コンピュータプログラム並びにコンピュータプログラム製品を更に提供する。ここで、前記方法は、第１装置が、ターゲット対象の向きの決定指示又はスマート運転制御指示を第２装置に送信し、該指示によれば、第２装置が、上記いずれか１つの実施例におけるターゲット対象の向きの決定方法又はスマート運転制御方法を実行することと、第１装置が第２装置からの、ターゲット対象の向きの決定結果又はスマート運転制御結果を受信することとを含む。

幾つかの実施例において、該ターゲット対象の向きの決定指示又はスマート運転制御指示は、呼び出された命令であってもよい。第１装置は、呼出しにより、ターゲット対象の向きの決定操作又はスマート運転制御操作を実行するように第２装置に指示を出すことができる。なお、呼び出された命令を受信したことに応答して、第２装置は、上記ターゲット対象の向きの決定方法又はスマート運転制御方法におけるいずれか１つの実施例におけるステップ及び／又はフローを実行することができる。

本願の実施形態のまた１つの態様によれば、電子機器を提供する。前記電子機器は、コンピュータプログラムを記憶するように構成されるメモリと、前記メモリに記憶されているコンピュータプログラムを実行し、且つ前記コンピュータプログラムが実行される時、本願のいずれか１つの方法の実施形態を実現させるように構成されるプロセッサと、を備える。本願の実施形態のまた１つの態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される時、本願のいずれか１つの方法の実施形態を実現させる。本願の実施形態のまた１つの態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムはコンピュータ命令を含み、前記コンピュータ命令が機器のプロセッサで実行される時、本願のいずれか１つの方法の実施形態を実現させる。

本願の実施例における「第１」、「第２」等の用語は、異なるステップ、機器又はモジュールを区別するためのものに過ぎず、いかなる特定の技術的意味を表すものではないし、それら同士間の必然的な論理順序を表すものではないことは、当業者であれば理解すべきである。また、本願において、「複数」とは、２つ又は２つ以上を意味してもよく、「少なくとも１つ」とは、１つ、２つ又は２つ以上を意味してもよいことも理解されるべきである。本願で言及されたいずれか１つの部材、データ又は構造について、明確に限定されないか又は文脈では反対となるものが示唆された場合、一般的には、１つ又は複数と解釈されることも理解されるべきである。また、本願において、各実施例を説明する場合、各実施例の相違点に重点が置かれており、その同じ又は類似した部分は互いに参照することができる。簡潔化を図るために、詳細な説明を省略する。

本願の方法及び装置、電子機器並びにコンピュータ可読記憶媒体を多くの態様で実行できる。例えば、本願の方法及び装置、電子機器並びにコンピュータ可読記憶媒体をソフトウェア、ハードウェア、ファームウェア又はソフトウェア、ハードウェア、ファームウェアの任意の組み合わせにより実行することができる。前記方法のステップに用いられる上記順番は説明のためのものに過ぎず、本願の方法のステップは、他の方式で特に説明すること以外、上記具体的に記述した順番に限定されない。なお、幾つかの実施例において、本願を記録媒体に記録されているプログラムとして実行することもできる。これらのプログラムは、本願の方法を実現させるための機械可読命令を含む。従って、本願は、本願の方法を実行するためのプログラムを記憶するための記録媒体を更に含む。

本願の記述は、例示および説明のためのものであり、網羅的もしくは本願を開示された形態に限定するように意図されていない。多くの修正及び変化は当業者には明らかであろう。実施例の選択及び説明は、本願の原理及び実際の適用をより好適に説明するためのものであり、また当業者が本願を理解して特定の用途向けの様々な修正を含む様々な実施例を設計するようになる。

Claims (45)

1. ターゲット対象の向きの決定方法であって、
   画像におけるターゲット対象の可視面を取得することと、
   三次元空間の水平面での、前記可視面における複数の点の位置情報を取得することと、
   前記位置情報に基づいて、前記ターゲット対象の向きを決定することと、を含むことを特徴とする、前記方法。
2. 前記ターゲット対象は、車両を含むことを特徴とする
   請求項１に記載の方法。
3. 前記ターゲット対象は、
   車両頂部前側、車両ヘッドライト前側及び車両シャーシ前側を含む車両前側面、
   車両頂部後側、車両テールライト後側及び車両シャーシ後側を含む車両後側面、
   車両頂部左側、車両ヘッドライト及びテールライトの左側面、車両シャーシ左側及び車両左側タイヤを含む車両左側面、
   車両頂部右側、車両ヘッドライト及びテールライトの右側面、車両シャーシ右側及び車両右側タイヤを含む車両右側面のうちのすくなくとも１つを含むことを特徴とする
   請求項２に記載の方法。
4. 前記画像は、
   移動可能な物体に設けられた撮像装置により撮られたビデオにおけるビデオフレーム、又は、
   固定位置に設けられた撮像装置により撮られたビデオにおけるビデオフレームを含むことを特徴とする
   請求項１から３のうちいずれか一項に記載の方法。
5. 前記画像におけるターゲット対象の可視面を取得することは、
   前記画像に対して画像分割処理を行うことと、
   前記画像分割処理の結果に基づいて、画像におけるターゲット対象の可視面を得ることと、を含むことを特徴とする
   請求項１から４のうちいずれか一項に記載の方法。
6. 前記三次元空間の水平面での、前記可視面における複数の点の位置情報を取得することは、
   前記可視面の数が複数である場合、複数の可視面から、１つの可視面を、処理されるべき面として選択することと、
   前記三次元空間の水平面での、前記処理されるべき面における複数の点の位置情報を取得することと、を含むことを特徴とする
   請求項１から５のうちいずれか一項に記載の方法。
7. 前記複数の可視面から、１つの可視面を、処理されるべき面として選択することは、
   前記複数の可視面から、１つの可視面をランダムに選択して処理されるべき面とすること、又は、
   前記複数の可視面の面積に基づいて、複数の可視面から１つの可視面を、処理されるべき面として選択すること、又は、
   前記複数の可視面の有効領域の面積に基づいて、複数の可視面から１つの可視面を、処理されるべき面として選択すること、を含むことを特徴とする
   請求項６に記載の方法。
8. 前記可視面の有効領域は、可視面の全ての領域、又は、可視面の一部の領域を含むことを特徴とする
   請求項７に記載の方法。
9. 車両左／右側面の有効領域は、可視面の全ての領域を含み、
   車両前／後側面の有効領域の面積は、可視面の一部の領域を含むことを特徴とする
   請求項８に記載の方法。
10. 前記複数の可視面の有効領域の面積に基づいて、複数の可視面から１つの可視面を、処理されるべき面として選択することは、
    １つの可視面について、画像での該可視面における点の位置情報に基づいて、該可視面に対応する有効領域選択用位置枠を決定することと、
    該可視面と前記位置枠との交差領域を該可視面の有効領域とすることと、
    複数の可視面のうち、有効領域面積が最も大きい可視面を、処理されるべき面とすることと、を含むことを特徴とする
    請求項７から９のうちいずれか一項に記載の方法。
11. 前記画像での該可視面における点の位置情報に基づいて、該可視面に対応する有効領域選択用位置枠を決定することは、
    前記画像での該可視面における点の位置情報に基づいて、有効領域選択用位置枠の１つの頂点位置及び該可視面の幅と高さを決定することと、
    前記頂点位置、該可視面の幅の一部及び高さの一部に基づいて、該可視面に対応する位置枠を決定することと、を含むことを特徴とする
    請求項１０に記載の方法。
12. 前記位置枠の１つの頂点位置は、画像での該可視面における複数の点の位置情報における最小ｘ座標及び最小ｙ座標に基づいて得られた位置を含むことを特徴とする
    請求項１１に記載の方法。
13. 前記三次元空間の水平面での、前記処理されるべき面における複数の点の位置情報を取得することは、
    前記処理されるべき面から、複数の点を選択することと、
    前記三次元空間の水平面での、前記複数の点の位置情報を取得することと、を含むことを特徴とする
    請求項６から１２のうちいずれか一項に記載の方法。
14. 前記処理されるべき面の有効領域から、複数の点を選択することは、
    前記処理されるべき面の有効領域の点集合選択エリアから複数の点を選択することを含み、
    前記点集合選択エリアは、前記有効領域の縁との距離が所定の距離要件を満たす領域を含むことを特徴とする
    請求項１３に記載の方法。
15. 前記位置情報に基づいて、前記ターゲット対象の向きを決定することは、
    前記三次元空間の水平面での、前記処理されるべき面における複数の点の位置情報に基づいて、直線フィッティングを行うことと、
    フィッティングした直線の勾配に基づいて、前記ターゲット対象の向きを決定することと、を含むことを特徴とする
    請求項６から１４のうちいずれか一項に記載の方法。
16. 前記三次元空間の水平面での、前記可視面における複数の点の位置情報を取得することは、
    前記可視面の数が複数である場合、三次元空間の水平面での、複数の可視面における複数の点の位置情報をそれぞれ取得することを含み、
    前記位置情報に基づいて、前記ターゲット対象の向きを決定することは、
    三次元空間の水平面での、複数の可視面における複数の点の位置情報に基づいて、それぞれ直線フィッティングを行うことと、
    フィッティングした複数本の直線の勾配に基づいて、前記ターゲット対象の向きを決定することと、を含むことを特徴とする
    請求項１から５のうちいずれか一項に記載の方法。
17. 前記フィッティングした複数本の直線の勾配に基づいて、前記ターゲット対象の向きを決定することは、
    複数本の直線のうちの１本の直線の勾配に基づいて、前記ターゲット対象の向きを決定すること、又は、
    複数本の直線の勾配に基づいて、前記ターゲット対象の複数の向きを決定し、複数の向き及び複数の向きのバランス係数に基づいて、前記ターゲット対象の最終的向きを決定すること、を含むことを特徴とする
    請求項１６に記載の方法。
18. 前記三次元空間の水平面での、複数の点の位置情報を取得する方式は、
    前記複数の点の奥行き情報を取得することと、
    前記奥行き情報及び前記画像での前記複数の点の座標に基づいて、三次元空間の水平面の水平座標軸での、前記複数の点の位置情報を取得することと、を含むことを特徴とする
    請求項６から１７のうちいずれか一項に記載の方法。
19. 前記画像を第１ニューラルネットワークに入力し、前記第１ニューラルネットワークにより、奥行き処理を行い、前記第１ニューラルネットワークからの出力に基づいて、複数の点の奥行き情報を得るという方式、
    前記画像を第２ニューラルネットワークに入力し、前記第２ニューラルネットワークにより視差処理を行い、前記第２ニューラルネットワークから出力された視差に基づいて、複数の点の奥行き情報を得るという方式、
    奥行き撮像装置により撮られた奥行き画像に基づいて、前記複数の点の奥行き情報を得るという方式、
    レーザレーダ装置により得られたポイントクラウドデータに基づいて、前記複数の点の奥行き情報を得るという方式のうちのいずれか１つにより、前記複数の点の奥行き情報を得ることを特徴とする
    請求項１８に記載の方法。
20. スマート運転制御方法であって、
    車両に設けられた撮像装置により、前記車両が位置する路面のビデオストリームを取得することと、
    請求項１〜１９のうちいずれか一項に記載の方法を利用して、前記ビデオストリームに含まれる少なくとも１つのビデオフレームに対して、ターゲット対象の向きの決定処理を行い、ターゲット対象の向きを得ることと、
    前記ターゲット対象の向きに基づいて、前記車両の制御命令を生成して出力することと、を含むことを特徴とする、前記方法。
21. 前記制御命令は、速度保持制御命令、速度調整制御命令、方向保持制御命令、方向調整制御命令、リマインド制御命令、運転モード切替制御命令、経路計画命令、軌跡追跡命令のうちのすくなくとも１つを含むことを特徴とする
    請求項２０に記載の方法。
22. ターゲット対象の向きの決定装置であって、
    画像におけるターゲット対象の可視面を取得するように構成される第１取得モジュールと、
    三次元空間の水平面での、前記可視面における複数の点の位置情報を取得するように構成される第２取得モジュールと、
    前記位置情報に基づいて、前記ターゲット対象の向きを決定するように構成される決定モジュールと、を備えることを特徴とする、前記装置。
23. 前記ターゲット対象は、車両を含むことを特徴とする
    請求項２２に記載の装置。
24. 前記ターゲット対象は、
    車両頂部前側、車両ヘッドライト前側及び車両シャーシ前側を含む車両前側面、
    車両頂部後側、車両テールライト後側及び車両シャーシ後側を含む車両後側面、
    車両頂部左側、車両ヘッドライト及びテールライトの左側面、車両シャーシ左側及び車両左側タイヤを含む車両左側面、
    車両頂部右側、車両ヘッドライト及びテールライトの右側面、車両シャーシ右側及び車両右側タイヤを含む車両右側面のうちのすくなくとも１つを含むことを特徴とする
    請求項２３に記載の装置。
25. 前記画像は、
    移動可能な物体に設けられた撮像装置により撮られたビデオにおけるビデオフレーム、又は、
    固定位置に設けられた撮像装置により撮られたビデオにおけるビデオフレームを含むことを特徴とする
    請求項２２から２４のうちいずれか一項に記載の装置。
26. 前記第１取得モジュールは、
    前記画像に対して画像分割処理を行い、
    前記画像分割処理の結果に基づいて、画像におけるターゲット対象の可視面を得るように構成されることを特徴とする
    請求項２２から２５のうちいずれか一項に記載の装置。
27. 前記第２取得モジュールは、
    前記可視面の数が複数である場合、複数の可視面から、１つの可視面を、処理されるべき面として選択するように構成される第１サブモジュールと、
    三次元空間の水平面での、前記処理されるべき面における複数の点の位置情報を取得するように構成される第２サブモジュールと、を備えることを特徴とする
    請求項２２から２６のうちいずれか一項に記載の装置。
28. 前記第１サブモジュールは、
    複数の可視面から、１つの可視面をランダムに選択して処理されるべき面とするように構成される第１ユニット、又は、
    複数の可視面の面積に基づいて、複数の可視面から１つの可視面を、処理されるべき面として選択するように構成される第２ユニット、又は、
    複数の可視面の有効領域の面積に基づいて、複数の可視面から１つの可視面を、処理されるべき面として選択するように構成される第３ユニット、を備えることを特徴とする
    請求項２７に記載の装置。
29. 前記可視面の有効領域は、可視面の全ての領域、又は、可視面の一部の領域を含むことを特徴とする
    請求項２８に記載の装置。
30. 車両左／右側面の有効領域は、可視面の全ての領域を含み、
    車両前／後側面の有効領域の面積は、可視面の一部の領域を含むことを特徴とする
    請求項２９に記載の装置。
31. 前記第３ユニットは、
    １つの可視面について、画像での該可視面における点の位置情報に基づいて、該可視面に対応する有効領域選択用位置枠を決定するように構成される第１サブユニットと、
    該可視面と前記位置枠との交差領域を該可視面の有効領域とするように構成される第２サブユニットと、
    複数の可視面のうち、有効領域面積が最も大きい可視面を、処理されるべき面とするように構成される第３サブユニットと、を備えることを特徴とする
    請求項２８から３０のうちいずれか一項に記載の装置。
32. 前記第１サブユニットは、
    画像での該可視面における点の位置情報に基づいて、有効領域選択用位置枠の１つの頂点位置及び該可視面の幅と高さを決定するし、
    前記頂点位置、該可視面の幅の一部及び高さの一部に基づいて、該可視面に対応する位置枠を決定するように構成されることを特徴とする
    請求項３１に記載の装置。
33. 前記位置枠の１つの頂点位置は、画像での該可視面における複数の点の位置情報における最小ｘ座標及び最小ｙ座標に基づいて得られた位置を含むことを特徴とする
    請求項３２に記載の装置。
34. 前記第２サブモジュールは、
    前記処理されるべき面から、複数の点を選択するように構成される第４ユニットと、
    三次元空間の水平面での、前記複数の点の位置情報を取得するように構成される第５ユニットと、を備えることを特徴とする
    請求項２７から３３のうちいずれか一項に記載の装置。
35. 前記第４ユニットは、
    前記処理されるべき面の有効領域の点集合選択エリアから複数の点を選択するように構成され、
    前記点集合選択エリアは、前記有効領域の縁との距離が所定の距離要件を満たす領域を含むことを特徴とする
    請求項３４に記載の装置。
36. 前記決定モジュールは、
    三次元空間の水平面での、前記処理されるべき面における複数の点の位置情報に基づいて、直線フィッティングを行い、
    フィッティングした直線の勾配に基づいて、前記ターゲット対象の向きを決定するように構成されることを特徴とする
    請求項２７から３５のうちいずれか一項に記載の装置。
37. 前記第２取得モジュールは、
    前記可視面の数が複数である場合、三次元空間の水平面での、複数の可視面における複数の点の位置情報をそれぞれ取得するように構成される第３サブモジュールを備え、
    前記決定モジュールは、
    三次元空間の水平面での、複数の可視面における複数の点の位置情報に基づいて、それぞれ直線フィッティングを行うように構成される第４サブモジュールと、
    フィッティングした複数本の直線の勾配に基づいて、前記ターゲット対象の向きを決定するように構成される第５サブモジュールと、を備えることを特徴とする
    請求項２２から２６のうちいずれか一項に記載の装置。
38. 前記第５サブモジュールは、
    複数本の直線のうちの１本の直線の勾配に基づいて、前記ターゲット対象の向きを決定するように構成され、又は、
    複数本の直線の勾配に基づいて、前記ターゲット対象の複数の向きを決定し、複数の向き及び複数の向きのバランス係数に基づいて、前記ターゲット対象の最終的向きを決定するように構成されることを特徴とする
    請求項３７に記載の装置。
39. 前記第２サブモジュール又は第３サブモジュールにより、三次元空間の水平面での、複数の点の位置情報を取得する方式は、
    前記複数の点の奥行き情報を取得することと、
    前記奥行き情報及び前記画像での前記複数の点の座標に基づいて、三次元空間の水平面の水平座標軸での、前記複数の点の位置情報を取得することと、を含むことを特徴とする
    請求項２７から３８のうちいずれか一項に記載の装置。
40. 第２サブモジュール又は第３サブモジュールは、
    前記画像を第１ニューラルネットワークに入力し、前記第１ニューラルネットワークにより、奥行き処理を行い、前記第１ニューラルネットワークからの出力に基づいて、複数の点の奥行き情報を得るという方式、
    前記画像を第２ニューラルネットワークに入力し、前記第２ニューラルネットワークにより視差処理を行い、前記第２ニューラルネットワークから出力された視差に基づいて、複数の点の奥行き情報を得るという方式、
    奥行き撮像装置により撮られた奥行き画像に基づいて、前記複数の点の奥行き情報を得るという方式、
    レーザレーダ装置により得られたポイントクラウドデータに基づいて、前記複数の点の奥行き情報を得るという方式のうちのいずれか１つにより、前記複数の点の奥行き情報を得ることを特徴とする
    請求項３９に記載の装置。
41. スマート運転制御装置であって、前記装置は、
    車両に設けられた撮像装置により、前記車両が位置する路面のビデオストリームを取得するように構成される第３取得モジュールと、
    前記ビデオストリームに含まれる少なくとも１つのビデオフレームに対して、ターゲット対象の向きの決定処理を行い、ターゲット対象の向きを得るように構成される請求項２２−４０のうちいずれか一項に記載の装置と、
    前記ターゲット対象の向きに基づいて、前記車両の制御命令を生成して出力するように構成される制御モジュールと、を備えることを特徴とする、前記装置。
42. 前記制御命令は、速度保持制御命令、速度調整制御命令、方向保持制御命令、方向調整制御命令、リマインド制御命令、運転モード切替制御命令、経路計画命令、軌跡追跡命令のうちのすくなくとも１つを含むことを特徴とする
    請求項４１に記載の装置。
43. 電子機器であって、
    コンピュータプログラムを記憶するように構成されるメモリと、
    前記メモリに記憶されているコンピュータプログラムを実行するように構成されるプロセッサであって、請求項１〜２１のうちいずれか一項に記載の方法を実現するように構成されるプロセッサと、を備えることを特徴とする、前記電子機器。
44. コンピュータプログラムを記憶するコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行される時、請求項１〜２１のうちいずれか一項に記載の方法を実現することを特徴とする、前記コンピュータ可読記憶媒体。
45. コンピュータ命令を含むコンピュータプログラムであって、前記コンピュータ命令が機器のプロセッサで実行される時、請求項１〜２１のうちいずれか一項に記載の方法を実現することを特徴とする、前記コンピュータプログラム。

Images