JP2021190848A

JP2021190848A - 検出装置、検出システム及び検出方法

Info

Publication number: JP2021190848A
Application number: JP2020094573A
Authority: JP
Inventors: 久美子馬原; Kumiko Umahara
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2020-05-29
Filing date: 2020-05-29
Publication date: 2021-12-13
Also published as: WO2021241360A1

Abstract

【課題】色や輝度、特徴点等が類似する複数の物体を精度よく識別する。【解決手段】検出装置は、対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、を備える。【選択図】図１

Description

本開示は、検出装置、検出システム及び検出方法に関する。

異常を検知する目的等のために、通常よりも高速で撮像する検知システムが提案されている（特許文献１参照）。この種の検知システムでは、撮像画像中の特定の色や輝度等を抽出して対象物を検出している。

特開２０１８−９３４３７号公報

しかしながら、従来の検知システムでは、色や輝度が類似する複数の物体が前後に重なり合っている場合、撮像画像では複数の物体の画像が重なり合うために、物体間の実距離が離れていても、物体同士を識別できないおそれがある。このため、例えば、物体が移動体である場合に移動体を追尾しようとしても、移動体同士が重なり合ってから別れる場合には、追尾対象を誤ってしまうおそれがある。

そこで、本開示では、色や輝度、特徴点等が類似する複数の物体を精度よく識別できる検出装置、検出システム及び検出方法を提供するものである。

上記の課題を解決するために、本開示によれば、対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、
前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、を備える、検出装置が提供される。

前記第１検出部で検出された距離と、前記第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記対象物をグルーピングするグルーピング制御部を備えてもよい。

前記第２検出部は、前記グルーピング制御部でグルーピングされたグループごとに、前記対象物の画像の座標情報を検出してもよい。

前記グルーピング制御部は、前記対象物の色、輝度及び特徴点の少なくとも一つが同一又は類似である複数の前記対象物の画像の少なくとも一部が重なり合っており、かつ前記第１検出部で検出された前記複数の対象物の距離がそれぞれ異なる場合には、前記複数の対象物をそれぞれ異なるグループに分類してもよい。

前記グルーピング制御部は、前記対象物のグルーピングを行った後に前記撮像画像内で複数の前記対象物の画像の少なくとも一部が重なり合った場合、前記第１検出部で検出された距離と、前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記複数の対象物を再度グルーピングしてもよい。

前記対象物の移動に応じて前記撮像画像内で前記対象物の画像を追跡する追跡部を備えてもよい。

前記グルーピング制御部は、前記追跡部で追跡している最中に前記撮像画像内で複数の前記対象物の画像の少なくとも一部が重なり合った場合、前記第１検出部で検出された距離と、前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記複数の対象物を再度グルーピングし、
前記追跡部は、再度グルーピングした後の前記対象物の画像を追跡してもよい。

前記第１検出部は、所定の範囲からの光を受光して、前記所定の範囲内に存在する前記対象物までの距離を検出し、
前記グルーピング制御部は、色、輝度又は特徴点の少なくとも一つに基づいて抽出された前記対象物を、前記第１検出部で検出された前記対象物までの距離に基づいてグルーピングし、
前記第２検出部は、前記グルーピング制御部でグルーピングされたグループごとに、前記対象物の画像の座標情報を検出してもよい。

前記第２検出部は、前記撮像画像から、色、輝度又は特徴点の少なくとも一つに基づいて抽出された前記対象物の画像位置に対応する制限範囲内で距離を検出するように前記第１検出部に指示し、
前記第１検出部は、前記制限範囲内に含まれる前記対象物までの距離を検出し、
前記グルーピング制御部は、前記第２検出部で検出された前記対象物の画像位置と、前記第１検出部で検出された前記対象物までの距離とに基づいて、前記対象物をグルーピングしてもよい。

前記第２検出部は、前記座標情報とともに、前記対象物の画像を含む所定の撮像範囲の画像データを出力してもよい。

前記第２検出部は、前記座標情報とともに、前記対象物の面積、動き方向及び重心位置の少なくとも一つを含む情報を出力してもよい。

前記第１検出部を有する第１半導体装置と、
前記第２検出部を有する第２半導体装置と、を備えてもよい。

前記第１検出部を有する第１半導体装置と、
前記第２検出部を有する第２半導体装置と、を備え、
前記グルーピング制御部は、前記第１半導体装置又は前記第２半導体装置に設けられてもよい。

前記第１検出部及び前記第２検出部を有する半導体装置を備えてもよい。

本開示の他の一態様によれば、対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、
前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、
前記第１検出部及び前記第２検出部を制御する制御部と、を備える検出システムが提供される。

前記第１検出部を有する第１半導体装置と、
前記第２検出部を有する第２半導体装置と、
前記制御部を有する第３半導体装置と、を備えてもよい。

前記第１半導体装置、前記第２半導体装置又は前記第３半導体装置に設けられ、前記第１検出部で検出された距離と、前記第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記対象物をグルーピングするグルーピング制御部を備えてもよい。

本開示の他の一態様によれば、対象物で反射された光に基づいて、前記対象物までの距離を第１検出部で検出し、
第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つと、前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する、検出方法が提供される。

一実施形態による検出装置を備えた検出システムの概略構成を示すブロック図。高速ビジョンセンサが撮像する画角内に、同一又は類似する色又は輝度の複数の対象物が存在する例を示す図。高速ビジョンセンサの画角内で前後に重なる複数の対象物のうち、一部の対象物のみが移動する例を示す図。図３Ａの撮影画像の一例を示す図。第１グルーピング手法を説明する図。第１グルーピング手法の処理手順を示すフローチャート。第２グルーピング手法を説明する図。第２グルーピング手法の処理手順を示すフローチャート。第１グルーピング手法を採用したときの再グループ化処理を説明する図。図８Ａに続く図。第２グルーピング手法を採用したときの再グループ化処理を説明する図。図９Ａに続く図。ＴｏＦセンサ内にグルーピング制御部を設けた検出装置を備えた検出システムのブロック図。直接ＴｏＦ方式のＴｏＦセンサを有する検出装置を備えた検出システム２ｂのブロック図。図１１の一変形例による検出システムの概略構成を示すブロック図。図１の高速ビジョンセンサとＴｏＦセンサの機能を統合したＴｏＦセンサを有する検出装置を備えた検出システムの概略構成を示すブロック図。アプリケーションプロセッサの内部にグルーピング制御部を設けた検出システムのブロック図。移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。撮像部の設置位置の例を示す図。

以下、図面を参照して、検出装置、検出システム及び検出方法の実施形態について説明する。以下では、検出装置及び検出システムの主要な構成部分を中心に説明するが、検出装置及び検出システムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

図１は一実施形態による検出装置１を備えた検出システム２の概略構成を示すブロック図である。図１の検出システム２は、ＴｏＦ（Time of Flight）センサ（第１検出部）３と、高速ビジョンセンサ（第２検出部）４と、アプリケーションプロセッサ（以下、ＡＰ又は制御部とも呼ぶ）５とを備えている。このうち、ＴｏＦセンサ３と高速ビジョンセンサ４は検出装置１に含まれている。

ＴｏＦセンサ３は、対象物で反射された光に基づいて、対象物までの距離を検出する。ＴｏＦセンサ３の距離検出手法には、パルス状の光信号の飛行時間を直接計測する直接ＴｏＦ方式と、受光信号の位相差を利用して間接的に距離を計測する間接ＴｏＦ方式があるが、本実施形態によるＴｏＦセンサ３は、どちらの方式でも採用可能である。

高速ビジョンセンサ４は、対象物の色、輝度及び特徴点の少なくとも一つとＴｏＦセンサ３で検出された距離とに基づいて、所定の画角で撮像された撮像画像に含まれる対象物の画像を抽出して、抽出した対象物の画像の座標情報を少なくとも検出する。高速ビジョンセンサ４は、座標情報とともに、対象物の画像を含む所定の撮像範囲の画像データを出力してもよい。所定の撮像範囲とは、所定の画角で撮像された撮像画像中の対象物の画像を含む部分的な画素領域である。

高速ビジョンセンサ４は、１秒間に例えば１０００フレームの速度で対象物の検出と追跡を行うことができる。高速ビジョンセンサ４は、対象物の画像の座標情報とともに、対象物の面積、動きの方向、及び対象物の重心位置の少なくとも一つの情報を出力してもよい。

アプリケーションプロセッサ５は、高速ビジョンセンサ４とＴｏＦセンサ３の動作を制御する。また、アプリケーションプロセッサ５は、高速ビジョンセンサ４とＴｏＦセンサ３からセンシング結果を受信して、種々の信号処理を行う。

高速ビジョンセンサ４とＴｏＦセンサ３は、それぞれチップ化することができる。高速ビジョンセンサ４の機能を有する第１半導体装置と、ＴｏＦセンサ３の機能を有する第２半導体装置とを例えばベース基板上に実装して検出装置１を構成することができる。あるいは、複数の半導体層を積層した積層チップに、高速ビジョンセンサ４の機能を実現する回路とＴｏＦセンサ３の機能を実現する回路を形成してもよい。この場合、例えば、積層チップの上チップ側に、高速ビジョンセンサ４とＴｏＦセンサ３の一部、具体的には光信号を投光及び受光する回路を形成し、下チップ側に、残りの部分、具体的には制御回路などを形成してもよい。また、光信号を投光する回路は、別チップ構成にしてもよい。

図１の高速ビジョンセンサ４は、画素アレイ部１１と、画像処理部１２と、ＩＳＰ（Image Signal Processor）１３と、色検出部１４と、点検出部１５と、追跡（トラッキング）部１６と、出力インタフェース（Ｉ／Ｆ）部１７と、グルーピング制御部１８と、通信＆全体制御部１９と、を有する。

画素アレイ部１１は、縦横に配置された複数の画素を有し、各画素で光電変換された画素信号を出力する。画像処理部１２は、例えば画素信号をＡ／Ｄ変換して、デジタルの画像データを生成する。ＩＳＰ１３は、Ａ／Ｄ変換後の画像データに対して、種々の信号処理を行う。ＩＳＰ１３が行う信号処理の具体的な内容は問わないが、例えば、クランプ処理、欠陥補正処理、レンズシェーディング処理などである。

色検出部１４は、ＩＳＰ１３から出力された画像データから、特定の色又は輝度を有する対象物の画像を検出する。色検出部１４が検出するべき特定の色又は輝度は、例えばアプリケーションプロセッサ５により指定される。色検出部１４は、特定の色又は輝度を有する対象物が検出されると、検出された対象物の座標情報等をグルーピング制御部１８に送信する。色検出部１４は、特定の色又は輝度を有する複数の対象物の画像を検出してもよい。この場合、色検出部１４は、各対象物の画像の座標情報等を区別して、グルーピング制御部１８に送信する。より具体的には、色検出部１４は、２値化処理、モーメント算出処理、重心算出処理、動きベクトル処理、及び動物体検出処理などを行う。

点検出部１５は、ＩＳＰ１３から出力された画像データから、特徴点を検出する。特徴点とは、撮像画像に含まれる対象物の画像を特徴づける画素データである。点検出部１５は、例えば所定のフィルタ処理を施して特徴点を抽出する。フィルタ処理は、例えば、移動平均フィルタやメディアンフィルタなどによるノイズ除去処理、Ｓｏｂｅｌフィルタなどの輪郭検出処理、ラプラシアンフィルタなどによるエッジ検出処理などである。また、点検出部１５は、画像データのオイラー数を求めて、対象物の個数を算出してもよい。オイラー数とは、成分数から孔の数を引いた数である。アプリケーションプロセッサ５は、点検出部１５に対して、特徴点を検出するのに必要な情報を通知する。

追跡部１６は、色検出部１４及び点検出部１５の検出結果に基づいて、追跡するべき対象物を特定し、対象物の移動に合わせて対象物を追跡する。より詳細には、追跡部１６は、撮像画像に含まれる対象物の画像を、撮像画像の範囲内で追跡し続け、対象物の画像の最新の座標情報等を出力する。

出力Ｉ／Ｆ部１７は、対象物の画像の座標情報等を出力する。出力Ｉ／Ｆ部１７は、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）、ＳＰＩ（Serial Peripheral Interface）などの規格に従って、対象物の画像の座標情報等をシリアル信号として出力する。このシリアル信号は、アプリケーションプロセッサ５に送られる。

グルーピング制御部１８は、ＴｏＦセンサ３で検出された距離と、高速ビジョンセンサ４で検出された対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、撮像画像中の対象物の画像をグルーピングする。高速ビジョンセンサ４は、グルーピング制御部１８でグルーピングされたグループごとに、対象物の画像の座標情報を検出する。

グルーピング制御部１８は、対象物の色、輝度及び特徴点の少なくとも一つが同一又は類似である複数の対象物の画像の少なくとも一部が重なり合っており、かつＴｏＦセンサ３で検出された複数の対象物の距離がそれぞれ異なる場合には、複数の対象物をそれぞれ異なるグループに分類する。

グルーピング制御部１８は、対象物の画像をグルーピングした後に、対象物が移動して撮像画像内で複数の対象物の画像の少なくとも一部が重なり合った場合、ＴｏＦセンサ３で検出された距離と、対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、複数の対象物を再度グルーピングする。これを本明細書では、再グループ化処理と呼ぶ。

通信＆全体制御部１９は、ＴｏＦセンサ３及びアプリケーションプロセッサ５との通信を制御するとともに、高速ビジョンセンサ４内の各部の動作を制御する。より具体的には、通信＆全体制御部１９は、アプリケーションプロセッサ５からの制御信号を、Ｉ２Ｃ（Inter-Integrated Circuit）やＳＰＩなどの規格に従って受信し、その制御信号に基づいて、高速ビジョンセンサ４内の各部の動作を制御する。例えば、通信＆全体制御部１９は、アプリケーションプロセッサ５からの制御信号に基づいて、色検出部１４で検出するべき特定の色や輝度に関する情報を色検出部１４に設定したり、点検出部１５で検出するべき特徴点に関する情報を点検出部１５に設定したりする。

また、通信＆全体制御部１９は、ＴｏＦセンサ３との間で各種信号を送受する制御を行う。高速ビジョンセンサ４とＴｏＦセンサ３とは、例えばＳＰＩなどの規格に従って、シリアル通信を行う。通信＆全体制御部１９は、ＴｏＦセンサ３に対して対象物の距離検出を指示する信号を送信するとともに、ＴｏＦセンサ３で検出された対象物までの距離に関する情報を受信して、グルーピング制御部１８に送信する。

図１のＴｏＦセンサ３は、間接ＴｏＦ方式の概略的なブロック構成を示している。ＴｏＦセンサ３は、通信＆全体制御部２１と、発光タイミング制御部２２と、画素変調部２３と、画素アレイ部２４と、画素制御部２５と、Ａ／Ｄコンバータ（ＡＤＣ）２６と、データ処理部２７と、出力Ｉ／Ｆ部２８と、測距開始制御部２９と、を有する。

通信＆全体制御部２１は、高速ビジョンセンサ４及びアプリケーションプロセッサ５との通信を制御するとともに、ＴｏＦセンサ３内の各部の動作を制御する。より具体的には、通信＆全体制御部２１は、アプリケーションプロセッサ５からの制御信号を、Ｉ２ＣやＳＰＩなどの規格に従って受信し、その制御信号に基づいて、ＴｏＦセンサ３内の各部の動作を制御する。また、通信＆全体制御部２１は、高速ビジョンセンサ４からの距離検出指示信号を受信して発光タイミング制御部２２に送信するとともに、距離検出結果を示す情報をデータ処理部２７から取得して、高速ビジョンセンサ４に送信する。

発光タイミング制御部２２は、高速ビジョンセンサ４からの距離検出指示信号に基づいて、距離計測用の光信号を発光するタイミングを制御する。距離計測用の光信号を発光する不図示の発光素子は、ＴｏＦセンサに外付けされている。

画素変調部２３は、画素アレイ部２４から画素信号を読み出すタイミングを制御する。間接ＴｏＦ方式では、複数の異なる位相で受光された光信号に基づいて対象物までの距離を検出するため、画素変調部２３にて、画素信号の読み出しタイミングを制御する。

画素制御部２５は、通信＆全体制御部２１からの制御信号により、画素アレイ部２４から読み出すべき画素を間引く処理など、読み出すべき画素領域を制御する。

画素アレイ部２４から読み出された画素信号は、ＡＤＣ２６でデジタルの画素データに変換された後、データ処理部２７で種々の信号処理が施されて、出力Ｉ／Ｆ部２８から出力される。データ処理部２７は、それぞれ異なる位相で受光された光信号に応じた画素データに基づいて、対象物までの距離情報を検出する。検出された距離情報は、通信＆全体制御部２１に送信される。

測距開始制御部２９は、外部から入力される測距開始トリガ信号に基づいて、測距開始のタイミングを制御する。測距開始トリガ信号が高速ビジョンセンサ４以外から入力される場合、測距開始のタイミングを高速ビジョンセンサ４の動作と同期させる必要がある。一方、測距開始トリガ信号が高速ビジョンセンサ４から入力される場合は、測距開始トリガ信号に同期して測距を開始すればよいため、測距開始制御部２９を省略することができる。

図２は、高速ビジョンセンサ４が撮像する画角内に、同一又は類似する色又は輝度の複数の対象物が存在する例を示す図である。より詳細には、図２（ａ）に示すように、高速ビジョンセンサ４の近い位置に対象物Ａが存在し、遠い位置に対象物Ｂが存在する例を示している。対象物ＡとＢが、図２（ｂ）に示すように、高速ビジョンセンサ４の画角内で、前後に重なる位置に撮像された場合には、対象物ＡとＢの色が同一又は類似であることから、高速ビジョンセンサ４単体では、対象物ＡとＢを識別することが困難であり、同一の対象物であると誤認識するおそれがある。この場合、高速ビジョンセンサ４内の追跡部１６は、対象物Ａの画像と対象物Ｂの画像を合わせた画像の重心位置を基準に、追跡処理を行おうとする。その後、図２（ｃ）に示すように、対象物Ａが移動して対象物ＡとＢの相対距離が離れると、上述した重心位置を基準として対象物Ａの追跡処理を行うことができなくなる。

図３Ａ及び図３Ｂは、高速ビジョンセンサ４の画角内で前後に重なる複数の対象物のうち、一部の対象物のみが移動する例を示す図である。図３Ａ及び図３Ｂでは、後方に位置する人間Ｄが、前方側に手を伸ばしてカードＣを振っている例を示している。この場合、高速ビジョンセンサ４には、人間ＤとカードＣが重なって撮像される。人間ＤとカードＣの双方に特徴点が存在するため、高速ビジョンセンサ４単体では、カードＣと人間Ｄを分離して取り扱うことができず、カードＣの動きを精度よく追跡できないおそれがある。

本実施形態による検出装置１及び検出システム２は、図２と図３Ａ〜図３Ｂに示した状況でも、対象物を精度よく抽出して追跡することができることを特徴としている。本実施形態によるグルーピング制御部１８は、高速ビジョンセンサ４の撮像画像に含まれる複数の対象物の画像を、ＴｏＦセンサ３による距離検出結果に基づいてグルーピングする。グルーピング制御部１８によるグルーピングの仕方に複数通りが考えられる。以下では、代表的な第１グルーピング手法と第２グルーピング手法を順に説明する。

図４は第１グルーピング手法を説明する図、図５は第１グルーピング手法の処理手順を示すフローチャートである。第１グルーピング手法では、高速ビジョンセンサ４が所定の画角で撮像を行うとともに、高速ビジョンセンサ４が撮像した画角と同一又は類似の画角内で、ＴｏＦセンサ３が対象物までの距離を検出する（ステップＳ１）。すなわち、ＴｏＦセンサ３は高速ビジョンセンサ４の撮像範囲を含む範囲で、対象物までの距離を検出する。

ＴｏＦセンサ３は、上述した範囲内に存在する対象物の距離により分類してグルーピング制御部１８に送信する（ステップＳ２）。例えば、対象物までの距離を、例えば近距離、中距離、遠距離の３つに分類し、その分類結果をグルーピング制御部１８に送信する。あるいは、より細かい距離ごとに分類してもよい。グルーピング制御部１８は、ＴｏＦセンサ３の分類結果に基づいて、高速ビジョンセンサ４の撮像画像から対象物の画像を抽出して、グルーピングを行う（ステップＳ３）。例えば、図４の例では、グルーピング制御部１８は、ＴｏＦセンサ３の距離検出結果に基づいて、高速ビジョンセンサ４の画角内に存在する対象物ＡとＢを別々のグループに分類する。このように、高速ビジョンセンサ４は、撮像画像中に重なり合った対象物ＡとＢの画像が存在しても、ＴｏＦセンサ３による分類結果に基づいて、対象物Ａと対象物Ｂを別々のグループにグルーピングすることができる。

その後、追跡部１６は、グルーピングされた対象物ＡとＢの重心位置をそれぞれ計算して、重心位置を基準として対象物ＡとＢの追跡を行う。

図６は第２グルーピング手法を説明する図、図７は第２グルーピング手法の処理手順を示すフローチャートである。第２グルーピング手法では、まず高速ビジョンセンサ４が所定の画角で撮像を行い（ステップＳ１１）、撮像画像に基づいて、色、輝度又は特徴点の検出を行って対象物を抽出し、ＴｏＦセンサ３が測距を行うべき範囲ｒ１を特定する（ステップＳ１２）。特定された範囲ｒ１は、対象物を含む範囲である。高速ビジョンセンサ４が特定した範囲ｒ１は、ＴｏＦセンサ３に送信される（ステップＳ１３）。ＴｏＦセンサ３は、高速ビジョンセンサ４が特定した範囲ｒ１内で測距を行って、対象物までの距離を検出する（ステップＳ１４）。グルーピング制御部１８は、ＴｏＦセンサ３の距離検出結果に基づいて、ＴｏＦセンサ３で検出された対象物までの距離を、例えば、近接距離、中距離又は遠距離に分類する（ステップＳ１５）。そして、グルーピング制御部１８は、分類された距離情報に基づいて、高速ビジョンセンサ４の撮像画像に含まれる対象物の画像をグルーピングする（ステップＳ１６）。これにより、撮像画像中に重なり合った対象物の画像が存在しても、ＴｏＦセンサ３による距離検出結果に基づいて、対象物Ａと対象物Ｂを別々のグループにグルーピングすることができる。

ステップＳ１６では、例えば、高速ビジョンセンサ４が、近接した領域内に複数の特徴点を検出したときに、これら特徴点までの距離が似通っていれば、これら特徴点を同じグループに分類してもよい。また、ステップＳ１２で高速ビジョンセンサ４が特定した範囲ｒ１内に、距離が異なる複数の対象物が存在することがＴｏＦセンサ３で検出されると、グルーピング制御部１８は、ステップＳ１６において、高速ビジョンセンサ４がステップＳ１２で特定した範囲を分解して、各対象物を別々のグループに分類する。逆に、高速ビジョンセンサ４がステップＳ１２で特定した複数の近接した範囲が、ステップＳ１４でＴｏＦセンサ３により同じ距離であると検出された場合、ステップＳ１６でグルーピング制御部１８は、これら範囲を一つのグループに統合する。

第１グルーピング手法又は第２グルーピング手法にてグルーピングされた別々のグループに属する複数の対象物は、追跡部１６にて個別に追跡することができる。ところが、別々のグループに属する複数の対象物の相対距離が近づくと、撮像画像中の複数の対象物の画像同士が少なくとも部分的に重なり合う場合がありうる。この場合、グルーピング制御部１８は、再クループ化処理を行う。

図８Ａ及び図８Ｂは第１グルーピング手法を採用したときの再グループ化処理を説明する図である。まず、図８Ａに示すように、１フレーム目は、図５に示した処理手順で、高速ビジョンセンサ４の撮像画像内の複数の対象物をグルーピングする。その後、２フレーム目以降では、グループごとに、各グループ内の対象物の追跡処理を行う。撮像画像内の複数の対象物の画像が重なり合わない限りは、１フレーム目でグルーピングした情報に基づいて、グループごとに対応する対象物の追跡処理を精度よく継続することができる。

図８Ｂに示すように、Ｎ（Ｎは２以上の整数）フレーム目で、撮像画像内の複数の対象物の画像の少なくとも一部が重なり合ったとすると、高速ビジョンセンサ４内のグルーピング制御部１８は、再度、ＴｏＦセンサ３に対して、高速ビジョンセンサ４と同一又は類似する画角内での対象物までの距離検出を指示する。この指示を受けて、ＴｏＦセンサ３は各対象物の距離を検出し、その検出結果をグルーピング制御部１８に送信する。グルーピング制御部１８は、再び、ＴｏＦセンサ３で検出された距離情報と、高速ビジョンセンサ４内の色検出部１４と点検出部１５で検出された色、輝度及び特徴点の少なくとも一つの情報とに基づいて、高速ビジョンセンサ４が撮像した撮像画像内の各対象物の画像をグルーピングする。これにより、Ｎ＋１フレーム以降では、グループごとに、対応する対象物の追跡処理を再び精度よく行うことができる。

図９Ａ及び図９Ｂは第２グルーピング手法を採用したときの再グループ化処理を説明する図である。まず、図９Ａに示すように、１フレーム目は、図７に示した処理手順で、高速ビジョンセンサ４から指定された範囲ｒ１内でＴｏＦセンサ３が対象物の距離検出を行い、その距離検出結果に基づいて、グルーピング制御部１８は、高速ビジョンセンサ４が指定した範囲ｒ１内の対象物のグルーピングを行う。その後、２フレーム目以降では、グループごとに、各グループ内の対象物の追跡処理を行う。撮像画像内の複数の対象物が重なり合わない限りは、１フレーム目でグルーピングした情報が有効であり、グループごとに対応する対象物の追跡処理を継続することができる。

図９Ｂに示すように、Ｎ（Ｎは２以上の整数）フレーム目で、撮像画像内の複数の対象物が前後に重なり合ったとすると、高速ビジョンセンサ４は、再度、指定した範囲ｒ１内での距離検出をＴｏＦセンサ３に指示する。ＴｏＦセンサ３は、高速ビジョンセンサ４から指定された範囲ｒ１内で対象物の距離検出を再度行い、その距離検出結果に基づいて、グルーピング制御部１８は、再び、各範囲内の対象物のグルーピングを行う。

第１グルーピング手法と第２グルーピング手法は任意に組み合わせて実施してもよい。例えば、図８Ａ、図８Ｂ及び図９Ａ、図９Ｂの例において、１フレーム目では第１グルーピング手法にてグルーピングを行い、その後再グループ化処理を行う際には第２グルーピング手法にてグルーピングを行ってもよい。逆に、１フレーム目では第２グルーピング手法にてグルーピングを行い、その後再グループ処理を行う際には第１グルーピング手法にてグルーピングを行ってもよい。

図１では、高速ビジョンセンサ４内にグルーピング制御部１８を設ける例を示したが、グルーピング制御部１８は、高速ビジョンセンサ４以外の場所に設けてもよい。図１０はＴｏＦセンサ３ａ内にグルーピング制御部１８を設けた検出装置１ａを備えた検出システム２ａのブロック図である。図１０のＴｏＦセンサ３ａ内のグルーピング制御部１８は、第１グルーピング手法を採用する場合には、ＴｏＦセンサ３ａが検出した対象物の距離情報と、高速ビジョンセンサ４ａ内の色検出部１４が検出した対象物の色又は輝度情報と、点検出部１５が検出した特徴点の情報とに基づいて、撮像画像内の各対象物のグルーピングを行う。また、図１０のＴｏＦセンサ３ａ内のグルーピング制御部１８は、第２グルーピング手法を採用する場合には、高速ビジョンセンサ４ａから指定された範囲内でＴｏＦセンサ３ａが対象物の距離を検出した結果に基づいて、撮像画像内の対象物のグルーピングを行う。グルーピング制御部１８がグルーピングした情報（以下、グルーピング情報）は、高速ビジョンセンサ４ａに送信される。高速ビジョンセンサ４ａ内の追跡部１６は、ＴｏＦセンサ３ａ内のグルーピング制御部１８から送信されたグルーピング情報に基づいて、グループごとに、グループ内の対象物の追跡を行う。

上述した図１〜図１０では、間接ＴｏＦ方式で距離を検出するＴｏＦセンサ３を検出装置１が有する例を説明したが、検出装置１は直接ＴｏＦ方式で距離を検出するＴｏＦセンサ３を備えていてもよい。

図１１は直接ＴｏＦ方式のＴｏＦセンサ３ｂを有する検出装置１ｂを備えた検出システム２ｂのブロック図である。図１１のＴｏＦセンサ３ｂは、通信＆全体制御部３１と、ＳＰＡＤ（Single Photon Avalanche Diode）制御部３２と、ＳＰＡＤアレイ＆読み出し回路３３と、サンプリング回路３４と、測距処理部３５と、発光タイミング制御部３６と、出力Ｉ／Ｆ部３７と、クロック生成部３８とを備えている。

ＳＰＡＤアレイ＆読み出し回路３３内のＳＰＡＤアレイは、縦横に配置された複数のＳＰＡＤを有する。各ＳＰＡＤは、入射された単一フォトンに応じた電気信号を出力する。この電気信号は、読み出し回路を介して出力される。読み出し回路は、光パルス信号が受光された後にＳＰＡＤの両端電圧を初期電圧に戻すクエンチング動作を行う。ＳＰＡＤアレイ＆読み出し回路３３から出力された電気信号は、サンプリング回路３４でサンプリングされる。

測距処理部３５は、ヒストグラム生成部３５ａと、距離算出部３５ｂとを有する。ヒストグラム生成部３５ａは、受光された複数の光パルス信号の受光時刻と、受光された光パルス信号の数との関係を表すヒストグラムを生成する。距離算出部３５ｂは、ＦＩＲフィルタ処理、エコー判定処理、ピーク検出処理、及び距離算出処理などを行う。距離算出部３５ｂで算出された距離情報は出力Ｉ／Ｆ部３７を介して出力される。

発光タイミング制御部３６は、不図示の発光素子の発光タイミングを制御する。発光素子に送られる発光トリガ信号は、測距処理部３５にも送られる。測距処理部３５内の距離算出部３５ｂは、ヒストグラム生成部３５ａで生成されたヒストグラムに基づいて受光タイミングを検出し、発光トリガ信号が出力された発光タイミングと受光タイミングとの時間差により、対象物までの距離を検出する。

図１１の検出装置１ｂは、図１の検出装置１と同様に、高速ビジョンセンサ４内にグルーピング制御部１８を有する。ＴｏＦセンサ３ｂは、距離計測結果を高速ビジョンセンサ４に送信して、高速ビジョンセンサ４内のグルーピング制御部１８にて距離画像内の各対象物のグルーピングを行う。

図１１の検出装置１ｂでは、高速ビジョンセンサ４内にグルーピング制御部１８を有するが、グルーピング制御部１８は高速ビジョンセンサ４以外の場所に設けてもよい。図１２は図１１の一変形例による検出システム２ｃの概略構成を示すブロック図である。図１２の検出システム２ｃは、直接ＴｏＦ方式のＴｏＦセンサ３ｃ内にグルーピング制御部１８を設けている。図１２のＴｏＦセンサ３ｃ内のグルーピング制御部１８は、図１０のＴｏＦセンサ３ａ内のグルーピング制御部１８と同様に、高速ビジョンセンサ４ａ内の色検出部１４で検出された色又は輝度情報と、点検出部１５で検出された特徴点の情報とを受信するとともに、ＴｏＦセンサ３で検出された距離情報に基づいて、各対象物のグルーピングを行う。

上述した図１〜図１２では、検出装置１（１ａ、１ｂ、１ｃ）内に高速ビジョンセンサ４（４ａ）とＴｏＦセンサ３（３ａ、３ｂ、３ｃ）とを備える例を説明したが、高速ビジョンセンサ４（４ａ）とＴｏＦセンサ３（３ａ、３ｂ、３ｃ）を統合したセンサを検出装置１内に設けてもよい。この場合、統合したセンサは一つの半導体装置（チップ）で実現可能である。

図１３は図１の高速ビジョンセンサ４とＴｏＦセンサ３の機能を統合したＴｏＦセンサ３ｄを有する検出装置１ｄを備えた検出システム２の概略構成を示すブロック図である。図１３のＴｏＦセンサ３ｄは、図１のＴｏＦセンサ３と同様の間接ＴｏＦ方式のブロック構成に加えて、図１の高速ビジョンセンサ４のブロック構成を備えている。図１３では、図１の検出装置１内の各部に対応する箇所には同一符号を付しており、詳細な説明は省略する。なお、図１３の統合センサは、間接ＴｏＦ方式の代わりに、直接ＴｏＦ方式で距離検出を行ってもよい。この場合、図１１のＴｏＦセンサ３ｂに高速ビジョンセンサ４を統合した構成になる。

図１では、高速ビジョンセンサ４とＴｏＦセンサ３とが、それぞれの通信＆全体制御部１９、２１を介してＳＰＩ等の規格に従ってシリアル通信を行うが、図１３では、一つのＴｏＦセンサ３ｄの内部に高速ビジョンセンサ４の機能を備えているため、例えば配線パターンを介して各種信号の送受を行うことができ、高速通信が可能となる。また、複数の半導体装置間でシリアル通信を行う場合と比べて、Ｓ／Ｎ比を向上でき、信号レベルも小さくできるため、消費電力を削減できる。

上述した図１〜図１２では、高速ビジョンセンサ４（４ａ）とＴｏＦセンサ３（３ａ、３ｂ、３ｃ）のいずれかにグルーピング制御部１８を設ける例を示したが、アプリケーションプロセッサ５の内部にグルーピング制御部１８を設けてもよい。図１４はアプリケーションプロセッサ５ａの内部にグルーピング制御部１８を設けた検出システム２ｅのブロック図である。図１４のグルーピング制御部１８は、第１グルーピング手法を採用する場合には、高速ビジョンセンサ４が検出した撮像画像内の対象物の色、輝度及び特徴点の少なくとも一つの情報を高速ビジョンセンサ４から受信するとともに、ＴｏＦセンサ３から、各対象物の距離情報を受信し、これらの受信情報に基づいて、各対象物のグルーピングを行う。また、図１４のグルーピング制御部１８は、第２グルーピング手法を採用する場合には、高速ビジョンセンサ４から指示された範囲内でＴｏＦセンサ３が距離検出を行った情報と、高速ビジョンセンサ４が検出した撮像画像内の対象物の色、輝度及び特徴点の少なくとも一つの情報とに基づいて、各対象物のグルーピングを行う。グルーピングされた情報は、高速ビジョンセンサ４に送信され、高速ビジョンセンサ４内の追跡部１６で追跡処理を行う。

図１４の検出装置１は、間接ＴｏＦ方式のＴｏＦセンサ３を有するが、図１１と同様に、直接ＴｏＦ方式のＴｏＦセンサ３を有していてもよい。

このように、本実施形態では、高速ビジョンセンサ４（４ａ）で検出された対象物の色、輝度及び特徴点の少なくとも一つと、ＴｏＦセンサ３（３ａ〜３ｄ）で検出された対象物の距離情報とに基づいて、高速ビジョンセンサ４（４ａ）の撮像画像内の各対象物のグルーピングを行う。追跡部１６は、グルーピングされたグループごとに、対象物の追跡処理を行う。追跡処理を行っている最中に、複数の対象物の画像が撮像画像内で前後に重なった場合には、再度、高速ビジョンセンサ４（４ａ）で検出された対象物の色、輝度及び特徴点の少なくとも一つと、ＴｏＦセンサ３（３ａ〜３ｄ）で検出された対象物の距離情報とに基づいて、再グループ化処理を行う。これにより、撮像画像内で複数の対象物の画像が前後に重なった場合でも、各対象物の画像を区別して精度よく追跡し続けることができる。

このように、本実施形態によれば、高速ビジョンセンサ４（４ａ）とＴｏＦセンサ３（３ａ〜３ｄ）とを連携させることで、高速ビジョンセンサ４（４ａ）では識別が難しかった、色や輝度が同一又は類似している複数の対象物を精度よく識別して、各対象物を追跡することが可能となる。

（移動体への応用例）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（ＡｄｖａｎｃｅｄＤｒｉｖｅｒＡｓｓｉｓｔａｎｃｅＳｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１６は、撮像部１２０３１の設置位置の例を示す図である。

図１６では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１に、本開示による撮像素子を実装することができる。撮像部１２０３１に、本開示に係る技術を適用することにより、電磁ノイズの発生を抑制しつつ、距離画像の解像度を向上させることができ、車両１２１００の機能性および安全性を高めることができる。

なお、本技術は以下のような構成を取ることができる。
（１）対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、
前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、を備える、検出装置。
（２）前記第１検出部で検出された距離と、前記第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記対象物をグルーピングするグルーピング制御部を備える、（１）に記載の検出装置。
（３）前記第２検出部は、前記グルーピング制御部でグルーピングされたグループごとに、前記対象物の画像の座標情報を検出する、（２）に記載の検出装置。
（４）前記グルーピング制御部は、前記対象物の色、輝度及び特徴点の少なくとも一つが同一又は類似である複数の前記対象物の画像の少なくとも一部が重なり合っており、かつ前記第１検出部で検出された前記複数の対象物の距離がそれぞれ異なる場合には、前記複数の対象物をそれぞれ異なるグループに分類する、（２）又は（３）に記載の検出装置。
（５）前記グルーピング制御部は、前記対象物のグルーピングを行った後に前記撮像画像内で複数の前記対象物の画像の少なくとも一部が重なり合った場合、前記第１検出部で検出された距離と、前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記複数の対象物を再度グルーピングする、（２）乃至（４）のいずれか一項に記載の検出装置。
（６）前記対象物の移動に応じて前記撮像画像内で前記対象物の画像を追跡する追跡部を備える、（２）乃至（５）のいずれか一項に記載の検出装置。
（７）前記グルーピング制御部は、前記追跡部で追跡している最中に前記撮像画像内で複数の前記対象物の画像の少なくとも一部が重なり合った場合、前記第１検出部で検出された距離と、前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記複数の対象物を再度グルーピングし、
前記追跡部は、再度グルーピングした後の前記対象物の画像を追跡する、（６）に記載の検出装置。
（８）前記第１検出部は、所定の範囲からの光を受光して、前記所定の範囲内に存在する前記対象物までの距離を検出し、
前記グルーピング制御部は、色、輝度又は特徴点の少なくとも一つに基づいて抽出された前記対象物を、前記第１検出部で検出された前記対象物までの距離に基づいてグルーピングし、
前記第２検出部は、前記グルーピング制御部でグルーピングされたグループごとに、前記対象物の画像の座標情報を検出する、（２）乃至（７）のいずれか一項に記載の検出装置。
（９）前記第２検出部は、前記撮像画像から、色、輝度又は特徴点の少なくとも一つに基づいて抽出された前記対象物の画像位置に対応する制限範囲内で距離を検出するように前記第１検出部に指示し、
前記第１検出部は、前記制限範囲内に含まれる前記対象物までの距離を検出し、
前記グルーピング制御部は、前記第２検出部で検出された前記対象物の画像位置と、前記第１検出部で検出された前記対象物までの距離とに基づいて、前記対象物をグルーピングする、（２）乃至（７）のいずれか一項に記載の検出装置。
（１０）前記第２検出部は、前記座標情報とともに、前記対象物の画像を含む所定の撮像範囲の画像データを出力する、（１）乃至（９）のいずれか一項に記載の検出装置。
（１１）前記第２検出部は、前記座標情報とともに、前記対象物の面積、動き方向及び重心位置の少なくとも一つを含む情報を出力する、（１）乃至（９）のいずれか一項に記載の検出装置。
（１２）前記第１検出部を有する第１半導体装置と、
前記第２検出部を有する第２半導体装置と、を備える、（１）乃至（１１）のいずれか一項に記載の検出装置。
（１３）前記第１検出部を有する第１半導体装置と、
前記第２検出部を有する第２半導体装置と、を備え、
前記グルーピング制御部は、前記第１半導体装置又は前記第２半導体装置に設けられる、（２）乃至（１１）のいずれか一項に記載の検出装置。
（１４）前記第１検出部及び前記第２検出部を有する半導体装置を備える、（１）乃至（１１）のいずれか一項に記載の検出装置。
（１５）対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、
前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、
前記第１検出部及び前記第２検出部を制御する制御部と、を備える検出システム。
（１６）前記第１検出部を有する第１半導体装置と、
前記第２検出部を有する第２半導体装置と、
前記制御部を有する第３半導体装置と、を備える、（１５）に記載の検出システム。
（１７）前記第１半導体装置、前記第２半導体装置又は前記第３半導体装置に設けられ、前記第１検出部で検出された距離と、前記第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記対象物をグルーピングするグルーピング制御部を備える、（１６）に記載の検出システム。
（１８）対象物で反射された光に基づいて、前記対象物までの距離を第１検出部で検出し、
第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つと、前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する、検出方法。

本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

１、１ａ、１ｂ、１ｃ、１ｄ検出装置、２、２ａ、２ｂ、２ｃ、２ｄ検出システム、３、３ａ、３ｂ、３ｃ、３ｄＴｏＦセンサ、４、４ａ高速ビジョンセンサ、５アプリケーションプロセッサ、１１画素アレイ部、１２画像処理部、１３ＩＳＰ、１４色検出部、１５点検出部、１６追跡部、１７出力Ｉ／Ｆ部、１８グルーピング制御部、１９通信＆全体制御部、２１通信＆全体制御部、２２発光タイミング制御部、２３画素変調部、２４画素アレイ部、２５画素制御部、２６ＡＤＣ、２７データ処理部、２８出力Ｉ／Ｆ部、２９測距開始制御部、３１通信＆全体制御部、３２ＳＰＡＤ制御部、３３ＳＰＡＤアレイ＆読み出し回路、３４サンプリング回路、３５測距処理部、３５ａヒストグラム生成部、３５ｂ距離算出部、３６発光タイミング制御部、３７出力Ｉ／Ｆ部、３８クロック生成部、１２０００車両制御システム、１２０１０駆動系制御ユニット、１２０２０ボディ系制御ユニット、１２０３０車外情報検出ユニット、１２０３１撮像部、１２０４０車内情報検出ユニット、１２０４１運転者状態検出部、１２０５０統合制御ユニット、１２０５１マイクロコンピュータ、１２０５２音声画像出力部、１２０５３車載ネットワークＩ／Ｆ、１２０６１オーディオスピーカ、１２０６２表示部、１２０６３インストルメントパネル

Claims

対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、
前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、を備える、検出装置。
前記第１検出部で検出された距離と、前記第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記対象物をグルーピングするグルーピング制御部を備える、請求項１に記載の検出装置。
前記第２検出部は、前記グルーピング制御部でグルーピングされたグループごとに、前記対象物の画像の座標情報を検出する、請求項２に記載の検出装置。
前記グルーピング制御部は、前記対象物の色、輝度及び特徴点の少なくとも一つが同一又は類似である複数の前記対象物の画像の少なくとも一部が重なり合っており、かつ前記第１検出部で検出された前記複数の対象物の距離がそれぞれ異なる場合には、前記複数の対象物をそれぞれ異なるグループに分類する、請求項２に記載の検出装置。
前記グルーピング制御部は、前記対象物のグルーピングを行った後に前記撮像画像内で複数の前記対象物の画像の少なくとも一部が重なり合った場合、前記第１検出部で検出された距離と、前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記複数の対象物を再度グルーピングする、請求項２に記載の検出装置。
前記対象物の移動に応じて前記撮像画像内で前記対象物の画像を追跡する追跡部を備える、請求項２に記載の検出装置。
前記グルーピング制御部は、前記追跡部で追跡している最中に前記撮像画像内で複数の前記対象物の画像の少なくとも一部が重なり合った場合、前記第１検出部で検出された距離と、前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記複数の対象物を再度グルーピングし、
前記追跡部は、再度グルーピングした後の前記対象物の画像を追跡する、請求項６に記載の検出装置。
前記第１検出部は、所定の範囲からの光を受光して、前記所定の範囲内に存在する前記対象物までの距離を検出し、
前記グルーピング制御部は、色、輝度又は特徴点の少なくとも一つに基づいて抽出された前記対象物を、前記第１検出部で検出された前記対象物までの距離に基づいてグルーピングし、
前記第２検出部は、前記グルーピング制御部でグルーピングされたグループごとに、前記対象物の画像の座標情報を検出する、請求項２に記載の検出装置。
前記第２検出部は、前記撮像画像から、色、輝度又は特徴点の少なくとも一つに基づいて抽出された前記対象物の画像位置に対応する制限範囲内で距離を検出するように前記第１検出部に指示し、
前記第１検出部は、前記制限範囲内に含まれる前記対象物までの距離を検出し、
前記グルーピング制御部は、前記第２検出部で検出された前記対象物の画像位置と、前記第１検出部で検出された前記対象物までの距離とに基づいて、前記対象物をグルーピングする、請求項２に記載の検出装置。
前記第２検出部は、前記座標情報とともに、前記対象物の画像を含む所定の撮像範囲の画像データを出力する、請求項１に記載の検出装置。
前記第２検出部は、前記座標情報とともに、前記対象物の面積、動き方向及び重心位置の少なくとも一つを含む情報を出力する、請求項１に記載の検出装置。
前記第１検出部を有する第１半導体装置と、
前記第２検出部を有する第２半導体装置と、を備える、請求項１に記載の検出装置。
前記第１検出部を有する第１半導体装置と、
前記第２検出部を有する第２半導体装置と、を備え、
前記グルーピング制御部は、前記第１半導体装置又は前記第２半導体装置に設けられる、請求項２に記載の検出装置。
前記第１検出部及び前記第２検出部を有する半導体装置を備える、請求項１に記載の検出装置。
対象物で反射された光に基づいて、前記対象物までの距離を検出する第１検出部と、
前記対象物の色、輝度及び特徴点の少なくとも一つと前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する第２検出部と、
前記第１検出部及び前記第２検出部を制御する制御部と、を備える検出システム。
前記第１検出部を有する第１半導体装置と、
前記第２検出部を有する第２半導体装置と、
前記制御部を有する第３半導体装置と、を備える、請求項１５に記載の検出システム。
前記第１半導体装置、前記第２半導体装置又は前記第３半導体装置に設けられ、前記第１検出部で検出された距離と、前記第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つとに基づいて、前記対象物をグルーピングするグルーピング制御部を備える、請求項１６に記載の検出システム。
対象物で反射された光に基づいて、前記対象物までの距離を第１検出部で検出し、
第２検出部で検出された前記対象物の色、輝度及び特徴点の少なくとも一つと、前記第１検出部で検出された前記距離とに基づいて、所定の画角で撮像された撮像画像に含まれる前記対象物の画像を抽出して、抽出した画像の座標情報を検出する、検出方法。