JP2020188323A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】撮像画像のフレームレートを低下させることなく、処理装置に設ける受信インターフェースの個数を低減することができる撮像装置および撮像方法を提供すること。【解決手段】本開示に係る撮像装置は、１の信号線を共用して検知結果を処理装置へ出力する複数のイメージセンサを備える。少なくとも１以上のイメージセンサは、撮像部と、認識部と、出力部とを有する。撮像部は、画像を撮像して画像データを生成する。認識部は、画像データから所定の対象物を認識する。出力部は、撮像部が１の画像を撮像する１フレーム期間のうち、他のイメージセンサによる信号線を使用した検知結果の出力期間と重複しない期間に、認識部による認識結果を処理装置へ出力する。【選択図】図３

Description

本開示は、撮像装置および撮像方法に関する。

処理装置と複数のイメージセンサとを備え、処理装置が複数のイメージセンサから受信する画像データに基づいて撮像画像の被写体を認識するシステムがある。かかるシステムでは、処理装置と複数のイメージセンサとをそれぞれ個別に信号線によって接続する場合、処理装置に複数個の受信インターフェースを設ける必要がある。

このため、処理装置と複数のイメージセンサとを１本の信号線によって接続し、複数のイメージセンサから処理装置へ時分割で画像データを送信することにより、処理装置に設ける受信インターフェースの個数を低減する技術がある（例えば、特許文献１）。

特開２０１７−２１１８６４号公報

しかしながら、上記の従来技術では、複数のイメージセンサから処理装置へ時分割で画像データを送信するため、撮像画像のフレームレートが低下する。

そこで、本開示では、撮像画像のフレームレートを低下させることなく、処理装置に設ける受信インターフェースの個数を低減することができる撮像装置および撮像方法を提案する。

本開示に係る撮像装置は、１の信号線を共用して検知結果を処理装置へ出力する複数のイメージセンサを備える。少なくとも１以上の前記イメージセンサは、撮像部と、認識部と、出力部とを有する。撮像部は、画像を撮像して画像データを生成する。認識部は、前記画像データから所定の対象物を認識する。出力部は、前記撮像部が１の前記画像を撮像する１フレーム期間のうち、他の前記イメージセンサによる前記信号線を使用した検知結果の出力期間と重複しない期間に、前記認識部による認識結果を前記処理装置へ出力する。

本開示に係る撮像装置の構成の概要を示す説明図である。 本開示に係る時分割で画像データを送信することによる問題点を示す説明図である。 本開示に係る撮像装置の構成例を示す説明図である。 本開示に係る撮像装置の動作例を示す説明図である。 本開示に係る撮像装置の動作例を示す説明図である。 本開示に係る撮像装置の動作例を示す説明図である。 本開示に係る撮像装置の動作例を示す説明図である。 本開示に係る撮像装置の動作例を示す説明図である。 本開示に係る撮像装置の動作例を示す説明図である。 本開示に係る撮像装置の動作例を示す説明図である。 本開示に係る撮像装置の動作例を示す説明図である。 本開示に係る撮像装置の動作例を示す説明図である。 本開示に係る撮像装置の搭載例を示す説明図である。 本開示に係る撮像装置による送信データの時分割方法の一例を示す説明図である。 本開示に係る撮像装置による送信データの時分割方法の一例を示す説明図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

［１．撮像装置の構成の概要］
図１は、本開示に係る撮像装置の構成の概要を示す説明図である。図１に示すように、本開示に係る撮像装置１は、複数（ここでは、４個）のイメージセンサ（以下、単に、センサと記載する）１１、１２、１３、１４を備える。

なお、撮像装置１が備えるセンサの個数は、４個に限定されるものではなく、２個以上であればよい。複数のセンサ１１、１２、１３、１４は、例えば、車両に搭載される場合、車両の前後左右の４箇所に、それぞれ別体として設けられる。また、撮像装置１は、例えば、ステレオカメラとして使用される場合、２個のセンサ１１、１２が一体として設けられる。

センサ１１、１２、１３、１４は、例えば、ＣＩＳ（Complementary metal oxide semiconductor Image Sensor）である。なお、センサ１１、１２、１３、１４は、一部または全部がＣＣＤ（Charge Coupled Device）イメージセンサや、ＴｏＦ（Time of Flight）方式を採用した他のセンサであってもよい。

センサ１１、１２、１３、１４は、１本の信号線ＳＬによって処理装置の一例であるアプリケーションプロセッサ（以下、ＡＰ１００と記載する）と接続され、信号線ＳＬを共用して時分割で検知結果をＡＰ１００へ送信する。

ＡＰ１００は、センサ１１、１２、１３、１４の検知結果に基づく処理を実行する。例えば、ＡＰ１００は、撮像装置１が車両に搭載される場合、検知結果に基づいて歩行者や前方車両の存在を検知し、その旨を示す情報をＡＤＡＳ（Advanced Driver Assistance System）へ通知する処理等を実行する。

このように、撮像装置１は、複数のセンサ１１、１２、１３、１４が１本の信号線ＳＬを共用してＡＰ１００へ検知結果を送信するので、ＡＰ１００に設けられる受信インターフェースを１個にすることができる。

しかしながら、撮像装置１は、複数のセンサ１１、１２、１３、１４からＡＰ１００へ撮像画像の画像データを検知結果として時分割で送信すると、撮像画像のフレームレートが低下する。かかる問題点について次に説明する。

［２．時分割で画像データを送信することによる問題点］
図２は、本開示に係る時分割で画像データを送信することによる問題点を示す説明図である。例えば、ＡＰ１００にセンサ１１だけが接続されており、センサ１１が画像を撮像可能なフレームレートが１２０ｆｐｓであった場合、信号線ＳＬを介してセンサ１１からＡＰ１００へ１２０ｆｐｓのフレームレートで撮像画像の画像データＤ１を送信可能である。

しかしながら、ＡＰ１００に４個のセンサ１１、１２、１３、１４が１本の信号線ＳＬによって接続され、各センサ１１、１２、１３、１４から時分割でＡＰ１００へ画像データを送信する場合、撮像装置１は、フレームレートを低下させる必要がある。

例えば、センサ１１、センサ１２、センサ１３、センサ１４の順に、時分割で画像データＤ１、Ｄ２、Ｄ３、Ｄ４をＡＰ１００へ送信する場合、センサ１２は、センサ１１の画像データＤ１の送信中にセンサ１２の画像データＤ２を送信することができない。

このため、センサ１２は、センサ１１の画像データＤ１の送信が終了するまで、画像データＤ２の送信タイミング（Ｖｓｙｎｃ：垂直同期信号）の位相をシフト（遅く）する必要がある。同様に、センサ１３、１４も順次、画像データＤ３、Ｄ４の送信タイミング（Ｖｓｙｎｃ：垂直同期信号）の位相をシフト（遅く）する必要がある。

その結果、撮像装置１は、１フレーム期間を延長しなければならず、各センサ１１、１２、１３、１４が１２０ｆｐｓのフレームレートで撮像可能であっても、フレームレートを４分の１の３０ｆｐｓまで低下させる必要がある。

そこで、撮像装置１は、撮像画像のフレームレートを低下させることなく、ＡＰ１００に設ける受信インターフェースの個数を低減することができる構成を備える。次に、かかる撮像装置１の構成について説明する。

［３．撮像装置の構成］
図３は、本開示に係る撮像装置の構成例を示す説明図である。なお、４個のセンサ１１、１２、１３、１４は、同一の構成である。このため、図３では、センサ１１、１２を選択的に図示しており、センサ１３、１４については、図示を省略している。また、ここでは、主にセンサ１１の構成について説明し、センサ１２、１３、１４については、重複する説明を省略する。

図３に示すように、撮像装置１は、センサ１１と、センサ１２と、図示を省略したセンサ１３、１４とを備える。センサ１１、１２、１３、１４は、一本の信号線ＳＬによってＡＰ１００に接続され、信号線ＳＬを共用し、それぞれの検知結果を時分割でＡＰ１００へ送信する。

センサ１１は、撮像部２１と、信号処理部２２と、認識部２３と、メモリ２４と、出力部２５とを備える。なお、他のセンサ１２、１３、１４もセンサ１１と同様の構成である。撮像部２１は、レンズ、光電変換素子、およびＡ／Ｄ（Analog／Digital）変換部等を備える。

撮像部２１は、レンズを介して入射する光を光電変換素子によって受光量に応じた信号電荷に光電変換し、Ａ／Ｄ変換部によってアナログの信号電荷をデジタルの画素信号に変換して画像データを生成する。撮像部２１は、生成した画像データを信号処理部２２へ出力する。

信号処理部２２、認識部２３、および出力部２５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有するマイクロコンピュータや各種の回路によって実現される処理部である。メモリ２４は、例えば、ＳＲＡＭ（Static Random Access Memory）やＤＲＡＭ（Dynamic Random Access Memory）等の情報記憶デバイスである。

信号処理部２２は、撮像部２１から入力される画像データに対して、所定の信号処理を実行して認識部２３と、メモリ２４とへ出力する。例えば、信号処理部２２は、画像データに対して、シェーディング補正、混色補正、ゲイン調整、ホワイトバランス調整、デモザイク、およびガンマ補正等の信号処理を実行して、認識部２３と、メモリ２４とへ出力する。

認識部２３は、機械学習モデルの一例であるＤＮＮ（Deep Neural Network）２６を備える。ＤＮＮ２６は、画像データから被写体の特徴（パターン）を認識するように機械学習によって設計された人間の脳神経回路（ニューラルネットワーク）をモデルとした多階層構造のアルゴリズムである。

認識部２３は、信号処理部２２から入力される画像データまたはメモリ２４から読み出した画像データをＤＮＮ２６へ入力してＤＮＮ処理を実行することにより、画像データの被写体を認識する。そして、認識部２３は、ＤＮＮ２６から出力されるＤＮＮ結果を認識結果として出力部２５へ出力する。

なお、認識部２３は、ＤＮＮに限らず、ＣＮＮ（Convolutional Neural Network）やＳＶＭ（Support Vector Machine）等の他の機械学習モデルを使用して、画像データから被写体を認識する構成であってもよい。

出力部２５は、認識部２３から入力されるＤＮＮ結果を検知結果としてＡＰ１００へ出力する。このとき、出力部２５は、撮像部２１が１の画像を撮像する１フレーム期間のうち、他のセンサ１２、１３、１４による信号線ＳＬを使用した検知結果の出力期間と重複しない期間に、ＤＮＮ結果をＡＰ１００へ出力する。

つまり、出力部２５は、１フレーム期間内に、他のセンサ１２、１３、１４による検知結果と、認識部２３によるＤＮＮ結果とを時分割でシリアルにＡＰ１００へ送信する。

また、他のセンサ１２、１３、１４も同様に、１の画像を撮像する１フレーム期間のうち、自センサ以外のセンサによる信号線ＳＬを使用した検知結果の出力期間と重複しない期間に、ＤＮＮ結果をＡＰ１００へ出力する。

ここで、ＤＮＮ結果は、画像データに比べてデータ量が非常に小さい。このため、撮像装置１は、１フレーム期間の長さを延長しなくても、１フレーム期間内に、例えば、４個のセンサ１１、１２、１３、１４から出力されるＤＮＮ結果を時分割でＡＰ１００へ出力することができる。

その結果、撮像装置１は、撮像画像のフレームレートを低下させることなく、１本の信号線ＳＬを使用して、全てのセンサ１１、１２、１３、１４の検知結果をＡＰ１００へ出力することで、ＡＰ１００に設ける受信インターフェースの数を１個に抑えることができる。

なお、センサ１１の出力部２５は、メモリ２４に記憶された画像データをＡＰ１００へ出力することもできる。ただし、センサ１１の出力部２５は、１フレーム期間のうち、センサ１１の認識部２３による認識結果の出力期間と重複しない期間に、画像データをＡＰ１００へ出力する。

また、センサ１１は、他のセンサ１２、１３、１４からＤＮＮ結果が出力される場合には、ＤＮＮ結果を出力せずに、画像データのみをＡＰ１００へ出力することもできる。また、他のセンサ１２、１３、１４も同様に、ＤＮＮ結果および画像データのうち、いずれか一方または双方をＡＰ１００へ出力することができる。

４個のセンサ１１、１２、１３、１４の各出力部２５は、双方向通信を行い、フレームレートが低下しないように、ＤＮＮ結果および画像データから選択したデータをＡＰ１００へ送信する。次に、かかる撮像装置１の動作例について説明する。

［４．撮像装置の動作例］
図４〜図１２は、本開示に係る撮像装置の動作例を示す説明図である。なお、図４〜図８では、撮像装置１の動作の理解を容易にするため、撮像装置１が２個のイメージセンサ１１、１２を備えるものとして説明する。また、図４〜図８では、センサ１１を第１ＣＩＳ、センサ２を第２ＣＩＳと称して説明する。

図４に示すように、第１の動作例では、第１ＣＩＳおよび第２ＣＩＳは、まず、１フレーム目の画像の撮像処理を行う。続いて、第１ＣＩＳおよび第２ＣＩＳは、２フレーム目の画像の撮像処理と同時に、１フレーム目の画像データのＤＮＮ処理を行う。

その後、第１ＣＩＳおよび第２ＣＩＳは、３フレーム目の画像の撮像処理と同時に、２フレーム目の画像データのＤＮＮ処理を行う。このとき同時に、第１ＣＩＳおよび第２ＣＩＳは、１フレーム目の画像データのＤＮＮ結果を時間的に重複することなく時分割でＡＰ１００へ送信する。

このように、第１ＣＩＳおよび第２ＣＩＳは、３フレーム目の画像を撮像する１フレーム期間内に、フレーム期間を延長することなく、１本の信号線ＳＬを共用して、それぞれが時分割で画像データのＤＮＮ処理結果をＡＰ１００へ送信することができる。

そして、第１ＣＩＳおよび第２ＣＩＳは、４フレーム目以降、撮像処理と、１フレーム前の画像データのＤＮＮ処理と、２フレーム前のＤＮＮ結果の送信とを同時に行う。これにより、撮像装置１は、撮像画像のフレームレートを低下させることなく、ＡＰ１００に設ける受信インターフェースの個数を１個にすることができる。

また、図５に示すように、第２の動作例では、第１ＣＩＳおよび第２ＣＩＳは、まず、１フレーム目の画像の撮像処理を行う。続いて、第１ＣＩＳは、２フレーム目の画像の撮像処理と同時に、１フレーム目の画像データをＡＰ１００へ送信する。一方、第２ＣＩＳは、２フレーム目の画像の撮像処理と同時に、１フレーム目の画像データのＤＮＮ処理を行う。

その後、第１ＣＩＳおよび第２ＣＩＳは、３フレーム目の画像の撮像処理を行う。このとき、同時に、第１ＣＩＳは、２フレーム目の画像データをＡＰ１００へ送信する。一方、第２ＣＩＳは、２フレーム目の画像データのＤＮＮ処理を行うと同時に、１フレーム目の画像データのＤＮＮ結果を、第１ＣＩＳによる画像データの送信期間と重複しない期間にＡＰ１００へ送信する。

このように、第１ＣＩＳおよび第２ＣＩＳは、３フレーム目の画像を撮像する１フレーム期間内に、フレーム期間を延長することなく、１本の信号線ＳＬを共用して、時間的に重複することなく時分割で画像データとＤＮＮ処理結果とをＡＰ１００へ送信することができる。

そして、第１ＣＩＳは、４フレーム目以降、撮像処理と同時に、１フレーム前の画像データをＡＰ１００へ送信する。一方、第２ＣＩＳは、４フレーム目以降、撮像処理と、１フレーム前の画像データのＤＮＮ処理と、２フレーム前のＤＮＮ結果の送信とを同時に行う。これにより、撮像装置１は、撮像画像のフレームレートを低下させることなく、ＡＰ１００に設ける受信インターフェースの個数を１個にすることができる。

また、図６に示すように、第３の動作例では、第１ＣＩＳおよび第２ＣＩＳは、まず、１フレーム目の画像の撮像処理を行う。続いて、第１ＣＩＳは、２フレーム目の画像の撮像処理と同時に、１フレーム目の画像データのＤＮＮ処理を行う。一方、第２ＣＩＳは、２フレーム目の画像の撮像処理と同時に、１フレーム目の画像データをＡＰ１００へ送信する。

その後、第１ＣＩＳおよび第２ＣＩＳは、３フレーム目の画像の撮像処理を行う。このとき同時に、第１ＣＩＳは、２フレーム目の画像データのＤＮＮ処理を行うと同時に、１フレーム目の画像データのＤＮＮ結果をＡＰ１００へ送信する。一方、第２ＣＩＳは、２フレーム目の画像データを、第１ＣＩＳによる１フレーム目のＤＮＮ結果の送信期間と重複しない期間にＡＰ１００へ送信する。

このように、第１ＣＩＳおよび第２ＣＩＳは、３フレーム目の画像を撮像する１フレーム期間内に、フレーム期間を延長することなく、１本の信号線ＳＬを共用して、時分割でＤＮＮ処理結果と画像データとをＡＰ１００へ送信することができる。

そして、第１ＣＩＳは、４フレーム目以降、撮像処理と、１フレーム前の画像データのＤＮＮ処理と、２フレーム前のＤＮＮ結果の送信とを同時に行う。一方、第２ＣＩＳは、４フレーム目以降、撮像処理と同時に、１フレーム前に撮像した画像データをＡＰ１００へ送信する。これにより、撮像装置１は、撮像画像のフレームレートを低下させることなく、ＡＰ１００に設ける受信インターフェースの個数を１個にすることができる。

また、図７に示すように、第４の動作例では、第１ＣＩＳおよび第２ＣＩＳは、まず、１フレーム目の画像の撮像処理を行う。続いて、第１ＣＩＳおよび第２ＣＩＳは、２フレーム目の画像の撮像処理を行う。

このとき同時に、第１ＣＩＳは、１フレーム目の画像データのＤＮＮ処理を行う。一方、第２ＣＩＳは、１フレーム目の画像データをメモリ２４に保持する。なお、第２ＣＩＳは、メモリ２４ではなく、撮像部２１が備える光電変換素子のフローティングディフュージョンを利用して画像データを保持してもよい。

その後、第１ＣＩＳおよび第２ＣＩＳは、３フレーム目の画像の撮像処理を行う。このとき、同時に、第１ＣＩＳは、１フレーム前の画像データのＤＮＮ処理と、２フレーム前のＤＮＮ結果の送信とを行う。一方、第２ＣＩＳは、保持していた１フレーム目の画像データを、第１ＣＩＳによるＤＮＮ結果の送信期間と重複しない期間にＡＰ１００へ送信する。このときの画像データの送信タイミングは、例えば、第１ＣＩＳから第２ＣＩＳへ通知する。

このように、第１ＣＩＳおよび第２ＣＩＳは、３フレーム目の画像を撮像する１フレーム期間内に、フレーム期間を延長することなく、１本の信号線ＳＬを共用して、時分割でＤＮＮ処理結果と画像データとをＡＰ１００へ送信することができる。

そして、第１ＣＩＳは、４フレーム目以降、撮像処理と、１フレーム前の画像データのＤＮＮ処理と、２フレーム前のＤＮＮ結果の送信とを同時に行う。一方、第２ＣＩＳは、４フレーム目以降、撮像処理と同時に、２フレーム前に撮像した画像データをＡＰ１００へ送信する。

これにより、撮像装置１は、撮像画像のフレームレートを低下させることなく、ＡＰ１００に設ける受信インターフェースの個数を１個にすることができる。しかも、第４の動作例では、第１ＣＩＳは、認識部２３による認識結果であるＤＮＮ結果を出力する場合、所定の対象物を認識した２フレーム前の画像データと同一のタイミングで第２ＣＩＳにより生成された画像データを第２ＣＩＳのメモリ２４から出力させる。

これにより、撮像装置１は、ＡＰ１００へ送信する画像データと、その画像データと同じタイミングで撮像された画像データのＤＮＮ結果とを、同一のフレーム期間内にＡＰ１００へ送信することができる。

また、図８に示すように、第５の動作例では、第１ＣＩＳは、まず、１フレーム期間内に、１フレーム目の画像の撮像処理を行い、続いて、１フレーム目の画像データをＤＮＮ処理する。第２ＣＩＳは、例えば、第１ＣＩＳによる１フレーム目の撮像処理が終了し、ＤＮＮ処理が開始されるタイミングで１フレーム目の画像の撮像処理を行い、撮像処理が完了した画像データから順次ＡＰ１００へ送信する。

第１ＣＩＳは、例えば、第２ＣＩＳによる撮像処理および画像データの送信が完了するタイミングで、２フレーム目の画像の撮像処理を行い、同時に１フレーム目のＤＮＮ結果をＡＰ１００へ送信する。続いて、第１ＣＩＳは、２フレーム目の画像データをＤＮＮ処理する。

第２ＣＩＳは、例えば、第１ＣＩＳによる２フレーム目の撮像処理および１フレーム目のＤＮＮ結果の送信が終了し、２フレーム目のＤＮＮ処理が開始されるタイミングで２フレーム目の撮像処理および画像データの送信を行う。

以後、第１ＣＩＳおよび第２ＣＩＳは、上記した動作を繰り返し行う。これにより、第２ＣＩＳが画像を撮像する各１フレーム期間内に、画像データをＡＰ１００へ送信することができ、第１ＣＩＳが第２ＳＩＣによる画像データの送信と重複しない期間に、ＤＮＮ結果をＡＰ１００へ送信することができる。

なお、前述したように、ＤＮＮ結果は、画像データに比べてデータ量が非常に小さい。このため、図９に示す第６動作例のように、各センサ１１、１２、１３、１４は、フレーム期間を大きく延長しなくても、１フレーム期間内に、撮像処理、ＤＮＮ処理、画像データの送信、およびＤＮＮ結果の送信を行うこともできる。このとき、各センサ１１、１２、１３、１４は、被写体を認識したＤＮＮ結果の送信期間と重複しない期間に、撮像した画像データを送信する。

これにより、撮像装置１は、図１０に示すように、例えば、センサ１１、１２のフレームレートが３０ｆｐｓの場合、センサ１１による画像データＤ１およびＤＮＮ結果Ｄ１１の送信終了タイミングまで、センサ１２のＶｓｙｎｃの位相をシフトする。

ここで、Ｖｓｙｎｃの位相のシフト量が、例えば、センサ１１の１フレーム期間の半分に相当していたとする。かかる場合、信号線ＳＬによって６０ｆｐｓのフレームレートで画像データＤ１およびＤＮＮ結果Ｄ１１と、画像データＤ２およびＤＮＮ結果Ｄ１２とをＡＰ１００へ送信することができる。

また、撮像装置１は、例えば、図１１に示すように、フレームレートを低下させることなく、１フレーム期間内に、センサ１１の画像データＤ１と、センサ１１のＤＮＮ結果と、センサ１２のＤＮＮ結果とを時分割でＡＰ１００へ送信することもできる。

このように、撮像装置１は、１フレーム期間内に、一つの画像データと、複数のセンサ１１、１２のＤＮＮ結果とを時分割でＡＰ１００へ送信することができる。このため、撮像装置１は、例えば、図１２に示すように、フレームレートを低下させることなく、１フレーム期間内に、センサ１１の画像データＤ１、ＤＮＮ結果Ｄ１１、およびセンサ１２、１３、１４のＤＮＮ結果Ｄ１２、Ｄ１３、Ｄ１４を時分割でＡＰ１００へ送信することができる。

［５．撮像装置の搭載例］
次に、図１３は、本開示に係る撮像装置の搭載例を示す説明図である。図１３に示すように、撮像装置１は、例えば、ドローン１０１に搭載される。撮像装置１は、ドローン１０１に搭載される場合、センサ１１、１２、１３、１４は、例えば、ドローン１０１の前後左右に設けられる。なお、ＡＰ１００は、例えば、ドローン１０１の中央に設けられる。

かかる場合、撮像装置１では、４個のセンサ１１、１２、１３、１４のうち、いずれか一つが１フレーム期間に画像データをＡＰ１００へ送信し、４個のセンサ１１、１２、１３、１４のそれぞれがＤＮＮ結果をＡＰ１００へ送信する。

これにより、撮像装置１は、フレームレートを低下させることなく、１本の信号線ＳＬによって、４個のセンサ１１、１２、１３、１４のうちの一つから画像データを、全センサ１１、１２、１３、１４からＤＮＮ結果をＡＰ１００へ送信することができる。

また、撮像装置１は、ＡＰ１００へ画像データの送信を行わせるセンサ１１、１２、１３、１４を切替えることも可能である。かかる場合、撮像装置１は、１フレーム前のＤＮＮ結果に基づいて、ＡＰ１００へ画像データの送信を行わせるセンサ１１、１２、１３、１４を選択する。

例えば、撮像装置１は、１フレーム前の画像から撮像目的の被写体が認識されたＤＮＮ結果をセンサ１１が送信した場合、センサ１１に画像データを送信させ、ＤＮＮ結果については、全部のセンサ１１、１２、１３、１４に送信させる。これにより、撮像装置１は、撮像目的の被写体が移動したり、ドローン１０１が向きを変えたりする場合であっても、撮像目的の被写体を追跡して撮像することができる。

また、撮像装置１は、例えば、４個のセンサ１１、１２、１３、１４から１フレーム期間に１回ずつ順番に画像データを送信させ、ＤＮＮ結果については、全部のセンサ１１、１２、１３、１４に送信させることもできる。これにより、撮像装置１は、ドローン１０１の周囲を監視することができる。

［６．送信データの時分割方法］
次に、図１４および図１５を参照し、撮像装置による送信データの時分割方法の一例について説明する。図１４および図１５は、本開示に係る撮像装置による送信データの時分割方法の一例を示す説明図である。

ここでは、撮像装置１が２個の第１センサＣＩＳおよび第２ＣＩＳを備える場合を例に挙げて説明する。また、ここでは、第１ＣＩＳが画像データを送信し、第２ＣＩＳがＤＮＮ結果を送信する場合について説明する。

図１４に示すように、撮像装置１は、例えば、Ｆｒａｍｅ−ｂｙ−Ｆｒａｍｅインターリーブによって画像データおよびＤＮＮ結果を送信することができる。Ｆｒａｍｅ−ｂｙ−Ｆｒａｍｅインターリーブでは、第１ＣＩＳが、まず、フレームスタート信号ＦＳをＡＰへ送信した後、時分割した１フレーム分の画像データを順次ＡＰへ送信する。

その後、第２ＣＩＳは、第１ＣＩＳによる画像データの送信が完了すると、時分割した１フレーム分の画像データのＤＮＮ結果を順次順次ＡＰへ送信し、最後に、フレームエンド信号ＦＥを順次ＡＰへ送信する。これにより、フレームスタート信号ＦＳ、画像データ、ＤＮＮデータ、およびフレームエンド信号ＦＥの順に多重化されたデータが信号線ＳＬを介してＡＰへ送信される。

また、図１５に示すように、撮像装置１は、例えば、Ｌｉｎｅ−ｂｙ−Ｌｉｎｅインターリーブによって画像データおよびＤＮＮ結果を送信することもできる。Ｌｉｎｅ−ｂｙ−Ｌｉｎｅインターリーブでは、第１ＣＩＳおよび第２ＣＩＳが、まず、フレームスタート信号ＦＳをＡＰへ送信する。

その後、第１ＣＩＳは、時分割した１フレーム分の画像データの分割データを間欠的にＡＰへ送信する。一方、第２ＣＩＳは、第１ＣＩＳによって各分割データが送信されてから次の分割データが送信されるまでの各期間に、１フレーム分のＤＮＮ結果の分割データをＡＰへ送信する。

これにより、フレームスタート信号ＦＳと、フレームエンド信号ＦＥとの間に、画像データの分割データと、ＤＮＮ結果の分割データとが交互に多重化されたデータが信号線ＳＬを介してＡＰへ送信される。

［７．効果］
上述したように、撮像装置１は、１の信号線ＳＬを共用して検知結果を処理装置の一例であるＡＰ１００へ出力する複数のイメージセンサ１１、１２、１３、１４を備える。少なくとも１以上のイメージセンサ１１は、撮像部２１と、認識部２３と、出力部２５とを有する。撮像部２１は、画像を撮像して画像データを生成する。認識部２３は、画像データから所定の対象物を認識する。出力部２５は、撮像部２１が１の画像を撮像する１フレーム期間のうち、他のイメージセンサ１２、１３、１４による信号線ＳＬを使用した検知結果の出力期間と重複しない期間に、認識部２３による認識結果をＡＰ１００へ出力する。これにより、撮像装置１は、撮像画像のフレームレートを低下させることなく、ＡＰ１００に設ける受信インターフェースの個数を低減することができる。

また、他のイメージセンサ１２、１３、１４は、検知結果として所定の対象物の認識結果を出力する。かかる認識結果は、画像データに比べてデータ量が非常に小さい。このため、撮像装置１は、撮像画像のフレームレートを低下させることなく、１フレーム期間に、複数のセンサによる認識結果をＡＰ１００へ送信することができる。

また、出力部２５は、１フレーム期間のうち、信号線ＳＬを使用した認識部２３による認識結果の出力期間と重複しない期間に、撮像部２１によって生成された画像データを出力する。これにより、撮像装置１は、例えば、イメージセンサ１１にだけ画像データを送信させ、他のイメージセンサ１２、１３、１４には、認識結果を送信させることにより、フレームレートの低下を抑制することができる。

また、他のイメージセンサ１２、１３、１４は、検知結果として画像データを出力する。これにより、撮像装置１は、イメージセンサ１１、１２、１３、１４のうち、いずれか一つから画像データを送信させ、他からは、認識結果を送信させることにより、フレームレートの低下を抑制することができる。

また、他のイメージセンサ１２、１３、１４は、画像データを一時的に保持するメモリ２４を備える。出力部２５は、認識部２３による認識結果を出力する場合に、所定の対象物を認識した画像データと同一のタイミングで生成された画像データを他のイメージセンサ１２、１３、１４のメモリ２４から出力させる。これにより、撮像装置１は、ＡＰ１００へ送信する画像データと、その画像データと同じタイミングで撮像された画像データの認識結果とを、同一のフレーム期間内にＡＰ１００へ送信することができる。

他のイメージセンサ１２、１３、１４は、撮像部２１とは異なるタイミングで画像の撮像を行う。出力部２５は、他のイメージセンサ１２、１３、１４によって画像データが出力される期間を含む１フレーム期間内に、認識部２３による認識結果を出力する。これにより、撮像装置１は、イメージセンサ１１の認識結果と、他のイメージセンサ１２、１３、１４の画像データとを同一の１フレーム期間内に送信することにより、フレームレートの低下を抑制することができる。

また、１フレーム期間内に処理装置へ画像データを送信するイメージセンサは、複数のイメージセンサ１１、１２、１３、１４のうちのいずれか一つである。これにより、撮像装置１は、１フレーム期間に送信するデータ量を抑えることにより、フレームレートの低下を抑制することができる。

また、１フレーム期間内に処理装置へ画像データを送信するイメージセンサは、１フレーム前の認識部２３による認識結果に基づいて決定される。これにより、撮像装置１は、例えば、複数のイメージセンサ１１、１２、１３、１４によって、撮像目的の被写体を追跡して撮像することができる。

また、１フレーム期間内に処理装置へ画像データを送信するイメージセンサは、順番に変更される。これにより、撮像装置１は、例えば、複数のイメージセンサ１１、１２、１３、１４によって、周囲を監視することができる。

１の信号線ＳＬを共用して検知結果を処理装置の一例であるＡＰ１００へ出力する複数のイメージセンサ１１、１２、１３、１４のうち、少なくとも１以上のイメージセンサが、画像を撮像して画像データを生成し、画像データから所定の対象物を認識し、１の画像を撮像する１フレーム期間のうち、他のイメージセンサによる信号線を使用した検知結果の出力期間と重複しない期間に、所定の対象物の認識結果を処理装置へ出力する。これにより、撮像方法は、撮像画像のフレームレートを低下させることなく、ＡＰ１００に設ける受信インターフェースの個数を低減することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
１の信号線を共用して検知結果を処理装置へ出力する複数のイメージセンサを備え、
少なくとも１以上の前記イメージセンサは、
画像を撮像して画像データを生成する撮像部と、
前記画像データから所定の対象物を認識する認識部と、
前記撮像部が１の前記画像を撮像する１フレーム期間のうち、他の前記イメージセンサによる前記信号線を使用した検知結果の出力期間と重複しない期間に、前記認識部による認識結果を前記処理装置へ出力する出力部と
を有する撮像装置。
（２）
前記他のイメージセンサは、
前記検知結果として前記所定の対象物の認識結果を出力する
前記（１）に記載の撮像装置。
（３）
前記出力部は、
前記１フレーム期間のうち、前記信号線を使用した前記認識部による認識結果の出力期間と重複しない期間に、前記撮像部によって生成された画像データを出力する
前記（１）または（２）に記載の撮像装置。
（４）
前記他のイメージセンサは、
前記検知結果として前記画像データを出力する
前記（１）〜（３）のいずれか一つに記載の撮像装置。
（５）
前記他のイメージセンサは、
画像データを一時的に保持するメモリを備え、
前記出力部は、
前記認識部による認識結果を出力する場合に、前記所定の対象物を認識した画像データと同一のタイミングで生成された画像データを前記他のイメージセンサの前記メモリから出力させる
前記（４）に記載の撮像装置。
（６）
前記他のイメージセンサは、
前記撮像部とは異なるタイミングで前記画像の撮像を行い、
前記出力部は、
前記他のイメージセンサによって前記画像データが出力される期間を含む前記１フレーム期間内に、前記認識部による認識結果を出力する
前記（４）または（５）に記載の撮像装置。
（７）
前記１フレーム期間内に前記処理装置へ前記画像データを送信するイメージセンサは、前記複数のイメージセンサのうちのいずれか一つである
前記（１）〜（６）のいずれか一つに記載の撮像装置。
（８）
前記１フレーム期間内に前記処理装置へ前記画像データを送信するイメージセンサは、１フレーム前の前記認識部による認識結果に基づいて決定される
前記（７）に記載の撮像装置。
（９）
前記１フレーム期間内に前記処理装置へ前記画像データを送信するイメージセンサは、順番に変更される
前記（７）に記載の撮像装置。
（１０）
１の信号線を共用して検知結果を処理装置へ出力する複数のイメージセンサのうち、少なくとも１以上のイメージセンサが、
画像を撮像して画像データを生成し、
前記画像データから所定の対象物を認識し、
１の前記画像を撮像する１フレーム期間のうち、他の前記イメージセンサによる前記信号線を使用した検知結果の出力期間と重複しない期間に、前記所定の対象物の認識結果を前記処理装置へ出力する
ことを含む撮像方法。

１ 撮像装置
１１、１２、１３、１４ センサ
２１ 撮像部
２２ 信号処理部
２３ 認識部
２４ メモリ
２５ 出力部
２６ ＤＮＮ
１００ ＡＰ

Claims (10)

1. １の信号線を共用して検知結果を処理装置へ出力する複数のイメージセンサを備え、
   少なくとも１以上の前記イメージセンサは、
   画像を撮像して画像データを生成する撮像部と、
   前記画像データから所定の対象物を認識する認識部と、
   前記撮像部が１の前記画像を撮像する１フレーム期間のうち、他の前記イメージセンサによる前記信号線を使用した検知結果の出力期間と重複しない期間に、前記認識部による認識結果を前記処理装置へ出力する出力部と
   を有する撮像装置。
2. 前記他のイメージセンサは、
   前記検知結果として前記所定の対象物の認識結果を出力する
   請求項１に記載の撮像装置。
3. 前記出力部は、
   前記１フレーム期間のうち、前記信号線を使用した前記認識部による認識結果の出力期間と重複しない期間に、前記撮像部によって生成された画像データを出力する
   請求項１に記載の撮像装置。
4. 前記他のイメージセンサは、
   前記検知結果として前記画像データを出力する
   請求項１に記載の撮像装置。
5. 前記他のイメージセンサは、
   画像データを一時的に保持するメモリを備え、
   前記出力部は、
   前記認識部による認識結果を出力する場合に、前記所定の対象物を認識した画像データと同一のタイミングで生成された画像データを前記他のイメージセンサの前記メモリから出力させる
   請求項４に記載の撮像装置。
6. 前記他のイメージセンサは、
   前記撮像部とは異なるタイミングで前記画像の撮像を行い、
   前記出力部は、
   前記他のイメージセンサによって前記画像データが出力される期間を含む前記１フレーム期間内に、前記認識部による認識結果を出力する
   請求項４に記載の撮像装置。
7. 前記１フレーム期間内に前記処理装置へ前記画像データを送信するイメージセンサは、前記複数のイメージセンサのうちのいずれか一つである
   請求項１に記載の撮像装置。
8. 前記１フレーム期間内に前記処理装置へ前記画像データを送信するイメージセンサは、１フレーム前の前記認識部による認識結果に基づいて決定される
   請求項７に記載の撮像装置。
9. 前記１フレーム期間内に前記処理装置へ前記画像データを送信するイメージセンサは、順番に変更される
   請求項７に記載の撮像装置。
10. １の信号線を共用して検知結果を処理装置へ出力する複数のイメージセンサのうち、少なくとも１以上のイメージセンサが、
    画像を撮像して画像データを生成し、
    前記画像データから所定の対象物を認識し、
    １の前記画像を撮像する１フレーム期間のうち、他の前記イメージセンサによる前記信号線を使用した検知結果の出力期間と重複しない期間に、前記所定の対象物の認識結果を前記処理装置へ出力すること
    を含む撮像方法。

Images