JP2021068954A

JP2021068954A - 受光装置及び電子機器

Info

Publication number: JP2021068954A
Application number: JP2019191449A
Authority: JP
Inventors: 鈴木　伸治; Shinji Suzuki; 伸治鈴木
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2019-10-18
Filing date: 2019-10-18
Publication date: 2021-04-30
Also published as: US20240121536A1; WO2021075292A1

Abstract

【課題】処理回路における負荷電流の増加を低減する。【解決手段】受光装置は、複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、前記撮像部が取得した前記アナログ画像信号をデジタル画像データに変換する、変換部と、前記デジタル画像データに対するデータ処理を実行するデータ処理部であって、前記変換部が変換を実行しない期間と比較して、前記変換部が変換を実行する期間における前記データ処理の負荷を軽減する、データ処理部と、を備える。【選択図】図１

Description

本開示は、受光装置及び電子機器に関する。

近年では、イメージセンサで撮像された画像データに対して種々の信号処理を高速に行うことが求められている。また、半導体プロセス技術の進展により、イメージセンサチップ、メモリチップ及び信号処理チップなどの複数のチップ同士をバンプで接続してパッケージングした半導体デバイスや、イメージセンサが配置されたダイと、メモリや信号処理回路等が配置されたダイとを積層してパッケージングした半導体デバイスが提案されている。

国際公開ＷＯ２０１８／０５１８０９Ａ１

このようなデジタル回路を有するイメージセンサにおいては、信号処理の負荷の時間変化により電流変動が生じる蓋然性が高い。この電流変動は、A/D（Analog to Digital）変換を含む画素読み出し回路へのノイズ混入の原因となる。この結果、出力される画素値にノイズが付加される問題が発生する。特に、AI搭載センサ等、DSP（Digital Signal Processor）や複雑な信号処理回路を含むイメージセンサにおいては、各処理シーケンスで処理負荷が大きく変動するため、画素値への影響がより顕著になる。

そこで、本開示では、処理回路における負荷電流の増加を低減する受光装置及び電子機器を提供する。

一実施形態によれば、受光装置は、複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、撮像部が取得したアナログ画像信号をデジタル画像データに変換する、変換部と、デジタル画像データに対するデータ処理を実行するデータ処理部であって、変換部が変換を実行しない期間と比較して、変換部が変換を実行する期間におけるデータ処理の負荷を軽減する、データ処理部と、を備える。

受光装置は、所定周波数のクロック信号を生成する、クロック生成部と、クロック生成部から所定周波数のクロック信号を受信し、変換部が変換処理を実行していない期間において所定周波数のクロック信号をデータ処理部へ出力し、変換部が変換処理を実行している期間において所定周波数よりも低い周波数へと制御したクロック信号をデータ処理部へ出力する、クロック制御部と、をさらに備えてもよく、データ処理部は、クロック制御部が出力したクロック信号に基づいて、データ処理を実行してもよい。このように、データ処理部のクロック周波数を制御することにより負荷電流を低減させてもよい。

受光装置は、撮像部が撮像するタイミングを制御する、撮像制御部と、撮像制御部が制御するタイミングに基づいて、データ処理の負荷を軽減する期間を指定する、期間指定部と、をさらに備えてもよい。このように、データ処理部のクロック周波数を、撮像制御に用いる同期信号に基づいて制御してもよい。

クロック制御部は、期間指定部が指定した期間において、クロック信号を所定周波数よりも低い周波数へと制御してもよい。このように、クロック制御部は、指定された期間において、クロック周波数を低く制御してもよい。

撮像制御部は、撮像するタイミングにおいて、同期信号を期間指定部へと出力してもよく、期間指定部は、同期信号に基づいてクロック制御部がクロック信号を所定周波数よりも低く制御する期間を指定してもよい。

撮像制御部は、撮像する画像の第１方向の撮像タイミングに対する同期信号である第１同期信号と、撮像する画像の第１方向と交差する方向である第２方向の撮像タイミングに対する同期信号である第２同期信号と、を期間指定部へと出力してもよい。例えば、撮像部に備えられる画素アレイについて、垂直同期信号（Vsync）と水平同期信号（Hsync）を撮像制御部が期間指定部へと出力してもよい。

期間指定部は、第１同期信号を基準とした第１所定期間を、クロック制御部が所定周波数のクロック信号を出力する期間として指定してもよく、クロック制御部は、期間指定部の出力に基づいて、第１所定期間において、クロック生成部が生成した所定周波数のクロック信号を出力してもよい。このように、Vsync信号に基づいて、期間指定部は、所定クロック周波数のクロック信号を出力する期間として指定してもよい。

期間指定部は、第２同期信号を基準とした第２所定期間を、クロック制御部が所定周波数よりも低い周波数のクロック信号を出力する期間として指定してもよく、クロック制御部は、期間指定部の出力に基づいて、第２所定期間において、クロック生成部が生成したクロック信号を所定周波数よりも低い周波数のクロック信号へと制御して出力してもよい。このように、Hsync信号に基づいて、期間指定部は、所定周波数よりも低いクロック周波数のクロック信号を出力する制御をする期間として指定してもよい。

クロック制御部は、変換部が変換を実行する期間において、クロック信号を出力しない制御を行ってもよい。このように、クロック制御部は、変換部がデータ変換を実行する期間において、クロック信号を出力しない制御をしてもよい。また、変換部が変換を実行する前後の期間をマージンとして含む期間において、クロック信号を出力しない制御をしてもよい。

データ処理部は、デジタル画像データの画像処理をクロック制御部が出力するクロック信号に基づいて実行する、画像処理部を備えていてもよい。

データ処理部は、訓練済のニューラルネットワークモデルによる処理を実行する、信号処理部を備えていてもよい。このように、データ処理部は、複数の処理を各々が実行する処理部を備えていてもよい。

撮像部、変換部及びデータ処理部は、同一の基板上に形成されてもよい。このように、１の基板に上述の各構成要素が形成される半導体装置として、受光装置が形成されてもよい。

受光装置は、撮像部が形成される、第１基板と、第１基板に積層される、変換部及びデータ処理部が形成される、第２基板と、を備えてもよい。このように、積層型の半導体装置として、受光装置が形成されてもよい。

第１基板と第２基板とは、CoC（Chip on Chip）方式、CoW（Chip on Wafer）方式、又は、WoW（Wafer on Wafer）方式のいずれかで貼り合わされてもよい。このように、積層の手法は、適切に選択されたものであればよい。

一実施形態によれば、電子機器は、撮像された画像データを出力する、受光装置と、画像データに対して所定の信号処理を行う、プロセッサと、を備え、受光装置は、複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、撮像部が取得したアナログ画像信号をデジタル画像データに変換する、変換部と、所定周波数のクロック信号を生成する、クロック生成部と、クロック生成部から所定周波数のクロック信号を受信し、変換部が変換処理を実行していない期間において所定周波数のクロック信号を出力し、変換部が変換処理を実行している期間において所定周波数よりも低い周波数へと制御したクロック信号を出力する、クロック制御部と、クロック制御部が出力するクロック信号に基づいて、デジタル画像データに対するデータ処理を実行する、データ処理部と、を備え、データ処理部の出力がプロセッサに入力される。このように、上述した受光装置は、外部のプロセッサを接続され、外部からの制御により動作を実行してもよい。

電子機器の受光装置は、上述した受光装置の特徴を任意に備えてもよい。

また、電子機器の受光装置は、上述した任意の受光装置の構成であってもよい。

一実施形態に係る受光装置のブロック図。一実施形態に係るデータ処理部の負荷電流を示す図。一実施形態に係る受光装置のブロック図。一実施形態に係る撮像の様子を示す図である。一実施形態に係るクロック制御の一例を示す図。一実施形態に係るクロック制御の一例を示す図。一実施形態に係るクロック制御の一例を示す図。一実施形態に係るクロック制御の一例を示す図。一実施形態に係る受光装置の実装例を示す図。一実施形態に係る第１基板のレイアウト例を示す図。一実施形態に係る第２基板のレイアウト例を示す図。本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。撮像部の設置位置の例を示す図。本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図。図１２に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図。本開示に係る技術が適用される診断支援システムの概略的な構成の一例を示す図。

以下、図面を参照して、受光装置及び電子機器の実施形態について説明する。以下では、受光装置及び電子機器の主要な構成部分を中心に説明するが、受光装置及び電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

（第１実施形態）
図１は第１実施形態に係る受光装置の概略構成を示すブロック図である。受光装置１は、撮像部１０と、変換部１１と、データ処理部１２と、出力インタフェース（以下、出力I/F）制御部１５と、クロック生成部１７と、クロック制御部１８と、期間指定部１９と、メモリ２０と、を備える。図１においては、受光に関するデータの流れを実線で示し、クロック信号に関する信号の流れを破線で示す。

撮像部１０は、例えば、受光素子を備える複数の画素を有する画素アレイと、当該画素アレイに適切に集光させる光学系と、を備える。受光素子は、例えば、フォトダイオードである。撮像部１０は、例えば、このフォトダイオードが受光して出力した信号を適切に処理する、CMOS（Complementary Metal-Oxide-Semiconductor Field-Effect-Transistor）イメージセンサ、CCD（Charge Coupled Device）イメージセンサ等のセンサを備え、受光した光をアナログ画像データに変換して出力する。

変換部１１は、撮像部１０と接続され、撮像部１０から出力されたアナログ画像データをデジタル画像データへと変換して出力する。変換部１１は、例えば、アナログデジタル変換回路（以下、ADC：Analog to Digital Converter）を備える。また、構成の一部として、デジタルアナログ変換回路（以下、DAC：Digital to Analog Converter）を備えていてもよい。

データ処理部１２は、変換部１１と接続され、変換部１１から出力されたデジタル画像データに対して所定の処理を実行する。データ処理部１２は、図１に示すように、例えば、画像処理部（以下、ISP：Image Signal Processor）１３と、デジタル信号処理部（以下、DSP：Digital Signal Processor）１４と、を備える。データ処理部１２は、変換部１１がデータ変換を行うタイミング（期間）において負荷が軽減、すなわち、負荷電流を抑制する制御がされる。

ISP１３は、変換部１１が出力したデジタル画像データに対して任意の画像処理を実行して出力する。画像処理は、例えば、サイズ変換、回転、ノイズ除去、ブラー除去、エッジ強調、等の処理を含むが、これらに限定されるものではない。

DSP１４は、変換部１１が出力したデジタル画像データに対して任意の信号処理を実行して出力する。信号処理は、例えば、認識、検出、特徴量抽出等の処理を含むが、これらに限定されるものではない。DSP１４は、例えば、訓練済のニューラルネットワークモデルを用いて信号処理を実行する。また、外部からの要求により、強化学習、再訓練等を実行してもよい。

出力I/F制御部１５は、データ処理部１２と、図示しない出力I/Fと、を接続する。出力I/F１５は、出力I/Fを制御してデータ処理部１２により処理されたデータの外部への出力を制御する。出力I/F制御部１５が出力I/Fを制御して、例えば、ISP１３、DSP１４が適切に処理したデータ等を外部のプロセッサ、メモリ等へと出力する。

また、図示しないが、受光装置１は、入力I/F及び入力I/F制御部を備えていてもよい。この場合、外部から入力I/Fを介して受光装置１へと適切な処理を実行するような要求を送信することも可能であるし、撮像する対象、撮像するタイミングを指定することもできる。このように、受光装置１は、入出力I/Fを介して外部のプロセッサ、メモリ等と信号、データの送受信を行うことができる。また、外部からの要求により、受光装置１を動作させることも可能である。

上記の各部は、例えば、クロック信号に基づいて処理を実行する。例えば、データ処理部１２は、クロック信号により同期、リフレッシュされ、適切に動作が行われる。

クロック生成部１７は、受光装置１の処理を実行する各部へと出力するクロック信号を出力する。クロック生成部１７は、例えば、所定周波数を有する信号を出力し、当該信号をクロック信号として出力する。所定周波数は、必ずしも常時一定である必要は無く、受光装置１の環境等に基づいて適切に変更できるものであってもよい。例えば、受光装置１を起動するタイミングにおいて、外部からの指示により、許容される範囲において所定周波数が決定できるものであってもよい。

クロック制御部１８は、特に、データ処理部１２に入力されるクロック信号を制御する。例えば、変換部１１においてAD変換（Analog to Digital変換）が実行されるタイミングにおいて、データ処理部１２が処理を実行していると当該処理に起因する負荷電流により、デジタル画像データにノイズが混入することがある。このノイズを抑制するために、変換部１１がAD変換を実行するタイミングにおいては、データ処理部１２の動作を抑制するようにクロック生成部１７が生成したクロック信号を制御してデータ処理部１２へと出力する。

クロック制御部１８は、例えば、クロック信号をクロック生成部１７が生成した所定周波数よりも低い周波数を有する信号へと変換して出力する。所定周波数よりも低い周波数を有するとは、クロック信号を遮断することをも含む概念である。クロック制御部１８は、例えば、条件によりクロック信号を遮断する回路、又は、条件によりクロック信号を分周する回路を備える。

クロック制御部１８は、データ処理部１２の全ての構成要素に対して一括して同じクロック信号を出力してもよい。この場合、クロック制御部１８からデータ処理部１２への信号線、出力バス等は、一系統であってもよい。

クロック制御部１８は、別の例として、図１に示すようにISP１３、DSP１４のそれぞれ、すなわち、データ処理部１２の任意の要素に対して任意のクロック信号を出力してもよい。この場合、クロック制御部１８からデータ処理部１２への信号線、出力バス等は、複数あってもよい。例えば、ISP１３のクロック周波数をクロック生成部１７が生成した所定周波数とし、DSP１４のクロック周波数を所定周波数よりも低い周波数として制御してもよい。このように、データ処理部１２における各構成要素において別々の制御をしたクロック信号を出力してもよい。

例えば、ISP１３の電流変動が少ない場合には、クロック制御部１８は、期間指定部１９からの指定に拘わらずISP１３には所定周波数のクロック信号を出力する。一方で、クロック制御部１８は、DSP１４に対しては、期間指定部１９からの指定により所定周波数よりも低い周波数に制御されたクロック信号を出力してもよい。すなわち、クロック制御部１８は、データ処理部１２の少なくとも一部に対してクロック生成部１７が生成したクロック信号を制御して出力してもよい。

期間指定部１９は、クロック制御部１８と接続され、クロック制御部１８がデータ処理部１２へと出力するクロック信号を制御する期間を指定する。期間指定部１９は、例えば、変換部１１からAD変換を実行する期間を取得し、クロック制御部１８へとこの期間を通知する。変換部１１は、例えば、期間指定部１９に、自らがAD変換を実行するタイミングを通知してもよく、期間指定部１９が当該通知に基づいて期間を指定し、クロック制御部１８へと期間を通知してもよい。

メモリ２０は、受光装置１において必要となるデータを格納する。例えば、DSP１４において訓練済のニューラルネットワークモデルを用いる場合には、当該モデルに用いられるパラメータが格納されてもよい。データ処理部１２においてフィルタ処理が実行される場合には、当該フィルタ処理に用いられる係数が格納されてもよい。また、撮像部１０、変換部１１等が取得したデータ、データ処理部１２が処理したデータの格納をしてもよい。また、その他任意のデータ、例えば、受光装置１の制御に用いるデータを格納してもよい。図１においてはデータの流れが記載されていないが、メモリ２０は、適切に必要な構成と接続される。

図２は、データ処理部１２における負荷電流と時間との関係の一例を示す図である。図２において、破線で挟まれて示される期間P1、P2は、変換部１１が信号の変換を実行している期間である。この期間において、データ処理部１２がデータ処理を実行すると、点線で示されるデータ処理部１２の負荷電流により、変換部１１が出力するデジタル画像データにノイズが混入する可能性がある。

そこで、この期間P1、P2においてクロック制御部１８がクロック信号を制御して所定周波数よりも低いクロック信号へと変換し、データ処理部１２のデータ処理の処理速度（リフレッシュレートを含む）を制御する。クロック制御部１８がクロック周波数を制御することにより、例えば、データ処理部１２の負荷電流は、少なくとも期間P1、P2を含む期間において点線で示されていたものから実線で示されるように抑制される。この結果、変換部１１におけるデータ変換の際に混入するノイズを低減することが可能となる。

図２に一点鎖線で示される期間のように、期間P1、P2に対してマージンを持ってクロック制御を実行してもよい。そこで、期間指定部１９は、クロック制御部１８に、マージンを有する期間を指定して通知してもよい。変換部１１は、AD変換の実行開始のタイミングよりも前のタイミングで期間指定部１９へと開始タイミングを通知してもよい。このように変換部１１が通知することにより、よりノイズ低減効果を図ることができる。

上述したように、クロック制御部１８は、データ処理部１２へと出力するクロック周波数を停止する制御をしてもよいし、所定周波数よりも低い周波数のクロック信号へと変換する制御をしてもよい。停止しない制御の場合には、例えば、変換部１１の変換におけるノイズの影響が無い、あるいは、十分に小さい、と判断される範囲となるデータ処理部１２のクロック周波数をあらかじめ計測しておき、当該クロック周波数以下の周波数となるように制御してもよい。

図３は、受光装置１の別の形態を示す例である。受光装置１はさらに、撮像制御部１６を備えていてもよい。撮像制御部１６は、撮像部１０が撮像するタイミングを制御する。撮像制御部１６は、自動的に、又は、図示しない入力I/Fを介して、任意のタイミングにおいて、撮像のタイミングを制御する。

撮像制御部１６は、撮像部１０、変換部１１、期間指定部１９に撮像タイミングを通知する。撮像部１０は、通知されたタイミングに基づいて撮像を行う。変換部１１は、通知されたタイミングに基づいて撮像部１０からアナログ画像データ受信のタイミングを取得し、当該データ受信にタイミングに基づいてデータ変換を実行する。期間指定部１９は、通知されたタイミングに基づいて変換部１１がデータ変換を実行する期間を取得し、クロック制御部１８がクロック周波数を低くする期間を指定する。

このように撮像制御部１６が撮像タイミングを撮像部１０、変換部１１、期間指定部１９へと通知することにより、図２に一点鎖線で示される期間、すなわち、期間P1、P2において十分に負荷電流が少なくなるようにクロック周波数を制御することが可能となる。

次に、撮像制御部１６からの撮像タイミングの通知に基づいて、期間指定部１９が期間を指定する動作について説明する。

図４は、一実施形態に係る画素アレイにおける撮像の様子を示す図である。図の左下に示すように、第１方向及び第１方向と交差する第２方向を定義する。画素アレイは、その全てが撮像に用いられるわけでは無く、設定された撮像領域に属する画素において受光し、アナログ信号を生成してもよい。この図４においては、例えば、撮像領域の左上の画素から信号の取得が開始され、まず、第２方向に沿った画素について連続して信号の取得がされる。一番上の行の一番右の画素まで信号が取得されると、第１方向にずれた次の行の一番左の画素から同様に信号が取得される。

撮像制御部１６は、撮像を開始するタイミングにおいて、第１同期信号を生成し、出力する。

撮像部１０は、この第１同期信号を受信することにより、第１方向におけるアナログ信号の取得、すなわち、撮像領域全体としての撮像を開始する。撮像部１０は、第１同期信号を受信すると、画素アレイのうち、撮像領域における最初の行から１行におけるアナログ信号の取得を第２方向に向かって開始する。なお、１行では無く、同じタイミングで複数行のアナログ信号を取得してもよい。行数については、以下１行として説明するが、同様に複数行であってもよい。

撮像制御部１６は、第２方向に１行の撮像が終わり、次の行の撮像を開始するタイミングで、第２同期信号を出力する。

撮像部１０は、第２同期信号を受信すると、撮像が終わった行の次の行からの撮像を開始する。このように、撮像部１０は、撮像制御部１６が第２同期信号を出力するタイミングから、第２方向へ沿って撮像する。

画素アレイのうち撮像に用いられる領域の全てにおいてアナログ信号が取得されるまで、この動作が繰り返される。すなわち、撮像制御部１６は、撮像が終了するまで、第２同期信号を出力し、それに基づいて、撮像部１０が１行分の撮像を第２方向に向かって実行する。

変換部１１は、撮像部１０が取得したアナログ画像信号を所定のタイミングでデジタル画像データへと変換する。例えば、第１方向においてブランキング期間が設定されている場合、変換部１１は、ブランキング期間においては変換を行わない。ブランキング期間は、例えば、図４において右上がりの斜線で示される期間である。図４の例によれば、変換部１１は、第１同期信号を受信した後、VstartからVendの間は、条件に基づいてデータの変換を実行する。すなわち、変換部１１は、第１同期信号を受信してからVstartが過ぎるまで、及び、Vendを過ぎた後においては、データ変換を行わなくてもよい。

このVstart及びVendは、例えば、撮像条件により設定された値である。このため、変換部１１は、この撮像条件を取得することにより、Vstart、Vendの値を取得することが可能である。すなわち、第１同期信号を受信することにより、処理を実行しないブランキング期間を判断することが可能である。

変換部１１は、第１同期信号からVstart〜Vendの期間においては、所定タイミングでデータの変換を実行する。例えば、図４に左上がりの斜線の期間で示すように、第２同期信号からHstart0〜Hend0、Hstart1〜Hend1、Hstart2〜Hend2、Hstart3〜Hend3のタイミングにおいてアナログ画像信号からデジタル画像データへの変換処理を実行する。図４において、画素アレイ上に期間が示されているが、これは、当該画素において撮像部１０が撮像を行っている期間に、変換部１１がデータの変換を実行することを意味する。

このHstart0、Hend0、Hstart1、Hend1、Hstart2、Hend2、Hstart3、Hend3の値もVstart、Vendと同様に撮像条件に基づいて決定される値であるため、変換部１１は、撮像条件を取得することにより、これらの値を取得することが可能である。すなわち、第２同期信号を受信することにより、変換部１１は、変換を実行するタイミングを適切に設定し、設定された期間においてデータ変換を実行することが可能となる。

期間指定部１９も同様に、Vstart、Vend、及び、Hstart0、Hend0、Hstart1、Hend1、Hstart2、Hend2、Hstart3、Hend3の各同期信号からのオフセット情報を取得することが可能である。このため、第１同期信号及び第２同期信号を受信することにより、変換部１１がデータ変換をする期間を取得することが可能である。

期間指定部１９は、例えば、第１同期信号を受信してからVstartの間は、変換部１１がデータ変換を実行しない期間であると判断し、クロック制御部１８に所定周波数のクロック信号を出力する期間として通知することが可能である。また、同様に、期間指定部１９は、第１同期信号を受信してからVendが経過した後は、変換部１１がデータ変換を実行しない期間であると判断し、クロック制御部１８に所定周波数のクロック信号を出力する期間として通知することが可能である。

例えば、期間指定部１９は、第１同期信号を受信した時刻を基準として、この時刻からVstartが過ぎる以前までの時間、及び、この時刻の後でVendが過ぎた以降の時間を第１所定期間としてもよい。期間指定部１９は、所定周波数を出力する期間として、この第１所定期間をクロック制御部１８へと出力してもよい。

第１所定期間以外の期間において、期間指定部１９は、上述のようにHstart0等のオフセット情報を取得しているので、第２同期信号を受信すると、変換部１１がデータ変換をする期間を抽出することができる。このため、期間指定部１９は、変換部１１がデータ変換を行う期間においてデータ処理部１２の負荷を軽減させるべくクロック信号を制御する期間を指定する。

図５は、第１所定期間以外の期間における期間指定部１９の期間の指定及びクロック制御部１８のクロック信号の制御の一例をタイミングチャートである。一例として、Hstart0、Hend0、Hstart1、Hend1を含む期間の制御について示しているが、他の期間についても同様である。図中におけるHstart0、Hend0、Hstart1、Hend1は、第２同期信号を受信した時刻を基準とする。

撮像制御部１６は、第２同期信号を出力する。クロック生成部１７は、所定周波数を有するクロック信号を出力し続ける。期間指定部１９は、第２同期信号を受信し、その後Hstart0〜Hend0を少なくとも含む期間、及び、Hstart1〜Hend1を少なくとも含む期間を第２所定期間と指定してクロック制御部１８へと出力する。クロック制御部１８は、期間指定部１９により指定された期間において、クロック信号を出力しないように制御する。この結果、データ処理部１２における処理を第２所定期間において中止することができ、変換部１１がデータ変換を実行する期間のノイズを低減することができる。上述したように、クロック制御部１８は、データ処理部１２の全構成ではなく、少なくとも一部の任意の構成に対して、第２所定期間においてクロック周波数を制御して出力してもよい。この場合、データ処理部１２のその他の構成に対しては、クロック制御部１８は、所定周波数を有するクロック信号を出力する。

期間指定部１９は、例えば、Hstart0、Hend0、Hstart1、Hend1に対して、図に示すように、多少のマージンを有して期間を指定してもよい。例えば、Hstart0、Hstart1よりも少し前の時間からHend0、Hend1の少し後の時間までを第２所定期間として指定してもよい。この時間は、例えば、図に示すように所定周波数の1/4周期ほどであってもよいが、この図５に限定されるものではない。例えば、所定周波数の１周期等、他のマージンを取ってもよい。このマージンの取り方は、設定により変更できるものであるとする。

図６は、クロック制御部１８の別の制御例を示す図である。例えば、クロック制御部１８は、期間指定部１９が指定した期間において、クロック信号を所定周波数よりも低い周波数を有するクロック信号へと制御してもよい。例えば、図６に示すように、クロック生成部１７が生成したクロック信号を1/2分周し、出力してもよい。このように、所定周波数よりも低い周波数を有するクロック信号へと制御することによっても、データ処理部１２の負荷電流を低減させることが可能となる。

図７は、期間指定部１９の期間指定の別の例を示す図である。期間指定部１９は、第２所定期間の開始及び終了のタイミングでパルスを出力し、期間を指定してもよい。クロック制御部１８は、受信したパルスに基づいて、クロック周波数の制御を切り替える。期間指定部１９は、図５、図６に示すように、例えば、トグル信号によりモードを切り替えるように期間を指定してもよいし、図７に示すように、トリガ信号により制御を切り替えるように期間を指定してもよい。もちろん、図７においては、クロック制御部１８がクロック信号の出力を中止制御する場合を示しているが、これには限られない。図６に示すよう制御のように、クロック制御部１８は、パルス信号を受信して所定周波数よりも低いクロック周波数を有するように制御を行ってもよい。

図８は、ブランキング期間、すなわち、第１所定期間におけるクロック出力の例を示す図である。第１所定期間である場合、期間指定部１９は、第２同期信号を受信しても、Hstart0等の所定の時間によらず、クロックを制御する信号を出力しない。期間を指定しないことにより、クロック制御部１８からはクロック生成部１７が生成した所定周波数を有するクロック信号が出力される。このように、第１所定期間であることを期間指定部１９が判断し、第１所定期間である場合には、所定周波数よりも低い周波数を有するクロック信号へと制御しないようにしてもよい。

なお、Vstart、Vend、及び、Hstart0、Hend0、Hstart1、Hend1、Hstart2、Hend2、Hstart3、Hend3のタイミングは、図４に示されたものに限定されるものではない。例えば、ブランキング期間は、３以上の期間があってもよい。変換部１１がデータ変換を実行する期間は、図４に示すより多くてもよいし、少なくてもよい。また、Vendが過ぎた後にもデータ変換が行われる期間があってもよい。例えば、最終行の撮像が終わった後、最終行において取得されたアナログ画像信号のデータ変換を実行するための期間が存在していてもよい。また、例えば、第１同期信号を受信してからVstart前においては、期間指定部１９は、第２同期信号及びHstart0、Hend0等に基づいて、クロック信号を所定周波数よりも低くする。

以上のように、本実施形態によれば、撮像部１０が取得したアナログ画像信号を変換部１１がデジタル画像データへと変換する期間において、データ処理部１２の処理を軽減させ、すなわち、データ処理部１２における負荷電流を低減させることにより、変換部１１における変換処理におけるノイズの混入を抑制することが可能となる。撮像において出力されている同期信号を取得してクロック信号を制御し、データ処理部１２における負荷電流を低減させることにより、複雑な回路を備えること無く、すなわち、回路面積をそれほど大きくすること無く上記の作用を奏することが可能となる。このように、受光装置１の内部で信頼性の高い認識処理や検出処理などの情報処理を行うことが可能である一方、画像処理、及び、信号処理のタイミングにおいても、ノイズの混入を低減することができ、単に撮像を行うだけでない認識処理や検出処理などの情報処理も行えるインテリジェントな受光装置１が提供される。

（受光装置１のチップ構造）
次に、図１の受光装置１のチップ構造について説明する。図９は図１の受光装置１のチップ構造の一例を示す図である。図９の受光装置１は、第１基板３０と第２基板３１を積層した積層体である。第１基板３０と第２基板３１は、ダイと呼ばれることもある。図９の例では、第１基板３０と第２基板３１が矩形状の例を示しているが、第１基板３０と第２基板３１の具体的な形状とサイズは任意である。また、第１基板３０と第２基板３１は同じサイズでもよいし、互いに異なるサイズでもよい。

第１基板３０には、図１に示した撮像部１０の画素アレイが配置されている。また、第１基板３０には、撮像部１０の光学系の少なくとも一部がオンチップで実装されてもよい。

第２基板３１には、図１に示した変換部１１と、データ処理部１２と、出力I/F制御部１５と、撮像制御部１６と、クロック生成部１７と、クロック制御部１８と、期間指定部１９と、メモリ２０と、が配置されている。この他、第２基板３１には、不図示の入力／出力インタフェース部、電源回路、各種プロセッサ（CPU：Central Processing Unit）、セレクタ等が配置されてもよい。

貼合せの具体的形態として、第１基板３０と第２基板３１を例えばウエハから切り出して個片化した後に、上下に重ねて貼り合わされる、いわゆるCoC（Chip on Chip）方式を採用してもよい。あるいは、第１基板３０と第２基板３１の一方（例えば第１基板３０）をウエハから切り出して個片化した後、個片化された第１基板３０を個片化前の第２基板３１に貼り合わせる、いわゆるCoW（Chip on Wafer）方式を採用してもよい。あるいは、第１基板３０と第２基板３１をウエハの状態で貼り合わせる、いわゆるWoW（Wafer on Wafer）方式を採用してもよい。

第１基板３０と第２基板３１の接合方法には、例えばプラズマ接合等を用いることができる。ただし、それ以外の種々の接合方法を用いてもよい。

図１０及び図１１は第１基板３０及び第２基板３１のレイアウトの一例を示す図である。図１０は、撮像部１０の画素アレイ１００が配置される第１基板３０のレイアウト例を示している。図１０の例では、画素アレイ１００は、第１基板３０の４つの辺Ｌ３０１〜Ｌ３０４のうち、１つの辺Ｌ３０１側に片寄って配置されている。言い換えれば、画素アレイ１００は、その中心部Ｏ３０１が第１基板３０の中心部Ｏ３００よりも辺Ｌ３０１側に寄って配置されている。なお、第１基板３０における画素アレイ１００が設けられた面が長方形である場合、辺Ｌ３０１は、例えば、第１基板３０の短い方の辺であってもよい。ただし、これに限定されず、長い方の辺に、画素アレイ１００が片寄って配置されてもよい。

画素アレイ１００の４つの辺のうちの辺Ｌ３０１に近接する領域、言い換えれば、辺Ｌ３０１と画素アレイ１００との間の領域には、画素アレイ１００中の各単位画素３０１ａを第２基板３１に配置された変換部１１に電気的に接続させるための配線として、第１基板３０を貫通する複数の貫通配線（Through Silicon Via：以下、ＴＳＶという）が配列するTSVアレイ３０２が設けられている。このように、TSVアレイ３０２を画素アレイ１００が近接する辺Ｌ３０１に近接させることで、第２基板３１において、変換部１１等の配置スペースを確保し易くなる。

なお、TSVアレイ３０２は、辺Ｌ３０１と交わる２つの辺Ｌ３０３及びＬ３０４のうち一方の辺Ｌ３０４（ただし、辺Ｌ３０３であってもよい）に近接する領域、言い換えれば、辺Ｌ３０４（又は、辺Ｌ３０３）と画素アレイ１００との間の領域にも設けられていてよい。

第１基板３０の４つの辺Ｌ３０１〜Ｌ３０４のうち、画素アレイ１００が片寄って配置されていない辺Ｌ３０２〜Ｌ３０３それぞれには、直線状に配列された複数のパッドを有するパッドアレイ３０３が設けられている。パッドアレイ３０３は、例えば、画素アレイ１００や変換部１１などのアナログ回路用の電源電圧が印加されるパッド（電源ピンともいう）を含んでいてもよい。また、パッドアレイ３０３は、変換部１１、データ処理部１２、出力I/F制御部１５、撮像制御部１６、クロック生成部１７、クロック制御部１８、期間指定部１９、メモリ２０等のデジタル回路用の電源電圧が印加されるパッド（電源ピンともいう）を含んでいてもよい。あるいは、パッドアレイ３０３は、MIPI（Mobile Industry Processor Interface）、SPI（Serial Peripheral Interface）などのインタフェース用のパッド（信号ピンともいう）を含んでいてもよい。あるいは、パッドアレイ３０３は、クロックやデータの入出力のためのパッド（信号ピンともいう）を含んでいてもよい。各パッドは、例えば、外部の電源回路やインタフェース回路とワイヤを介して電気的に接続される。各パッドアレイ３０３とTSVアレイ３０２とは、パッドアレイ３０３中の各パッドに接続されたワイヤからの信号の反射の影響を無視できる程度に十分に離れていることが好ましい。

図１１は、変換部１１と、データ処理部１２と、出力I/F制御部１５と、撮像制御部１６と、クロック生成部１７と、クロック制御部１８と、期間指定部１９と、メモリ２０と、が配置される第２基板３１のレイアウト例を示している。第２基板３１には、変換部１１と、データ処理部１２と、出力I/F制御部１５と、撮像制御部１６と、クロック生成部１７と、クロック制御部１８と、期間指定部１９と、メモリ２０と、が少なくとも配置されている。図１１のレイアウト例では、変換部１１がADC１１ａとDAC１１ｂとの２つの領域に分かれている。DAC１１ｂは、ADC１１ａにＡＤ変換用の参照電圧を供給する回路であり、変換部１１の一部に含まれる。また、図１１には図示されていないが、出力I/F制御部１５、セレクタ、CPU等も第２基板３１に配置されている。

また、第２基板３１には、第１基板３０を貫通するTSVアレイ３０２中の各TSV（以下、単にTSVアレイ３０２とする）と接触することで電気的に接続される配線３２２が設けられている。さらに、第２基板３１には、第１基板３０のパッドアレイ３０３における各パッドと電気的に接続される複数のパッドが直線状に配列されたパッドアレイ３２３が設けられている。

TSVアレイ３０２と配線３２２との接続には、例えば、第１基板３０に設けられたＴＳＶと第１基板３０から第２基板３１にかけて設けられたＴＳＶとの２つのＴＳＶをチップ外表で接続する、いわゆるツインTSV方式が採用されてもよい。あるいは、第１基板３０から第２基板３１にかけて設けられた共通のTSVで接続する、いわゆるシェアードTSV方式が採用されてもよい。ただし、これらに限定されず、例えば、第１基板３０の接合面と第２基板３１の接合面とにそれぞれ露出させた銅（Cu）同士を接合する、いわゆるCu−Cuボンディング方式など、種々の接続形態が採用可能である。

第１基板３０のパッドアレイ３０３における各パッドと、第２基板３１のパッドアレイ３２３における各パッドとの接続形態は、例えば、ワイヤボンディングである。ただし、これに限定されず、スルーホールやキャスタレーション等の接続形態であってもよい。

第２基板３１のレイアウト例では、例えば、TSVアレイ３０２と接続される配線３２２の近傍を上流側とし、画素アレイ１００から読み出された信号の流れに沿って、上流から順に、ADC１１ａと、ISP１３と、DSP１４とが配置されている。すなわち、画素アレイ１００から読み出された画素信号が最初に入力されるADC１１ａが最も上流側である配線３２２の近傍に配置され、次いで、ISP１３が配置され、配線３２２から最も遠い領域にDSP１４が配置されている。

クロック生成部１７は、例えば、CPUに所定周波数のクロック信号を出力するように、配置される。このクロック生成部１７が出力するクロック信号は、クロック制御部１８において適切な周波数を有するクロック信号へと制御され、ISP１３、DSP１４へと出力される。期間指定部１９は、撮像制御部１６と隣接して配置され、さらに、クロック制御部１８が期間指定部１９と隣接して配置されてもよい。

このように、変換部１１からDSP１４までを信号の流れに沿って上流側から配置したレイアウトとすることで、各部を接続する配線を短縮することができる。それにより、信号遅延の低減、信号の伝搬損失の低減、S/N比の向上、消費電力の削減などを図ることができる。

また、CPUは、例えば、上流側である配線３２２の近傍に配置されている。図１１では、変換部１１とISP１３と接するようにCPUが配置されている。このようなレイアウトを採用することで、CPUが画素アレイ１００を制御する際の信号遅延の低減、信号の伝搬損失の低減、S/N比の向上、消費電力の低減などを図れる。また、アナログ回路用の信号ピンや電源ピンをアナログ回路の近傍（例えば、図１１中の下側）にまとめて配置し、残りのデジタル回路用の信号ピンや電源ピンをデジタル回路の近傍（例えば、図１１中の上側）にまとめて配置し、又は、アナログ回路用の電源ピンとデジタル回路用の電源ピンとを十分に離して配置することもできる。

また、図１１に示すレイアウトでは、DSP１４が最も下流側であるADC１１ａとは反対側に配置されている。このようなレイアウトを採用することで、言い換えれば、第１基板３０と第２基板３１との積層方向（以下、単に上下方向という）において、画素アレイ１００と重畳しない領域に、DSP１４を配置することができる。

このように、上下方向において破線で示す領域にある画素アレイ１００とDSP１４とが重畳しない構成とすることで、DSP１４が信号処理を実行することで発生したノイズが画素アレイ１００に入り込むことを低減することができる。上述のようにクロック制御部１８によりクロック信号を制御することにより、さらに、変換部１１における変換のタイミングにおいて重畳されるノイズをも翼背得することが可能尾なる。その結果、DSP１４を学習済みモデルに基づいた演算を実行する処理部として動作させた場合でも、デジタル画像データへのDSP１４の信号処理に起因したノイズの入り込みを低減することができるため、品質の劣化が低減された画像を取得することができる。

メモリ２０は、ISP１３、及びDSP１４の近傍に配置されている。メモリ２０には、デジタル画像データ及び学習済の計算モデルに関する各種情報が記憶されている。DSP１４は、必要に応じてISP１３が出力し、メモリ２０の所定領域に格納したデジタル画像データを読み出し、信号処理を実行し、メモリ２０の同一又は異なる所定領域に格納する。

DSP１４は、メモリ２０から計算モデルに関する情報及びISP１３が出力したデジタル画像データを読み出し、計算モデルを用いて演算処理を行い、演算処理の結果をメモリ２０に記憶する。また、DSP１４は、メモリ２０に演算結果を格納すること無く、図示しない出力I/Fを介して外部へと演算結果を出力してもよい。

このように、ISP１３、DSP１４の近傍にメモリ２０を配置することで、メモリ２０にアクセスする際の信号伝搬時間を短縮でき、ISP１３、DSP１４はメモリ２０に高速でアクセスすることができる。

パッドアレイ３２３は、例えば、第１基板３０のパッドアレイ３０３と上下方向において対応する第２基板３１上の位置に配置される。ここで、パッドアレイ３２３に含まれるパッドのうち、ADC１１ａの近傍に位置するパッドは、アナログ回路（主にADC１１ａ）用の電源電圧やアナログ信号の伝搬に使用される。一方、CPU、ISP１３、DSP１４、撮像制御部１６、クロック生成部１７、クロック制御部１８、期間指定部１９、メモリ２０の近傍に位置するパッドは、デジタル回路（主に、CPU、ISP１３、DSP１４、撮像制御部１６、クロック生成部１７、クロック制御部１８、期間指定部１９、メモリ２０）用の電源電圧やデジタル信号の伝搬に使用される。このようなパッドレイアウトとすることで、各パッドと各部とを接続する配線上の距離を短くすることができる。それにより、信号遅延の低減、信号や電源電圧の伝搬損失の低減、S/N比の向上、消費電力の低減などを実現できる。

図１１は、一例として挙げたものであり、第２基板３１における各部の配置は、これに限られるものではない。

また、上記においては、撮像部１０と、他の構成が別の層に形成され、積層されたものとしたが、これには限られない。例えば、同一の基板上に撮像部１０と、他の構成とを形成してもよい。この場合においても、データ処理部１２の負荷電流を低減することができるので、撮像部１０の取得したアナログ信号をデジタルデータへと変換する変換部１１の近くにデータ処理部１２を配置することが可能となる。

（他のセンサへの適用）
なお、上述した第１及び第２の実施形態では、２次元画像を取得する受光装置（イメージセンサ）１に対して本開示に係る技術を適用した場合を例示したが、本開示に係る技術の適用先は受光装置に限定されるものではない。例えば、ＴｏＦ（Time of Flight）センサや赤外線（ＩＲ）センサやＤＶＳ（Dynamic Vision Sensor）等、種々の受光センサに対して本開示に係る技術を適用することが可能である。すなわち、受光センサのチップ構造を積層型とすることで、センサ結果に含まれるノイズの低減やセンサチップの小型化等を達成することが可能である。

（移動体への応用例）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１２は本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム１２０００の概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、図１２に示した例では、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３を備える。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付けて、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１３は撮像部１２０３１の設置位置の例を示す図である。図１３では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が一点鎖線で示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。撮像部１２０３１等に本開示に係る技術を適用することにより、撮像部１２０３１等を小型化することが可能となるため、車両１２１００のインテリアやエクステリアの設計が容易となる。また、撮像部１２０３１等に本開示に係る技術を適用することにより、ノイズの低減されたクリアな画像を取得することが可能となるため、より見やすい撮影画像をドライバに提供することができる。それにより、ドライバの疲労を軽減することが可能になる。

（内視鏡手術システムへの応用例）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

図１４は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

図１４では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。

内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。

ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。

入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。

処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

図１５は図１４に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。

カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。

レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。

撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。

また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。

駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。

通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。

また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。

カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。

通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。

また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。

画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。

制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。

また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。

以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、カメラヘッド１１１０２の撮像部１１４０２等に適用され得る。カメラヘッド１１１０２に本開示に係る技術を適用することにより、カメラヘッド１１１０２等を小型化することが可能となるため、内視鏡手術システム１１０００をコンパクト化が可能となる。また、カメラヘッド１１１０２等に本開示に係る技術を適用することにより、ノイズの低減されたクリアな画像を取得することが可能となるため、より見やすい撮影画像を術者に提供することができる。それにより、術者の疲労を軽減することが可能になる。

なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。

（ＷＳＩ（Whole Slide Imaging）システムへの応用例）
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、医師等が患者から採取された細胞や組織を観察して病変を診断する病理診断システムやその支援システム等（以下、診断支援システムと称する）に適用されてもよい。この診断支援システムは、デジタルパソロジー技術を利用して取得された画像に基づいて病変を診断又はその支援をするＷＳＩ（Whole Slide Imaging）システムであってもよい。

図１６は本開示に係る技術が適用される診断支援システム５５００の概略的な構成の一例を示す図である。図１６に示すように、診断支援システム５５００は、１以上の病理システム５５１０を含む。さらに医療情報システム５５３０と、導出装置５５４０とを含んでもよい。

１以上の病理システム５５１０それぞれは、主に病理医が使用するシステムであり、例えば研究所や病院に導入される。各病理システム５５１０は、互いに異なる病院に導入されてもよく、それぞれＷＡＮ（Wide Area Network）（インターネットを含む）やＬＡＮ（Local Area Network）や公衆回線網や移動体通信網などの種々のネットワークを介して医療情報システム５５３０及び導出装置５５４０に接続される。

各病理システム５５１０は、顕微鏡５５１１と、サーバ５５１２と、表示制御装置５５１３と、表示装置５５１４とを含む。

顕微鏡５５１１は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮像し、デジタル画像である病理画像を取得する。観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等であってよい。

サーバ５５１２は、顕微鏡５５１１によって取得された病理画像を図示しない記憶部に記憶、保存する。また、サーバ５５１２は、表示制御装置５５１３から閲覧要求を受け付けた場合に、図示しない記憶部から病理画像を検索し、検索された病理画像を表示制御装置５５１３に送る。

表示制御装置５５１３は、ユーザから受け付けた病理画像の閲覧要求をサーバ５５１２に送る。そして、表示制御装置５５１３は、サーバ５５１２から受け付けた病理画像を、液晶、ＥＬ（Electro‐Luminescence）、ＣＲＴ（35Cathode Ray Tube）などを用いた表示装置５５１４に表示させる。なお、表示装置５５１４は、４Ｋや８Ｋに対応していてもよく、また、１台に限られず、複数台であってもよい。

ここで、観察対象物が臓器の肉片等の固形物である場合、この観察対象物は、例えば、染色された薄切片であってよい。薄切片は、例えば、臓器等の検体から切出されたブロック片を薄切りすることで作製されてもよい。また、薄切りの際には、ブロック片がパラフィン等で固定されてもよい。

薄切片の染色には、ＨＥ（Hematoxylin-Eosin）染色などの組織の形態を示す一般染色や、ＩＨＣ（Immunohistochemistry）染色などの組織の免疫状態を示す免疫染色など、種々の染色が適用されてよい。その際、１つの薄切片が複数の異なる試薬を用いて染色されてもよいし、同じブロック片から連続して切り出された２以上の薄切片（隣接する薄切片ともいう）が互いに異なる試薬を用いて染色されてもよい。

顕微鏡５５１１は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを含み得る。低解像度撮像部と高解像度撮像部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡５５１１は、撮像対象に応じて解像度が変更されてもよい。

観察対象物が収容されたガラススライドは、顕微鏡５５１１の画角内に位置するステージ上に載置される。顕微鏡５５１１は、まず、低解像度撮像部を用いて画角内の全体画像を取得し、取得した全体画像から観察対象物の領域を特定する。続いて、顕微鏡５５１１は、観察対象物が存在する領域を所定サイズの複数の分割領域に分割し、各分割領域を高解像度撮像部により順次撮像することで、各分割領域の高解像度画像を取得する。対象とする分割領域の切替えでは、ステージを移動させてもよいし、撮像光学系を移動させてもよいし、それら両方を移動させてもよい。また、各分割領域は、ガラススライドの意図しない滑りによる撮像漏れ領域の発生等を防止するために、隣接する分割領域との間で重複していてもよい。さらに、全体画像には、全36体画像と患者とを対応付けておくための識別情報が含まれていてもよい。この識別情報は、例えば、文字列やＱＲコード（登録商標）等であってよい。

顕微鏡５５１１で取得された高解像度画像は、サーバ５５１２に入力される。サーバ５５１２は、各高解像度画像をより小さいサイズの部分画像（以下、タイル画像と称する）に分割する。例えば、サーバ５５１２は、１つの高解像度画像を縦横１０×１０個の計１００個のタイル画像に分割する。その際、隣接する分割領域が重複していれば、サーバ５５１２は、テンプレートマッチング等の技法を用いて互いに隣り合う高解像度画像にスティッチング処理を施してもよい。その場合、サーバ５５１２は、スティッチング処理により貼り合わされた高解像度画像全体を分割してタイル画像を生成してもよい。ただし、高解像度画像からのタイル画像の生成は、上記スティッチング処理の前であってもよい。

また、サーバ５５１２は、タイル画像をさらに分割することで、より小さいサイズのタイル画像を生成し得る。このようなタイル画像の生成は、最小単位として設定されたサイズのタイル画像が生成されるまで繰り返されてよい。

このように最小単位のタイル画像を生成すると、サーバ５５１２は、隣り合う所定数のタイル画像を合成することで１つのタイル画像を生成するタイル合成処理を、全てのタイル画像に対して実行する。このタイル合成処理は、最終的に１つのタイル画像が生成されるまで繰り返され得る。このような処理により、各階層が１つ以上のタイル画像で構成されたピラミッド構造のタイル画像群が生成される。このピラミッド構造では、ある層のタイル画像とこの層とは異なる層のタイル画像との画素数は同じであるが、その解像度が異なっている。例えば、２×２個の計４つのタイル画像を合成して上層の１つのタイル画像を生成する場合、上層のタイル画像の解像度は、合成に用いた下層のタイル画像の解像度の１／２倍となっている。

このようなピラミッド構造のタイル画像群を構築することによって、表示対象のタイル画像が属する階層次第で、表示装置に表示される観察対象物の37詳細度を切り替えることが可能となる。例えば、最下層のタイル画像が用いられる場合には、観察対象物の狭い領域を詳細に表示し、上層のタイル画像が用いられるほど観察対象物の広い領域が粗く表示されるようにすることができる。

生成されたピラミッド構造のタイル画像群は、例えば、各タイル画像を一意に識別可能な識別情報（タイル識別情報と称する）とともに、不図示の記憶部に記憶される。サーバ５５１２は、他の装置（例えば、表示制御装置５５１３や導出装置５５４０）からタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、タイル識別情報に対応するタイル画像を他の装置へ送信する。

なお、病理画像であるタイル画像は、焦点距離や染色条件等の撮像条件毎に生成されてもよい。撮像条件毎にタイル画像が生成される場合、特定の病理画像とともに、特定の撮像条件と異なる撮像条件に対応する他の病理画像であって、特定の病理画像と同一領域の他の病理画像を並べて表示してもよい。特定の撮像条件は、閲覧者によって指定されてもよい。また、閲覧者に複数の撮像条件が指定された場合には、各撮像条件に対応する同一領域の病理画像が並べて表示されてもよい。

また、サーバ５５１２は、ピラミッド構造のタイル画像群をサーバ５５１２以外の他の記憶装置、例えば、クラウドサーバ等に記憶してもよい。さらに、以上のようなタイル画像の生成処理の一部又は全部は、クラウドサーバ等で実行されてもよい。

表示制御装置５５１３は、ユーザからの入力操作に応じて、ピラミッド構造のタイル画像群から所望のタイル画像を抽出し、これを表示装置５５１４に出力する。このような処理により、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示制御装置５５１３は仮想顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。

なお、高解像度画像の撮像方法は、どの様な方法を用いてもよい。ステー38ジの停止、移動を繰り返しながら分割領域を撮像して高解像度画像を取得してもよいし、所定の速度でステージを移動しながら分割領域を撮像してストリップ上の高解像度画像を取得してもよい。また、高解像度画像からタイル画像を生成する処理は必須の構成ではなく、スティッチング処理により貼り合わされた高解像度画像全体の解像度を段階的に変化させることで、解像度が段階的に変化する画像を生成してもよい。この場合でも、広いエリア域の低解像度画像から狭いエリアの高解像度画像までを段階的にユーザに提示することが可能である。

医療情報システム５５３０は、いわゆる電子カルテシステムであり、患者を識別する情報、患者の疾患情報、診断に用いた検査情報や画像情報、診断結果、処方薬などの診断に関する情報を記憶する。例えば、ある患者の観察対象物を撮像することで得られる病理画像は、一旦、サーバ５５１２を介して保存された後、表示制御装置５５１３によって表示装置５５１４に表示され得る。病理システム５５１０を利用する病理医は、表示装置５５１４に表示された病理画像に基づいて病理診断を行う。病理医によって行われた病理診断結果は、医療情報システム５５３０に記憶される。

導出装置５５４０は、病理画像に対する解析を実行し得る。この解析には、機械学習によって作成された学習モデルを用いることができる。導出装置５５４０は、当該解析結果として、特定領域の分類結果や組織の識別結果等を導出してもよい。さらに、導出装置５５４０は、細胞情報、数、位置、輝度情報等の識別結果やそれらに対するスコアリング情報等を導出してもよい。導出装置５５４０によって導出されたこれらの情報は、診断支援情報として、病理システム５５１０の表示装置５５１４に表示されてもよい。

なお、導出装置５５４０は、１台以上のサーバ（クラウドサーバを含む）等で構成されたサーバシステムであってもよい。また、導出装置５５４０は、病理システム５５１０内の例えば表示制御装置５５１３又はサーバ５５１２に組み込まれた構成であってもよい。すなわち、病理画像に対する各種解析は、病理システム５５１０内で実行されてもよい。39

本開示に係る技術は、以上説明した構成のうち、例えば、顕微鏡５５１１に好適に適用され得る。具体的には、顕微鏡５５１１における低解像度撮像部及び／又は高解像度撮像部に本開示に係る技術を適用することができる。本開示に係る技術を低解像度撮像部及び／又は高解像度撮像部に適用することで、低解像度撮像部及び／又は高解像度撮像部の小型化、強いては、顕微鏡５５１１の小型化が可能となる。それにより、顕微鏡５５１１の運搬が容易となるため、システム導入やシステム組換え等を容易化することが可能となる。さらに、本開示に係る技術を低解像度撮像部及び／又は高解像度撮像部に適用することで、病理画像の取得から病理画像の解析までの処理の一部又は全部を顕微鏡５５１１内においてオンザフライで実行可能となるため、より迅速且つ的確な診断支援情報の出力も可能となる。

なお、上記で説明した構成は、診断支援システムに限らず、共焦点顕微鏡や蛍光顕微鏡、ビデオ顕微鏡等の生物顕微鏡全般にも適用され得る。ここで、観察対象物は、培養細胞や受精卵、精子等の生体試料、細胞シート、三次元細胞組織等の生体材料、ゼブラフィッシュやマウス等の生体であってもよい。また、観察対象物は、ガラススライドに限らず、ウェルプレートやシャーレ等に格納された状態で観察されることもできる。

さらに、顕微鏡を利用して取得した観察対象物の静止画像から動画像が生成されてもよい。例えば、所定期間連続的に撮像した静止画像から動画像を生成してもよいし、所定の間隔を空けて撮像した静止画像から画像シーケンスを生成してもよい。このように、静止画像から動画像を生成することで、がん細胞や神経細胞、心筋組織、精子等の拍動や伸長、遊走等の動きや培養細胞や受精卵の分裂過程など、観察対象物の動的な特徴を機械学習を用いて解析することが可能となる。

なお、本技術は以下のような構成を取ることができる。

（１）
複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、
前記撮像部が取得した前記アナログ画像信号をデジタル画像データに変換する、変換部と、
前記デジタル画像データに対するデータ処理を実行するデータ処理部であって、前記変換部が変換を実行しない期間と比較して、前記変換部が変換を実行する期間における前記データ処理の負荷を軽減する、データ処理部と、
を備える受光装置。

（２）
所定周波数のクロック信号を生成する、クロック生成部と、
前記クロック生成部から前記所定周波数のクロック信号を受信し、前記変換部が変換処理を実行していない期間において前記所定周波数のクロック信号を前記データ処理部へ出力し、前記変換部が変換処理を実行している期間において前記所定周波数よりも低い周波数へと制御したクロック信号を前記データ処理部へ出力する、クロック制御部と、
をさらに備え、
前記データ処理部は、前記クロック制御部が出力したクロック信号に基づいて、前記データ処理を実行する、
（１）に記載の受光装置。

（３）
前記撮像部が撮像するタイミングを制御する、撮像制御部と、
前記撮像制御部が制御するタイミングに基づいて、前記データ処理の負荷を軽減する期間を指定する、期間指定部と、
をさらに備える、
（２）に記載の受光装置。

（４）
前記クロック制御部は、前記期間指定部が指定した期間において、クロック信号を前記所定周波数よりも低い周波数へと制御する、
（３）に記載の受光装置。

（５）
前記撮像制御部は、撮像するタイミングにおいて、同期信号を前記期間指定部へと出力し、
前記期間指定部は、前記同期信号に基づいて前記クロック制御部がクロック信号を前記所定周波数よりも低く制御する期間を指定する、
（３）又は（４）に記載の受光装置。

（６）
前記撮像制御部は、撮像する画像の第１方向の撮像タイミングに対する同期信号である第１同期信号と、撮像する画像の前記第１方向と交差する方向である第２方向の撮像タイミングに対する同期信号である第２同期信号と、を前記期間指定部へと出力する、
（５）に記載の受光装置。

（７）
前記期間指定部は、前記第１同期信号を基準とした第１所定期間を、前記クロック制御部が前記所定周波数のクロック信号を出力する期間として指定し、
前記クロック制御部は、前記期間指定部の出力に基づいて、前記第１所定期間において、前記クロック生成部が生成した前記所定周波数のクロック信号を出力する、
（６）に記載の受光装置。

（８）
前記期間指定部は、前記第２同期信号を基準とした第２所定期間を、前記クロック制御部が前記所定周波数よりも低い周波数のクロック信号を出力する期間として指定し、
前記クロック制御部は、前記期間指定部の出力に基づいて、前記第２所定期間において、前記クロック生成部が生成したクロック信号を前記所定周波数よりも低い周波数のクロック信号へと制御して出力する、
（６）又は（７）に記載の受光装置。

（９）
前記クロック制御部は、前記変換部が変換を実行する期間において、クロック信号を出力しない制御を行う、
（２）から（８）のいずれかに記載の受光装置。

（１０）
前記データ処理部は、前記デジタル画像データの画像処理を前記クロック制御部が出力するクロック信号に基づいて実行する、画像処理部、
を備える（２）から（９）のいずれかに記載の受光装置。

（１１）
前記データ処理部は、訓練済のニューラルネットワークモデルによる処理を実行する、信号処理部、
を備える（１）から（１０）のいずれかに記載の受光装置。

（１２）
前記撮像部、前記変換部及び前記データ処理部は、同一の基板上に形成される、
（１）から（１１）のいずれかに記載の受光装置。

（１３）
前記撮像部が形成される、第１基板と、
前記第１基板に積層される、前記変換部及び前記データ処理部が形成される、第２基板と、
を備える（１）から（１１）のいずれかに記載の受光装置。

（１４）
前記第１基板と前記第２基板とは、CoC（Chip on Chip）方式、CoW（Chip on Wafer）方式、又は、WoW（Wafer on Wafer）方式のいずれかで貼り合わされる、
（１３）に記載の受光装置。

（１５）
撮像された画像データを出力する、受光装置と、
前記画像データに対して所定の信号処理を行う、プロセッサと、
を備え、
前記受光装置は、
複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、
前記撮像部が取得した前記アナログ画像信号をデジタル画像データに変換する、変換部と、
所定周波数のクロック信号を生成する、クロック生成部と、
前記クロック生成部から前記所定周波数のクロック信号を受信し、前記変換部が変換処理を実行していない期間において前記所定周波数のクロック信号を出力し、前記変換部が変換処理を実行している期間において前記所定周波数よりも低い周波数へと制御したクロック信号を出力する、クロック制御部と、
前記クロック制御部が出力するクロック信号に基づいて、前記デジタル画像データに対するデータ処理を実行する、データ処理部と、
を備え、
前記データ処理部の出力が前記プロセッサに入力される、
電子機器。

（１６）
前記データ処理部は、前記デジタル画像データの画像処理を前記クロック制御部が出力するクロック信号に基づいて実行する、画像処理部、
を備える（１５）に記載の電子機器。

（１７）
前記データ処理部は、訓練済のニューラルネットワークモデルによる処理を実行する、信号処理部、
を備える（１５）又は（１６）に記載の電子機器。

（１８）
（３）から（９）のいずれかの特徴を任意に備える、
（１５）から（１７）のいずれかに記載の電子機器。

（１９）
（１２）から（１４）のいずれかの構成である、
（１５）から（１８）のいずれかに記載の電子機器。

本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

また、上述の移動体、医療への適用の他、監視カメラ等、動きを検知して認識処理を受光装置１内で行う機器に対しても応用することが可能である。

１：受光装置、
１０：撮像部、
１００：画素アレイ、
１１：変換部、
１２：データ処理部、
１３：ISP、
１４：DSP、
１５：出力I/F制御部、
１６：撮像制御部、
１７：クロック生成部、
１８：クロック制御部、
１９：期間指定部、
２０：メモリ

Claims

複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、
前記撮像部が取得した前記アナログ画像信号をデジタル画像データに変換する、変換部と、
前記デジタル画像データに対するデータ処理を実行するデータ処理部であって、前記変換部が変換を実行しない期間と比較して、前記変換部が変換を実行する期間における前記データ処理の負荷を軽減する、データ処理部と、
を備える受光装置。
所定周波数のクロック信号を生成する、クロック生成部と、
前記クロック生成部から前記所定周波数のクロック信号を受信し、前記変換部が変換処理を実行していない期間において前記所定周波数のクロック信号を前記データ処理部へ出力し、前記変換部が変換処理を実行している期間において前記所定周波数よりも低い周波数へと制御したクロック信号を前記データ処理部の少なくとも一部へ出力する、クロック制御部と、
をさらに備え、
前記データ処理部は、前記クロック制御部が出力したクロック信号に基づいて、前記データ処理を実行する、
請求項１に記載の受光装置。
前記撮像部が撮像するタイミングを制御する、撮像制御部と、
前記撮像制御部が制御するタイミングに基づいて、前記データ処理の負荷を軽減する期間を指定する、期間指定部と、
をさらに備える、
請求項２に記載の受光装置。
前記クロック制御部は、前記期間指定部が指定した期間において、クロック信号を前記所定周波数よりも低い周波数へと制御する、
請求項３に記載の受光装置。
前記撮像制御部は、撮像するタイミングにおいて、同期信号を前記期間指定部へと出力し、
前記期間指定部は、前記同期信号に基づいて前記クロック制御部がクロック信号を前記所定周波数よりも低く制御する期間を指定する、
請求項３に記載の受光装置。
前記撮像制御部は、撮像する画像の第１方向の撮像タイミングに対する同期信号である第１同期信号と、撮像する画像の前記第１方向と交差する方向である第２方向の撮像タイミングに対する同期信号である第２同期信号と、を前記期間指定部へと出力する、
請求項５に記載の受光装置。
前記期間指定部は、前記第１同期信号を基準とした第１所定期間を、前記クロック制御部が前記所定周波数のクロック信号を出力する期間として指定し、
前記クロック制御部は、前記期間指定部の出力に基づいて、前記第１所定期間において、前記クロック生成部が生成した前記所定周波数のクロック信号を出力する、
請求項６に記載の受光装置。
前記期間指定部は、前記第２同期信号を基準とした第２所定期間を、前記クロック制御部が前記所定周波数よりも低い周波数のクロック信号を出力する期間として指定し、
前記クロック制御部は、前記期間指定部の出力に基づいて、前記第２所定期間において、前記クロック生成部が生成したクロック信号を前記所定周波数よりも低い周波数のクロック信号へと制御して出力する、
請求項６に記載の受光装置。
前記クロック制御部は、前記変換部が変換を実行する期間において、クロック信号を出力しない制御を行う、
請求項２に記載の受光装置。
前記データ処理部は、前記デジタル画像データの画像処理を前記クロック制御部が出力するクロック信号に基づいて実行する、画像処理部、
を備える請求項２に記載の受光装置。
前記データ処理部は、訓練済のニューラルネットワークモデルによる処理を実行する、信号処理部、
を備える請求項１に記載の受光装置。
前記撮像部、前記変換部及び前記データ処理部は、同一の基板上に形成される、
請求項１に記載の受光装置。
前記撮像部が形成される、第１基板と、
前記第１基板に積層される、前記変換部及び前記データ処理部が形成される、第２基板と、
を備える請求項１に記載の受光装置。
前記第１基板と前記第２基板とは、CoC（Chip on Chip）方式、CoW（Chip on Wafer）方式、又は、WoW（Wafer on Wafer）方式のいずれかで貼り合わされる、
請求項１３に記載の受光装置。
撮像された画像データを出力する、受光装置と、
前記画像データに対して所定の信号処理を行う、プロセッサと、
を備え、
前記受光装置は、
複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、
前記撮像部が取得した前記アナログ画像信号をデジタル画像データに変換する、変換部と、
所定周波数のクロック信号を生成する、クロック生成部と、
前記クロック生成部から前記所定周波数のクロック信号を受信し、前記変換部が変換処理を実行していない期間において前記所定周波数のクロック信号を出力し、前記変換部が変換処理を実行している期間において前記所定周波数よりも低い周波数へと制御したクロック信号を出力する、クロック制御部と、
前記クロック制御部が出力するクロック信号に基づいて、前記デジタル画像データに対するデータ処理を実行する、データ処理部と、
を備え、
前記データ処理部の出力が前記プロセッサに入力される、
電子機器。
前記データ処理部は、前記デジタル画像データの画像処理を前記クロック制御部が出力するクロック信号に基づいて実行する、画像処理部、
を備える請求項１５に記載の電子機器。
前記データ処理部は、訓練済のニューラルネットワークモデルによる処理を実行する、信号処理部、
を備える請求項１５に記載の電子機器。