JP2021068952A

JP2021068952A - 撮像装置及び電子機器

Info

Publication number: JP2021068952A
Application number: JP2019191414A
Authority: JP
Inventors: 山田　聡; Satoshi Yamada; 聡山田; 裕幸小沢; Hiroyuki Ozawa; 斉甲斐; Hitoshi Kai
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2019-10-18
Filing date: 2019-10-18
Publication date: 2021-04-30
Also published as: US20240080546A1; WO2021075352A1

Abstract

【課題】内蔵メモリを使用して信号処理を行う。【解決手段】撮像装置は、光電変換を行う複数の画素を有する、画素アレイ部と、前記画素アレイ部から出力されたアナログ画素信号をデジタル画像データに変換する、変換器と、前記デジタル画像データの画像処理を行う、画像処理部と、通電状態を選択的に指定できる複数の領域を有し、少なくとも、前記画像処理部の出力した前記デジタル画像データを記憶する、記憶部と、を備える。【選択図】図１

Description

本開示は、撮像装置及び電子機器に関する。

近年では、イメージセンサで撮像された画像データに対して種々の信号処理を高速に行うことが求められている。また、半導体プロセス技術の進展により、イメージセンサチップ、メモリチップ及び信号処理チップなどの複数のチップ同士をバンプで接続してパッケージングした半導体デバイスや、イメージセンサが配置されたダイと、メモリや信号処理回路等が配置されたダイとを積層してパッケージングした半導体デバイスが提案されている。

イメージセンサと信号処理回路とを内蔵する半導体デバイス（以下、撮像装置と呼ぶ）をスマートフォン等の電子機器に搭載する場合、撮像装置内の信号処理回路は、電子機器に搭載されているアプリケーションプロセッサの指示に従って各種の信号処理を行うことが多い。

国際公開ＷＯ２０１８／０５１８０９Ａ１

アプリケーションプロセッサは、撮像装置内の信号処理回路よりも、高度な信号処理を高速に行えるハードウェア性能を備えていることが多いため、撮像装置内の信号処理回路は、アプリケーションプロセッサの指示に従った信号処理を行うのが一般的である。例えば、DSP（Digital Signal Processor）を搭載したアプリケーションプロセッサに外付けされたDRAM（Dynamic Random Access Memory）を用いて認識処理等を実現していた。

しかしながら、DRAMの実装するための基板面積が必要であり、かつ、認識処理をする場合にアプリケーションプロセッサを動作させる必要があり、システム全体の消費電力が高く、また、外付けのDRAMは、ハッキングされるリスクが高いといった問題点もある。

そこで、本開示では、内蔵メモリを使用して信号処理を行うことができる撮像装置及び電子機器を提供するものである。

一実施形態によれば、撮像装置は、光電変換を行う複数の画素を有する、画素アレイ部と、画素アレイ部から出力されたアナログ画素信号をデジタル画像データに変換する、変換器と、デジタル画像データの画像処理を行う、画像処理部と、通電状態を選択的に指定できる複数の領域を有し、少なくとも、画像処理部の出力したデジタル画像データを記憶する、記憶部と、を備えてもよい。

画像処理部は、デジタル画像データの拡大、縮小、又は、切り出しの処理を実行してもよい。

画像処理部は、デジタル画像データの歪み補正処理を実行してもよい。このように、画像処理部は、様々な信号処理に適する画像データへと変換する処理を実行してもよい。

撮像装置は、記憶部の領域ごとの通電状態を切り替える、制御部、をさらに備えてもよい。

撮像装置は、記憶部に記憶されているデジタル画像データを回転したデータを取得する、画像回転部、をさらに備えてもよく、記憶部はさらに、画像回転部の出力したデジタル画像データを記憶してもよい。このように、画像データを回転することにより、前処理を行ってもよい。

画像回転部は、デジタル画像データを所定角度回転してもよい。例えば、９０度、１８０度、２７０度といった比較的コストの低い画像回転処理を実行してもよい。

撮像装置は、画素アレイ部の傾きを検出する、傾き検出部、をさらに備えてもよく、画像回転部は、傾き検出部の出力に基づいて回転角度を取得し、回転角度に基づいてデジタル画像データを回転してもよい。例えば、ジャイロセンサを備え、このジャイロセンサの出力に基づいて画像を回転させてもよい。

撮像装置は、記憶部に記憶されているデジタル画像データに対して、認識処理をする、画像認識部、をさらに備えてもよく、記憶部はさらに、画像認識部の出力データを記憶してもよい。このように、記憶部の消費電力を抑えたまま自動的に認識処理を行ってもよい。

画像認識部は、あらかじめ訓練された重みパラメータにより形成されるニューラルネットワークモデルに基づいて、デジタル画像データの認識処理をしてもよい。このように、認識処理は、訓練済のニューラルネットワークモデルに基づいて実行されてもよい。

記憶部はさらに、重みパラメータを記憶してもよい。このように、ニューラルネットワークを形成するためのパラメータを、記憶部が記憶していてもよい。

記憶部は、重みパラメータを記憶する、少なくとも１つの領域を備えてもよい。

画像認識部における認識処理に基づいて、重みパラメータを訓練する、訓練部、をさらに備えてもよい。このように、認識精度を向上すべく、訓練をしてもよい。

制御部は、複数の領域のうち、処理の対象となるデジタル画像データが記憶されている領域、及び、処理後のデータを記憶する領域、を参照可能に制御してもよい。このように、制御部により、アクセスする領域を選択的に通電させてもよい。

撮像装置は、画像処理部が処理したデータにおいて、画素アレイ部が取得したアナログ画素信号における動きを検知する、検知部をさらに備えてもよい。このように、撮像装置が撮像する範囲における動き検出を、例えば、差分回路等により行ってもよい。

検知部はさらに、顔画像認識を行ってもよい。

画素アレイ部を有する、第１基板と、第１基板に積層され、変換器、画像処理部及び記憶部、を有する、第２基板と、を備えてもよい。このように、上記の撮像装置は、２層型の基板を備える積層型受光センサであってもよい。

第１基板と第２基板とは、CoC（Chip on Chip）方式、CoW（Chip on Wafer）方式、又は、WoW（Wafer on Wafer）方式のいずれかで貼り合わされてもよい。このように、第１基板と第２基板は、適切な方法であれば、どのような方法で積層されていてもよい。

また、一実施形態によれば、電子機器は、撮像された画像データを出力する撮像装置と、画像データに対して所定の信号処理を行うプロセッサと、を備え、撮像装置は、光電変換を行う複数の画素を有する、画素アレイ部と、画素アレイ部から出力されたアナログ画素信号をデジタル画像データに変換する、変換器と、デジタル画像データの画像処理を行う、画像処理部と、通電状態を選択的に指定できる複数の領域を有し、少なくとも、画像処理部の出力したデジタル画像データを記憶する、記憶部と、画像処理部が処理したデータにおいて、画素アレイ部が取得したアナログ画素信号における動きを検知する、検知部と、を備えてもよく、プロセッサは、検知部が動きを検知した場合に、記憶部において、いずれの領域の通電状態を切り替えるかを撮像装置に通知してもよい。

電子機器は、上述の撮像装置の各構成要素を任意で備えていてもよい。このように、必要に応じて適切な処理を実行することができる。

一実施形態に係る撮像装置を備えた電子機器の概略を示すブロック図。一実施形態に係る記憶部の概略を示す図。一実施形態に係る処理の流れを示すフローチャート。一実施形態に係るデジタル画像データの遷移例を示す図。一実施形態に係るデジタル画像データの遷移例を示す図。一実施形態に係る撮像装置を備えた電子機器の概略を示すブロック図。一実施形態に係るデジタル画像データの遷移例を示す図。一実施形態に係るデジタル画像データの遷移例を示す図。一実施形態に係る撮像装置の実装例を示す図。一実施形態に係る第１基板のレイアウト例を示す図。一実施形態に係る第２基板のレイアウト例を示す図。一実施形態に係る第２基板のレイアウト例を示す図。一実施形態に係る第２基板のレイアウト例を示す図。一実施形態に係る第２基板のレイアウト例を示す図。本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。撮像部の設置位置の例を示す図。本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図。図１７に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図。本開示に係る技術が適用される診断支援システムの概略的な構成の一例を示す図。

以下、図面を参照して、撮像装置及び電子機器の実施形態について説明する。以下では、撮像装置及び電子機器の主要な構成部分を中心に説明するが、撮像装置及び電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

（第１実施形態）
図１は一実施形態による撮像装置１を備えた電子機器２の概略構成を示すブロック図である。電子機器２は、撮像装置１と、アプリケーションプロセッサ（以下、AP：Application Processor）２０と、を備えている。電子機器２は、撮像機能を備えたスマートフォン、携帯電話、タブレット、ＰＣ、デジタルカメラなどであり、その具体的な機器は問わない。

撮像装置１は、１つの半導体デバイスで実現可能であり、この半導体デバイスをイメージセンサ又は固体撮像装置と呼ぶこともある。撮像装置１は、CMOSイメージセンサ（以下、CIS）１０と、制御部（以下、CPU：Central Processing Unit）１１と、画像処理部（以下、ISP：Image Signal Processor）１２と、検出部１３と、回転部１４と、デジタル信号処理部（DSP：Digital Signal Processor）１５と、記憶部１６と、セレクタ（以下、SEL：Selector）１７と、を備えている。

CIS１０は、撮像部と、アナログデジタル変換器（以下、ADC：Analog Digital Converter）１０４と、を有するイメージセンサである。撮像部は、光学系１００と画素アレイ部１０２とを有する。光学系１００は、例えばズームレンズ、単焦点レンズ、絞り等を有する。光学系１００は、入射された光を画素アレイ部１０２に導く。画素アレイ部１０２は、二次元方向に配置された複数の画素を有する。各画素は、ＲＧＢ等の複数色用の複数の単位画素で構成されている。各単位画素は、フォトダイオード等の受光素子を有する。受光素子は、入射された光を光電変換して、アナログ画素信号を出力する。撮像部に入射された光は、光学系１００を介して、複数の受光素子が配列された受光面に結像される。各受光素子は、入射された光の強度に応じた電荷を蓄積して、蓄積電荷量に応じたアナログ画素信号を出力する。

ADC１０４は、画素アレイ部１０２から出力されたアナログ画素信号をデジタル画素データに変換する。ADC１０４でＡ／Ｄ変換を行うため、ADC１０４よりも後段側のISP１２、検出部１３、回転部１４、DSP１５、記憶部１６及びSEL１７は、デジタル画素データを扱うことになる。なお、ADC１０４の内部、あるいはADC１０４とは別個に、撮像装置１に供給される電源電圧等から撮像部を駆動するための駆動電圧を生成する電圧生成回路を設けてもよい。このADC１０４からの出力をCIS１０の出力とする。

CPU１１は、AP２０等からの指示により、記憶部１６の通電状態を含む、撮像装置１内の各部を制御する。CPU１１は、後述するDSP１５と統合してもよい。

ISP１２は、デジタル画素データに対して種々の画像処理を行う。ISP１２は、CIS１０から出力されたデジタル画素データに対して信号処理を行ってもよいし、CIS１０から出力されて記憶部１６に記憶されたデジタル画素データに対して画像処理を行ってもよい。ISP１２は、外部からの指示に応じた画像処理を行う。ISP１２が行う具体的な信号処理の内容については後述する。

検出部１３は、CIS１０から出力されたデジタル画像データにおいて、動きがあるか否かを検出する。すなわち、光学系１００を介して画素アレイ部１０２により取得された画素データにおいて差分が生じた場合に、動きがあったことを検出し、検出信号を、例えば、CPU１１へと出力する。この検出信号は、CPU１１及びSEL１７を介してAP２０へと出力されてもよい。また、図１においては、ISP１２と接続されているが、CIS１０と接続され、差分回路等により動きを検知してもよい。検出部１３は、動き検知の他、人間の顔が撮影されているかを検知してもよい。この場合、人間がCIS１０の撮像範囲内に入ると、DSP１５による処理及びその前処理が開始されてもよい。顔認識は、DSP１５で実行する認識処理と比較して精度が低く、処理のコストが低いものであってもよい。

回転部１４は、記憶部１６に記憶されているデジタル画像データ、すなわち、ISP１２により画像処理されたデジタル画像データを、任意の角度又は所定角度だけ回転させる。回転部１４は、回転したデジタル画像データを記憶部１６に再度格納してもよい。

DSP１５は、ISP１２で信号処理されたデータに基づいて、所定の認識処理及び検出処理の少なくとも一方を行う情報処理部の機能を有する。DSP１５は、ISP１２が処理したデータ、又は、さらに回転部１４が回転処理を実行したデータについて、認識処理等を行う。

DSP１５は、例えば、記憶部１６に記憶されたプログラムを実行することで、機械学習された計算モデルを用いた演算処理を行う。記憶部１６には、学習済の計算モデルに関する種々の情報が予め記憶されており、DSP１５は、記憶部１６から計算モデルに関する必要な情報を読み出して、ISP１２の出力データを計算モデルに入力して、演算処理を行う。機械学習された計算モデルの具体的な形式は問わないが、例えば、ディープニューラルネットワーク（以下、DNN）による計算モデルである。この計算モデルは、CIS１０の出力データ又はISP１２の出力データを入力とし、この入力に対するラベルが紐付いている学習データを学習済の計算モデルに入力して生成されたパラメータに基づいて設計することができる。また、DNNは、複数階層のニューラルネットワークで構成されてもよい。

DSP１５は、DNNを用いた演算処理により、例えば、所定の認識処理を行うことができる。ここで、認識処理とは、ISP１２の出力データである画像データに、特徴のある画像情報が含まれるか否かを自動で認識する処理である。より具体的には、認識処理は、機械学習により生成されたパラメータにより形成された計算モデルに入力データを与えて演算される処理であり、入力データは、ISP１２の出力データである。

DSP１５は、記憶部１６に記憶されている学習済の計算モデルに基づいて演算処理を実行する過程で、記憶部１６に記憶されている辞書係数と画像データとの積和演算を行う。DSP１５による演算結果は、記憶部１６に記憶されるとともに、SEL１７に入力される。DSP１５による計算モデルを用いた演算処理の結果は、画像データや、画像データから得られる各種情報（メタデータ）でありうる。DSP１５、又は、上述したCPU１１は、記憶部１６に対する書き込み及び読み出しを制御するメモリコントローラの機能を有してもよいし、DSP１５やCPU１１とは別個に、メモリコントローラを設けてもよい。また、DSP１５は、動き検出処理や顔検出処理などの検出処理を行ってもよい。検出処理は、DSP１５の代わりにISP１２で行ってもよい。あるいは、ISP１２とDSP１５が協働して検出処理を行ってもよい。

記憶部１６は、CIS１０から出力されたデジタル画素データ、DSP１５が実行するプログラム、DSP１５が演算処理に利用する学習済の計算モデルに関する各種情報等を記憶する。また、記憶部１６は、DSP１５の演算処理結果のデータを記憶してもよい。記憶部１６は、読み書きが可能なRAM（Random Access Memory）である。記憶部１６内の計算モデルに関する情報を入れ替えることで、DSP１５は、様々な機械学習の計算モデルを実行することができ、汎用性が高くて適用範囲の広い認識処理や検出処理を行うことができる。なお、DSP１５が、特定用途の計算モデルによる演算処理を行う場合には、記憶部１６は、その一部としてROM（Read Only Memory）を備えていてもよい。記憶部１６のより詳細な構成については、後述する。

SEL１７は、CPU１１からの選択制御信号に基づいて、ISP１２の出力データ、又は、DSP１５の出力データを選択して出力する。SEL１７の出力データは、例えばAP２０に入力される。

AP２０は、撮像装置１とは別個の半導体デバイスであり、撮像装置１と同一又は別のベース基板に実装される。AP２０は、その内部に撮像装置１のCPU１１とは別のCPUを有し、オペレーティングシステムや各種のアプリケーションソフトウェア等のプログラムを実行する。AP２０は、撮像装置１のDSP１５とは別のDSPを備えており、種々の信号処理を行う。AP２０内のDSPは、撮像装置１内のISP１２又はDSP１５よりも高度な信号処理を高速に行うことができる。

この他、AP２０は、GPU（Graphics Processing Unit）やベースバンドプロセッサなどの画像処理や信号処理等を行う機能を搭載していてもよい。AP２０は、撮像装置１からの画像データや演算結果に対して、必要に応じて種々の処理を実行してもよいし、電子機器２の表示部に画像を表示する制御を行ってもよいし、処理結果のデータを所定のネットワークを介して外部のクラウドサーバに送信してもよい。

なお、所定のネットワークは、例えば、インターネット、有線LAN（Local Area Network）、無線LAN、移動体通信網、Bluetooth（登録商標）等の近接無線通信などの種々の通信ネットワークを適用可能である。また、画像データや演算結果の送信先は、クラウドサーバに限定されず、スタンドアローン型のサーバや、ファイルサーバ、携帯電話機等の通信端末など、通信機能を有する種々の情報処理装置であってもよい。

図１では、AP２０が撮像装置１内のISP１２に対して指示を送る例を示している。以下では、AP２０がISP１２に対して指示を送る例を説明するが、実際にはAP２０以外のプロセッサがISP１２に対して指示を送る場合も含めて解釈されるものとする。

（記憶部１６）
図２は、一実施形態に係る記憶部１６の一形態を示す図である。記憶部１６は、例えば、SRAM（Static RAM）を記憶領域１６０として備え、記憶領域１６０に属する領域ごとに通電状態を切り替えることができるメモリである。CPU１１は、記憶部１６の記憶領域１６０において、領域ごとに通電状態を切り替える。この通電状態の切り替えにより、記憶部１６は、領域ごとに格納されているデータへのアクセスが可能となる。

例えば、記憶領域１６０は、図２に示すように、小領域１６１、１６２、１６３、１６４、１６５、１６６、を備える。記憶領域１６０は、大規模なSRAMにおける記憶領域であってもよく、この大領域の中に、小領域１６１、１６２、１６３、１６４、１６５、１６６を有する小規模なSRAMに分割される構成であってもよい。CPU１１は、これらの小領域１６１、１６２、１６３、１６４、１６５、１６６を有するSRAMを任意のタイミングで制御することができる。図に示すように、それぞれの小領域に対してCPU１１は、電源のオン／オフを切り替えることが可能な構成としてもよい。

それぞれの小領域は、領域ごとに記憶するデータ量が異なるものであってもよい。例えば、小領域１６１は、他の領域と比較して大きな記憶領域を有している。このような小領域の中において大きな容量を有する小領域には、例えば、画像の生データ等が記憶されてもよいし、ISP１２により処理されたデジタル画像データが記憶されてもよい。このように、格納されるデータに基づいて、使用する小領域を選択してもよい。

一例として、小領域１６１には、ISP１２により処理されたデジタル画像データが記憶される。ISP１２が出力をするタイミングで、CPU１１は、記憶領域１６０のうち小領域１６１を通電状態とし、小領域１６１にアクセス可能な状態とする。ISP１２は、処理したデジタル画像データを小領域１６１へと格納する。

なお、以下の説明において、小領域にアクセス可能である／アクセス可能でない、とは、CPU１１が小領域の電源をオンにすることをアクセス可能である、とし、CPU１１が小領域の電源をオフにすることをアクセス可能でない、とする。

回転部１４は、例えば、小領域１６１に記憶されているデータを回転させる。このタイミングでは、CPU１１は、例えば、小領域１６１を通電状態とし、回転部１４は、小領域１６１からデータを読み出し、回転処理したデジタル画像データを小領域１６１へと格納する。

DSP１５は、例えば、回転部１４が回転したデータに対して認識処理を実行する。認識処理を実行するためのパラメータが小領域１６６に格納されている場合、CPU１１は、小領域１６６の通電状態を制御し、小領域１６６へのアクセスが可能な状態にする。DSP１５は、小領域１６６にアクセスし、訓練済のパラメータを用いてニューラルネットワークモデルを形成する。DSP１５がニューラルネットワークモデルを形成した後、CPU１１は、小領域１６６の通電状態を切り替え、アクセスが可能ではない状態としてもよい。

CPU１１は、DSP１５がデジタル画像データを取得するタイミングにおいて、小領域１６１の通電状態をアクセスが可能となるように制御する。DSP１５は、アクセスが可能となった小領域１６１からデジタル画像データを取得して、認識処理を実行する。CPU１１は、DSP１５の小領域１６１へのアクセスが終了したタイミングで、小領域１６１の通電状態を切り替えてもよい。

認識処理を格納する領域が小領域１６２である場合、CPU１１は、小領域１６２の通電状態をアクセスが可能となるように制御する。DSP１５は、小領域１６２へと認識結果を記憶させ、この認識結果を、SEL１７を介してAP２０へと通知してもよい。別の例として、DPS１５が小領域１６２に認識結果を格納した後、CPU１１がこの認識結果を、SEL１７を介してAP２０へと通知してもよい。

撮像装置１から出力されるデータは、認識結果に限られず、他のデータであってもよい。例えば、AP２０からの要求により、画像の生データを記憶部１６から出力してもよい。別の例として、認識に用いた入力画像を記憶部１６から出力してもよい。出力されるデータが格納されている小領域をCPU１１が制御してアクセス可能とすることにより、適切なデータを出力することができる。また、AP２０に記憶部１６のメモリコントローラ（制御部）を備えていてもよく、この場合AP２０から記憶部１６のそれぞれの小領域の通電状態を制御して、取得したいデータを出力してもよい。

なお、図２においては、それぞれの小領域は、重なる領域が無いものとしたが、これには限られず、少なくとも２の小領域が重なる範囲の領域を共有していてもよい。CPU１１（制御部）は、内部に、記憶部１６の小領域の通電状態を切り替えるメモリコントローラを個別に備えていてもよい。別の形態として、撮像装置１は、CPU１１とは別に、記憶部１６の小領域の通電状態を制御するメモリコントローラ（制御部）を備えていてもよい。また、記憶領域１６０を形成するメモリとしてSRAMを挙げたが、これには限られず、MRAM、DRAM等、他の不揮発性又は揮発性メモリであってもよい。メモリは、撮像装置１を形成する、又は、備えられる半導体基板の面積、消費電力、反応速度等が適するものであればよい。

このように、記憶部１６に備えられる記憶領域１６０において、必要となる領域に対して、アクセスが可能となるように通電状態を制御する。一例として、検出部１３が動きを検知したことをフラグとして撮像装置１が動作する場合について説明する。

図３は、一実施形態に係る処理の流れを示すフローチャートである。

まず、撮像装置１は、CIS１０を低消費電力モード等により電力消費を押させた状態で待機させておく。

差分回路等を備える検出部１３により、CIS１０により取得されている情報において、差分が生じたことを検出する待機状態とする（S100）。動きを検知しない場合（S100：NO）、S100の待機状態を持続する。

動きを検知した場合（S100：YES）、ISP１２は、CIS１０が取得した画像に必要な画像処理を施す（S102）。例えば、CIS１０の光学系１００は、一般的に歪みを生じさせるため、この歪みを補正するデワープ処理をしてもよい。また、ニューラルネットワークモデルを用いて認識処理を行う場合、当該ニューラルネットワークモデルの入力層、すなわち、入力する画像サイズに合わせて画像を縮小、拡大又は切り出しする処理を行ってもよい。切り出しは、差分回路において差分を検出した領域を含むように実行してもよい。縮小、拡大を実行する手法は、例えば、線形補間、バイリニア補間、バイキュービック補間、ランチョス法、等、種々の手法を用いることができ、これらに限定されるものではない。

このように、ISP１２は、その後の処理に必要となる前処理を実行する。例えば、ISP１２が画像処理を行う場合、CIS１０は、バッファとして記憶部１６を用いてもよいし、CIS１０の出力を記憶部１６に格納してもよい。CPU１１は、必要に応じて、適切に小領域の通電状態を制御する。ISP１２の出力するデジタル画像データを格納する場合には、当該格納に必要となる小領域の通電状態を制御する。例えば、初期状態においては、図２の例であれば、容量の大きな小領域１６１にアクセス可能な状態とし、他の小領域はアクセスできないように通電状態を制御してもよい。

また、ISP１２は、例えば、ユーザが所定サイズの認識前のデジタル画像データを取得したいと設定等している場合には、当該サイズに縮小等した画像を記憶部１６に記憶させるようにしてもよい。このように、認識処理に用いない画像をISP１２から出力してもよい。また、ROI（Region of Interest）を設定しておき、ISP１２は、取得したデジタル画像データからROIを含む領域を切り出すようにしてもよい。また、現在よりも前のタイミングで取得された検知結果に基づいて、ISP１２は、画像の切り出しを継続して行ってもよい。例えば、直前のフレームで検知した範囲と、この範囲の周辺を含むような切り出しを実行してもよい。これら場合においても、CPU１１による記憶部１６の小領域の制御は、同様に行われてもよい。

次に、画像において回転が必要であるか否かを判断する（S104）。例えば、撮像装置１のCIS１０の鉛直方向に対する傾きが取得できている場合、当該傾きに対する補正が必要であれば、回転が必要であると判断する。一方で、傾きが取得できていない場合又は傾きが０度である場合には、回転が不要であると判断する。なお、この処理は、必須の処理では無く、DSP１５は、回転処理を行わずにISP１２が出力したデジタル画像データに対して実行してもよい。

回転が必要であると判断すると（S104：YES）、回転部１４によりデジタル画像データの回転処理が実行される（S106）。この場合も同様に、CPU１１は、必要となる小領域のアクセスが可能な状態とし、それ以外の小領域をアクセス可能ではない状態と制御してもよい。

例えば、撮像装置１が固定された状態で設置されている場合、CIS１０の取得したデータの回転は、一意的に決定することもできる。このような場合は、回転処理の要／不要を当該固定された状態に基づいて判断し、回転処理が必要である場合には、固定された角度に基づいて回転処理を行ってもよい。

例えば、デジタルカメラ等、人の手に持つものである場合、多くの場合は、０度か９０度の回転であると考えてもよく、このような場合には、０度、すなわち回転しないか、９０度の回転が必要であると、判断してもよい。この場合、±９０度の２通りの回転が必要であると判断してもよい。または、シャッタスイッチの設置位置に基づいて、９０度又は−９０度のいずれかの回転だけが必要であると判断してもよい。このように、この分岐は、設定により自由に変えることが可能である。

回転が不要であると判断した場合（S104：NO）、又は、回転処理が終わった後に、DSP１５は、認識処理を実行する（S108）。認識処理は、ISP１２により対象となるデジタル画像データが認識処理を実行するのに適したサイズへと変更して実行される。

上述したように、訓練済のパラメータが記憶部１６の一部に格納されている場合、CPU１１は、このタイミングでパラメータが格納されている小領域をアクセス可能としてもよい。認識処理後においても、必要となる小領域においてアクセス可能とし、他の領域においてアクセス可能でないように制御してもよい。

例えば、DSP１５の処理が行われるまでは、ISP１２が画像処理したデータに対して同じサイズのデータの読み出し、書き込みが行われるため、この読み出し、書き込み処理に必要な小領域だけをアクセス可能な通電状態とし、それ以外の小領域をオフにしておいてもよい。DSP１５の処理を行うタイミングにおいて、必要な小領域をオンにしてもよい。

また、DSP１５による認識処理が、複数のニューラルネットワークモデルにより実行されてもよい。例えば、周囲の明るさに応じて、認識処理を行うニューラルネットワークモデルを切り替えてもよい。このような場合、利用するニューラルネットワークモデルの入力層に対応して、IDP１２において縮小等行うサイズを変更してもよい。

また、２以上のニューラルネットワークモデルのそれぞれに異なるサイズのデジタル画像データを並行して入力してもよい。このような場合、ISP１２は、それぞれのニューラルネットワークモデルの入力層に対応するように、画像のサイズを変更したものを記憶部１６にそれぞれ格納してもよい。

S108の処理の後は、S100に戻るようにしてもよいし、必要なデータをAP２０へと出力する処理を行ってもよい。

図４は、一実施形態に係るデジタル画像データの遷移する様子の一例を示す図である。

CIS１０で取得された画像は、例えば、一番左の画像のように、歪みを有している。歪みは、このような樽型の場合だけではなく、糸巻き型の場合でも適用することが可能である。また、画像処理で処理可能なその他の収差をもって撮影されたものであってもよい。図中の破線で表している矩形は、画像処理した後の画像領域である。

ISP１２は、まず、このような画像の歪み補正を行う。ISP１２は、一般的な手法を用いて歪み補正を行う。例えば、CIS１０の光学系等の情報は、事前に取得することができるので、撮影パラメータ似合わせた歪み補正パラメータにより、歪み補正を行う。歪み補正を行った図が、左から２番目の図である。歪み補正を行うことにより、例えば、1920×1080ピクセルといった大きさの画像へと変換される。なお、画素数は、一例として挙げるものであり、本開示を限定するものではない。

次に、ISP１２は、画像の切り出し及び縮小により、例えば、画像サイズを256×256ピクセルの画像へと変換する。このサイズは、DSP１５において形成されるニューラルネットワークモデルの入力画像に基づいた大きさである。サイズは、例えば、より小さくても、より大きくてもよい。サイズに応じて、精度が変化するニューラルネットワークモデルを複数準備しておいてもよい。この場合、使用するニューラルネットワークモデルに基づいてISP１２は、１又は複数解サイズ変更を実行し、サイズが変更された１又は複数の画像を取得する。ニューラルネットワークモデルは、あらかじめ設定されていてもよいし、CIS１０の取得した情報に基づき、又は、AP２０からの指示に基づいて、選択されるものであってもよい。

次に、DSP１５は、サイズが調整された画像をニューラルネットワークモデルに入力し、識別結果を出力し、記憶部１６のCPU１１により制御された領域へと出力する。格納されたデータは、例えば、SEL１７を介してAP２０へと出力され、別途AP２０へと出力されていたISP１２が処理した後の画像と合成されてもよい。図４の例であれば、人物のいる位置を撮像装置１において識別し、識別前の画像と合成してAP２０が出力してもよい。

図５は、図４に加えてデジタル画像データの回転を実行する場合の図である。CIS１０のデジタル画像データの取得及びISP１２による歪み補正とサイズ調整の処理は、図４と同様である。

回転部１４は、サイズ調整が終わった後のデジタル画像データを回転させる。図５の例においては、左に９０度回転させる。このように、IPS１２が処理した画像を、回転部１４が回転し、認識しやすい角度のデジタル画像データを作成してもよい。

上記においては、回転処理は、必要な場合に実行するとした。さらに、歪み補正は、実行するものとしたが、これには限られない。例えば、歪みが余り生じない光学系である場合、歪みが生じない範囲で認識をしたい場合には、必須ではない。サイズ調整についても同様であり、切り出し、縮小又は拡大とうのサイズに関する処理は、必要に応じて実行されるものであればよい。

以上のように、本実施形態によれば、複数の領域を有し、それぞれの領域の電源のオン／オフをすることができるメモリと、画像処理部と、信号処理部と、を備える撮像装置を提供することが可能となる。メモリは、様々な処理において、処理に必要となる領域の電源をオンにし、それ以外の電源をオフにすることができる。このように制御することにより、撮像装置の電力の消費を抑制することが可能となる。

また、例えば、監視カメラ等に用いる場合、検出部による動き検知から、人物認識等の処理までを撮像装置内で実行することが可能となり、外部のデバイスの消費電力をも抑えることができる。さらに、必要な処理を選択して認識処理まで行うことができ、必要な場合には、認識結果を出力することもできる。このことから、外部との通信を最小限に抑えることも可能となり、かつ、必要な場合には、遅延無くデータを出力することが可能となる。また、このように必要なデータを撮像装置内で取得することが可能なため、必要なデータを選択して出力することができ、外部へ出力するデータ量を削減することもできる。

また、例えば、記憶部１６の記憶領域１６０内における小領域は、各種の情報処理に対してオンとなる必要がある小領域が設定されていてもよい。このように、小領域に機能ごとについての分担、又は、各構成要素からアクセスされる分担を決めておくことにより、メモリの冗長使用を抑制し、例えば、撮像装置１のチップにおいて、メモリが用いるチップの面積を削減することも可能となる。

（第２実施形態）
撮像装置１は、前述の実施形態の構成要素に加え、傾き検出部を備え、傾き検出部の検出したCIS１０の傾きにより、回転角を調整するものである。

図６は、一実施形態に係る撮像装置１を備えた電子機器２の概略構成を示すブロック図である。この図に示すように、撮像装置１は、傾き検出部１８をさらに備える。傾き検出部１８は、例えば、CIS１０の傾きを検知し、CPU１１へとその傾きの角度を出力する。出力先は、CPU１１出なくともよく、例えば、回転部１４に出力してもよい。傾き検出部１８は、例えば、ジャイロセンサを備えるが、傾きの検知は、ジャイロセンサ以外の方法で実現されてもよい。

CIS１０が撮像したデータをISP１２が画像処理するまでは同じ動作を実行する。回転部１４は、ISP１２が処理したデジタル画像データを、傾き検出部１８が検出した角度に基づいて回転させる。回転部１４は、傾き検出部１８が検出した角度に基づいて、例えば、アフィン変換のパラメータを算出してもよい。別の例として、あらかじめ記憶部１６の小領域のいずれかに、代表的な角度の回転の変換テーブルを生成しておき、傾き検出部１８が検出した角度と近い角度のテーブルに基づいて、画像の回転をさせてもよい。この場合、テーブルが格納されている小領域について、CPU１１が制御を行い、データを読み出してもよい。テーブルデータの読み出し後に、CPU１１により当該小領域にアクセス可能ではない状態にしてもよい。

任意の角度でパラメータを算出して回転を実行する場合、画素間の補間の方法は、特に限定されるものではなく、線形補間、バイリニア補間、バイキュービック補間等、種々の手法を使用することが可能である。

図７は、本実施形態において、任意の角度を回転する場合のデジタル画像データの遷移例を示す図である。例えば、傾き検出部１８は、地面に対して撮像装置１がどの程度傾いているかを検知する。この検知結果に基づき、回転の角度を設定する。図５と同様に、歪み補正、サイズ調整をISP１２において実行した後、傾き検出部１８において検知された角度に基づいて、回転部１４が回転を実行する。この後の流れは、前述の実施形態と同様である。

最終的には、AP２０において、適切に合成された画像を取得することが可能となる。

図８は、AP２０における画像の別の合成例を示すものである。ISP１２において歪み補正、サイズ調整され、回転部１４において回転して検出が行われた後、この図８に示すように処理されてもよい。すなわち、検出結果を傾き検出部１８の検知した角度に基づいて適切にアフィン変換（又は一次変換）し、歪み補正を行った後のデジタル画像データと合成をしてもよい。AP２０における画像の合成は、検出結果及び回転角度に基づいて適切に処理されればよく、図５、図７、図８の例に限定されるものではない。

以上のように、本実施形態によれば、ジャイロセンサ等を備える傾き検出部１８により、CIS１０、特に、画素アレイ部１０２の鉛直方向からの傾きを検出し、当該検出した傾きに基づいて、回転部１４がデジタル画像データを回転する角度を取得することができる。このように、傾き検出部１８を備えることにより、よりロバストな認識を撮像装置１に閉じた条件で実行することが可能となる。

なお、傾き検出部１８は、撮像装置１内に備えられるものとしたが、これには限られず、撮像装置１の外部に備えられてもよい。

前述の各実施形態においては、撮像装置１は、出力だけをするものであったが、DSP１５の出力した結果のフィードバックをAP２０から受けてもよい。例えば、図４、図５に示されるような合成図を出力した後に、AP２０においてユーザによる識別結果の修正を受け付けてもよい。この修正結果に基づいて、AP２０からフィードバックを受け、DSP１５におけるニューラルネットワークモデルのパラメータの更新を実行してもよい。また、AP２０において新たなデータに基づいて訓練をし、AP２０から更新されたパラメータを受信してもよい。受信する場合にも、記憶部１６の必要となる小領域、すなわち、パラメータが格納されている小領域をオンにし、制御を行ってもよい。このようにすることで、DSP１５における認識の精度をさらに向上させることが可能となる。

（撮像装置１のチップ構造）
次に、図１の撮像装置１のチップ構造について説明する。図９は図１の撮像装置１のチップ構造の一例を示す図である。図９の撮像装置１は、第１基板３０と第２基板３１を積層した積層体である。第１基板３０と第２基板３１は、ダイと呼ばれることもある。図９の例では、第１基板３０と第２基板３１が矩形状の例を示しているが、第１基板３０と第２基板３１の具体的な形状とサイズは任意である。また、第１基板３０と第２基板３１は同じサイズでもよいし、互いに異なるサイズでもよい。

第１基板３０には、図１に示した画素アレイ部１０２が配置されている。また、第１基板３０には、撮像部１０の光学系１００の少なくとも一部がオンチップで実装されてもよい。

第２基板３１には、図１に示したADC１０４と、CPU１１と、ISP１２と、検出部１３と、回転部１４と、DSP１５と、記憶部１６と、SEL１７と、が配置されている。この他、第２基板３１には、不図示の入力／出力インタフェース部や電源回路等が配置されてもよい。

貼合せの具体的形態として、第１基板３０と第２基板３１を例えばウエハから切り出して個片化した後に、上下に重ねて貼り合わされる、いわゆるCoC（Chip on Chip）方式を採用してもよい。あるいは、第１基板３０と第２基板３１の一方（例えば第１基板３０）をウエハから切り出して個片化した後、個片化された第１基板３０を個片化前の第２基板３１に貼り合わせる、いわゆるCoW（Chip on Wafer）方式を採用してもよい。あるいは、第１基板３０と第２基板３１をウエハの状態で貼り合わせる、いわゆるWoW（Wafer on Wafer）方式を採用してもよい。

第１基板３０と第２基板３１の接合方法には、例えばプラズマ接合等を用いることができる。ただし、それ以外の種々の接合方法を用いてもよい。

図１０及び図１１は第１基板３０及び第２基板３１のレイアウトの一例を示す図である。図１０は、画素アレイ部１０２が配置される第１基板３０のレイアウト例を示している。図１０の例では、画素アレイ部１０２は、第１基板３０の４つの辺Ｌ３０１〜Ｌ３０４のうち、１つの辺Ｌ３０１側に片寄って配置されている。言い換えれば、画素アレイ部１０２は、その中心部Ｏ３０１が第１基板３０の中心部Ｏ３００よりも辺Ｌ３０１側に寄って配置されている。なお、第１基板３０における画素アレイ部１０２が設けられた面が長方形である場合、辺Ｌ３０１は、例えば、第１基板３０の短い方の辺であってもよい。ただし、これに限定されず、長い方の辺に、画素アレイ部１０２が片寄って配置されてもよい。

画素アレイ部１０２の４つの辺のうちの辺Ｌ３０１に近接する領域、言い換えれば、辺Ｌ３０１と画素アレイ部１０２との間の領域には、画素アレイ部１０２中の各単位画素３０１ａを第２基板３１に配置されたADC１０４に電気的に接続させるための配線として、第１基板３０を貫通する複数の貫通配線（Through Silicon Via：以下、ＴＳＶという）が配列するTSVアレイ３０２が設けられている。このように、TSVアレイ３０２を画素アレイ部１０２が近接する辺Ｌ３０１に近接させることで、第２基板３１において、ADC１０４等の配置スペースを確保し易くなる。

なお、TSVアレイ３０２は、辺Ｌ３０１と交わる２つの辺Ｌ３０３及びＬ３０４のうち一方の辺Ｌ３０４（ただし、辺Ｌ３０３であってもよい）に近接する領域、言い換えれば、辺Ｌ３０４（又は、辺Ｌ３０３）と画素アレイ部１０２との間の領域にも設けられていてよい。

第１基板３０の４つの辺Ｌ３０１〜Ｌ３０４のうち、画素アレイ部１０２が片寄って配置されていない辺Ｌ３０２〜Ｌ３０３それぞれには、直線状に配列された複数のパッドを有するパッドアレイ３０３が設けられている。パッドアレイ３０３は、例えば、画素アレイ部１０２やADC１０４などのアナログ回路用の電源電圧が印加されるパッド（電源ピンともいう）を含んでいてもよい。また、パッドアレイ３０３は、CPU１１、ISP１２、検出部１３、回転部１４、DSP１５、記憶部１６、SEL１７等のデジタル回路用の電源電圧が印加されるパッド（電源ピンともいう）を含んでいてもよい。あるいは、パッドアレイ３０３は、ＭＩＰＩ（Mobile Industry Processor Interface）、ＳＰＩ（Serial Peripheral Interface）などのインタフェース用のパッド（信号ピンともいう）を含んでいてもよい。あるいは、パッドアレイ３０３は、クロックやデータの入出力のためのパッド（信号ピンともいう）を含んでいてもよい。各パッドは、例えば、外部の電源回路やインタフェース回路とワイヤを介して電気的に接続される。各パッドアレイ３０３とTSVアレイ３０２とは、パッドアレイ３０３中の各パッドに接続されたワイヤからの信号の反射の影響を無視できる程度に十分に離れていることが好ましい。

図１１は、ADC１０４と、CPU１１と、ISP１２と、検出部１３と、回転部１４と、DSP１５と、記憶部１６と、が配置される第２基板３１のレイアウト例を示している。第２基板３１には、ADC１０４と、CPU１１と、ISP１２と、検出部１３と、回転部１４と、DSP１５と、記憶部１６とが配置されている。図１１のレイアウト例では、ADC１０４がADC部１０４ａとDAC部（Digital to Analog Converter）１０４ｂとの２つの領域に分かれている。DAC１０４ｂは、ADC部１０４ａにＡＤ変換用の参照電圧を供給する回路であり、広い意味でADC１０４の一部に含まれる。また、図１１には図示されていないが、SEL１７も第２基板３１に配置されている。

また、第２基板３１には、第１基板３０を貫通するTSVアレイ３０２中の各TSV（以下、単にTSVアレイ３０２とする）と接触することで電気的に接続される配線３２２が設けられている。さらに、第２基板３１には、第１基板３０のパッドアレイ３０３における各パッドと電気的に接続される複数のパッドが直線状に配列されたパッドアレイ３２３が設けられている。

TSVアレイ３０２と配線３２２との接続には、例えば、第１基板３０に設けられたＴＳＶと第１基板３０から第２基板３１にかけて設けられたＴＳＶとの２つのＴＳＶをチップ外表で接続する、いわゆるツインTSV方式が採用されてもよい。あるいは、第１基板３０から第２基板３１にかけて設けられた共通のTSVで接続する、いわゆるシェアードTSV方式が採用されてもよい。ただし、これらに限定されず、例えば、第１基板３０の接合面と第２基板３１の接合面とにそれぞれ露出させた銅（Cu）同士を接合する、いわゆるCu−Cuボンディング方式など、種々の接続形態が採用可能である。

第１基板３０のパッドアレイ３０３における各パッドと、第２基板３１のパッドアレイ３２３における各パッドとの接続形態は、例えば、ワイヤボンディングである。ただし、これに限定されず、スルーホールやキャスタレーション等の接続形態であってもよい。

第２基板３１のレイアウト例では、例えば、TSVアレイ３０２と接続される配線３２２の近傍を上流側とし、画素アレイ部１０２から読み出された信号の流れに沿って、上流から順に、ADC部１０４ａと、ISP１２と、回転部１４と、DSP１５とが配置されている。すなわち、画素アレイ部１０２から読み出された画素信号が最初に入力されるADC部１０４ａが最も上流側である配線３２２の近傍に配置され、次いで、ISP１２、回転部１４が配置され、配線３２２から最も遠い領域にDSP１５が配置されている。また、検出部１３は、例えば、ADC部１０４ａ又はISP１２が出力する情報を取得しやすいように、ADC部１０４ａ又はISP１２に隣接して配置されてもよい。このように、ADC１０４からDSP１５までを信号の流れに沿って上流側から配置したレイアウトとすることで、各部を接続する配線を短縮することができる。それにより、信号遅延の低減、信号の伝搬損失の低減、S/N比の向上、消費電力の削減などを図ることができる。

また、CPU１１は、例えば、上流側である配線３２２の近傍に配置されている。図１１では、ADC１０４とISP１２との接するようにCPU１１が配置されている。このようなレイアウトを採用することで、CPU１１が画素アレイ部１０２を制御する際の信号遅延の低減、信号の伝搬損失の低減、S/N比の向上、消費電力の低減などを図れる。また、アナログ回路用の信号ピンや電源ピンをアナログ回路の近傍（例えば、図１１中の下側）にまとめて配置し、残りのデジタル回路用の信号ピンや電源ピンをデジタル回路の近傍（例えば、図１１中の上側）にまとめて配置し、又は、アナログ回路用の電源ピンとデジタル回路用の電源ピンとを十分に離して配置することもできる。

また、図１１に示すレイアウトでは、DSP１５が最も下流側であるADC部１０４ａとは反対側に配置されている。このようなレイアウトを採用することで、言い換えれば、第１基板３０と第２基板３１との積層方向（以下、単に上下方向という）において、画素アレイ部１０２と重畳しない領域に、DSP１５を配置することができる。

このように、上下方向において破線で示す領域にある画素アレイ部１０２とDSP１５とが重畳しない構成とすることで、DSP１５が信号処理を実行することで発生したノイズが画素アレイ部１０２に入り込むことを低減することができる。その結果、DSP１５を学習済みモデルに基づいた演算を実行する処理部として動作させた場合でも、画素アレイ部１０２へのDSP１５の信号処理に起因したノイズの入り込みを低減することができるため、品質の劣化が低減された画像を取得することができる。

記憶部１６は、ISP１２、回転部１４及びDSP１５の近傍に配置されている。記憶部１６には、デジタル画像データ及び学習済の計算モデルに関する各種情報が記憶されている。回転部１４は、必要に応じてISP１２が出力し、記憶部１６の所定領域に格納したデジタル画像データを読み出し、回転させ、記憶部１６の同一又は異なる所定領域に格納する。

DSP１５は、記憶部１６から計算モデルに関する情報及びISP１２又は回転部１４が出力したデジタル画像データを読み出し、計算モデルを用いて演算処理を行い、演算処理の結果を記憶部１６に記憶する。また、DSP１５は、記憶部１６に演算結果を格納すること無く、SEL１７を介して外部へと演算結果を出力してもよい。

このように、回転部１４、DSP１５の近傍に記憶部１６を配置することで、記憶部１６にアクセスする際の信号伝搬時間を短縮でき、回転部１４、DSP１５は記憶部１６に高速でアクセスすることができる。

パッドアレイ３２３は、例えば、第１基板３０のパッドアレイ３０３と上下方向において対応する第２基板３１上の位置に配置される。ここで、パッドアレイ３２３に含まれるパッドのうち、ADC部１０４ａの近傍に位置するパッドは、アナログ回路（主にADC部１０４ａ）用の電源電圧やアナログ信号の伝搬に使用される。一方、CPU１１、ISP１２、検出部１３、回転部１４、DSP１５、記憶部１６の近傍に位置するパッドは、デジタル回路（主に、CPU１１、ISP１２、検出部１３、回転部１４、DSP１５、記憶部１６）用の電源電圧やデジタル信号の伝搬に使用される。このようなパッドレイアウトとすることで、各パッドと各部とを接続する配線上の距離を短くすることができる。それにより、信号遅延の低減、信号や電源電圧の伝搬損失の低減、S/N比の向上、消費電力の低減などを実現できる。

このように、本実施形態では、例えば、検出部１３が動きを検知した結果に基づいて撮像装置１内のISP１２が情報検出信号に基づいて信号処理を行うことができるようにしたため、AP２０がISP１２に指示を与えない場合においても、ISP１２は撮像装置１にとって最適な信号処理を行うことができる。より具体的には、撮像装置１内で、ISP１２の出力データに基づいて認識処理や検出処理、また、認識処理に必要なデジタル画像データ処理などの情報処理を行う場合には、認識処理などの情報処理を行うために最適な入力データとなるように、ISP１２にて信号処理を行うことができる。これにより、撮像装置１の内部で信頼性の高い認識処理や検出処理などの情報処理を行うことができ、単に撮像を行うだけでない認識処理や検出処理などの情報処理も行えるインテリジェントな撮像装置１が得られる。

いくつかの配置例について説明する。以下に挙げる例においても、図１１と同様の効果を奏することが可能であるとともに、個々においてそれぞれ別の効果を奏する。

図１２は、第２基板３１の別の配置例を示す図である。図１２に示すように、CPU１１、特に、CPU１１のうち記憶部１６の通電状態を切り替えるメモリコントローラ部は、記憶部１６と接するように配置されてもよい。

図１３は、第２基板３１のさらに別の配置例を示す図である。図１３に示すように、CPU１１、特に、CPU１１のうち記憶部１６の通電状態を切り替えるメモリコントローラ部は、図１２と比較して記憶部１６とより広い領域において接するように配置されてもよい。このように配置することにより、記憶部１６の各領域の通電状態をより高速に切り替えることが可能となる。

図１４は、第２基板３１のあらに別の配置例を示す図である。図１４に示すように、CPU１１は、ISP１２、回転部１４、DSP１５、記憶部１６と接するように配置されてもよい。この場合、ISP１２、回転部１４、DSP１５の制御の高速化を図るとともに、記憶部１６の各領域の通電状態を高速に切り替えることも可能となる。

図１１から図１４の例は、いくつかの例として挙げたものであり、第２基板３１における各部の配置は、これらに限られるものではない。すなわち、CPU１１は、記憶部１６の通電状態を高速、又は、精度よく切り替えるとともに、他の各部の制御が高速に行えるべく適切に配置されればよい。

（他のセンサへの適用）
なお、上述した第１及び第２の実施形態では、２次元画像を取得する撮像装置（イメージセンサ）１に対して本開示に係る技術を適用した場合を例示したが、本開示に係る技術の適用先は撮像装置に限定されるものではない。例えば、ＴｏＦ（Time of Flight）センサや赤外線（ＩＲ）センサやＤＶＳ（Dynamic Vision Sensor）等、種々の受光センサに対して本開示に係る技術を適用することが可能である。すなわち、受光センサのチップ構造を積層型とすることで、センサ結果に含まれるノイズの低減やセンサチップの小型化等を達成することが可能である。

（移動体への応用例）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１５は本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム１２０００の概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、図１５に示した例では、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３を備える。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付けて、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１６は撮像部１２０３１の設置位置の例を示す図である。図１６では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が一点鎖線で示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。撮像部１２０３１等に本開示に係る技術を適用することにより、撮像部１２０３１等を小型化することが可能となるため、車両１２１００のインテリアやエクステリアの設計が容易となる。また、撮像部１２０３１等に本開示に係る技術を適用することにより、ノイズの低減されたクリアな画像を取得することが可能となるため、より見やすい撮影画像をドライバに提供することができる。それにより、ドライバの疲労を軽減することが可能になる。

（内視鏡手術システムへの応用例）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

図１７は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

図１７では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。

内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。

ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。

入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。

処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

図１８は図１７に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。

カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。

レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。

撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。

また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。

駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。

通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。

また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。

カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。

通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。

また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。

画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。

制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。

また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。

カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。

以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、カメラヘッド１１１０２の撮像部１１４０２等に適用され得る。カメラヘッド１１１０２に本開示に係る技術を適用することにより、カメラヘッド１１１０２等を小型化することが可能となるため、内視鏡手術システム１１０００をコンパクト化が可能となる。また、カメラヘッド１１１０２等に本開示に係る技術を適用することにより、ノイズの低減されたクリアな画像を取得することが可能となるため、より見やすい撮影画像を術者に提供することができる。それにより、術者の疲労を軽減することが可能になる。

なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。

（ＷＳＩ（Whole Slide Imaging）システムへの応用例）
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、医師等が患者から採取された細胞や組織を観察して病変を診断する病理診断システムやその支援システム等（以下、診断支援システムと称する）に適用されてもよい。この診断支援システムは、デジタルパソロジー技術を利用して取得された画像に基づいて病変を診断又はその支援をするＷＳＩ（Whole Slide Imaging）システムであってもよい。

図１９は本開示に係る技術が適用される診断支援システム５５００の概略的な構成の一例を示す図である。図１９に示すように、診断支援システム５５００は、１以上の病理システム５５１０を含む。さらに医療情報システム５５３０と、導出装置５５４０とを含んでもよい。

１以上の病理システム５５１０それぞれは、主に病理医が使用するシステムであり、例えば研究所や病院に導入される。各病理システム５５１０は、互いに異なる病院に導入されてもよく、それぞれＷＡＮ（Wide Area Network）（インターネットを含む）やＬＡＮ（Local Area Network）や公衆回線網や移動体通信網などの種々のネットワークを介して医療情報システム５５３０及び導出装置５５４０に接続される。

各病理システム５５１０は、顕微鏡５５１１と、サーバ５５１２と、表示制御装置５５１３と、表示装置５５１４とを含む。

顕微鏡５５１１は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮像し、デジタル画像である病理画像を取得する。観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等であってよい。

サーバ５５１２は、顕微鏡５５１１によって取得された病理画像を図示しない記憶部に記憶、保存する。また、サーバ５５１２は、表示制御装置５５１３から閲覧要求を受け付けた場合に、図示しない記憶部から病理画像を検索し、検索された病理画像を表示制御装置５５１３に送る。

表示制御装置５５１３は、ユーザから受け付けた病理画像の閲覧要求をサーバ５５１２に送る。そして、表示制御装置５５１３は、サーバ５５１２から受け付けた病理画像を、液晶、ＥＬ（Electro‐Luminescence）、ＣＲＴ（35Cathode Ray Tube）などを用いた表示装置５５１４に表示させる。なお、表示装置５５１４は、４Ｋや８Ｋに対応していてもよく、また、１台に限られず、複数台であってもよい。

ここで、観察対象物が臓器の肉片等の固形物である場合、この観察対象物は、例えば、染色された薄切片であってよい。薄切片は、例えば、臓器等の検体から切出されたブロック片を薄切りすることで作製されてもよい。また、薄切りの際には、ブロック片がパラフィン等で固定されてもよい。

薄切片の染色には、ＨＥ（Hematoxylin-Eosin）染色などの組織の形態を示す一般染色や、ＩＨＣ（Immunohistochemistry）染色などの組織の免疫状態を示す免疫染色など、種々の染色が適用されてよい。その際、１つの薄切片が複数の異なる試薬を用いて染色されてもよいし、同じブロック片から連続して切り出された２以上の薄切片（隣接する薄切片ともいう）が互いに異なる試薬を用いて染色されてもよい。

顕微鏡５５１１は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを含み得る。低解像度撮像部と高解像度撮像部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡５５１１は、撮像対象に応じて解像度が変更されてもよい。

観察対象物が収容されたガラススライドは、顕微鏡５５１１の画角内に位置するステージ上に載置される。顕微鏡５５１１は、まず、低解像度撮像部を用いて画角内の全体画像を取得し、取得した全体画像から観察対象物の領域を特定する。続いて、顕微鏡５５１１は、観察対象物が存在する領域を所定サイズの複数の分割領域に分割し、各分割領域を高解像度撮像部により順次撮像することで、各分割領域の高解像度画像を取得する。対象とする分割領域の切替えでは、ステージを移動させてもよいし、撮像光学系を移動させてもよいし、それら両方を移動させてもよい。また、各分割領域は、ガラススライドの意図しない滑りによる撮像漏れ領域の発生等を防止するために、隣接する分割領域との間で重複していてもよい。さらに、全体画像には、全36体画像と患者とを対応付けておくための識別情報が含まれていてもよい。この識別情報は、例えば、文字列やＱＲコード（登録商標）等であってよい。

顕微鏡５５１１で取得された高解像度画像は、サーバ５５１２に入力される。サーバ５５１２は、各高解像度画像をより小さいサイズの部分画像（以下、タイル画像と称する）に分割する。例えば、サーバ５５１２は、１つの高解像度画像を縦横１０×１０個の計１００個のタイル画像に分割する。その際、隣接する分割領域が重複していれば、サーバ５５１２は、テンプレートマッチング等の技法を用いて互いに隣り合う高解像度画像にスティッチング処理を施してもよい。その場合、サーバ５５１２は、スティッチング処理により貼り合わされた高解像度画像全体を分割してタイル画像を生成してもよい。ただし、高解像度画像からのタイル画像の生成は、上記スティッチング処理の前であってもよい。

また、サーバ５５１２は、タイル画像をさらに分割することで、より小さいサイズのタイル画像を生成し得る。このようなタイル画像の生成は、最小単位として設定されたサイズのタイル画像が生成されるまで繰り返されてよい。

このように最小単位のタイル画像を生成すると、サーバ５５１２は、隣り合う所定数のタイル画像を合成することで１つのタイル画像を生成するタイル合成処理を、全てのタイル画像に対して実行する。このタイル合成処理は、最終的に１つのタイル画像が生成されるまで繰り返され得る。このような処理により、各階層が１つ以上のタイル画像で構成されたピラミッド構造のタイル画像群が生成される。このピラミッド構造では、ある層のタイル画像とこの層とは異なる層のタイル画像との画素数は同じであるが、その解像度が異なっている。例えば、２×２個の計４つのタイル画像を合成して上層の１つのタイル画像を生成する場合、上層のタイル画像の解像度は、合成に用いた下層のタイル画像の解像度の１／２倍となっている。

このようなピラミッド構造のタイル画像群を構築することによって、表示対象のタイル画像が属する階層次第で、表示装置に表示される観察対象物の37詳細度を切り替えることが可能となる。例えば、最下層のタイル画像が用いられる場合には、観察対象物の狭い領域を詳細に表示し、上層のタイル画像が用いられるほど観察対象物の広い領域が粗く表示されるようにすることができる。

生成されたピラミッド構造のタイル画像群は、例えば、各タイル画像を一意に識別可能な識別情報（タイル識別情報と称する）とともに、不図示の記憶部に記憶される。サーバ５５１２は、他の装置（例えば、表示制御装置５５１３や導出装置５５４０）からタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、タイル識別情報に対応するタイル画像を他の装置へ送信する。

なお、病理画像であるタイル画像は、焦点距離や染色条件等の撮像条件毎に生成されてもよい。撮像条件毎にタイル画像が生成される場合、特定の病理画像とともに、特定の撮像条件と異なる撮像条件に対応する他の病理画像であって、特定の病理画像と同一領域の他の病理画像を並べて表示してもよい。特定の撮像条件は、閲覧者によって指定されてもよい。また、閲覧者に複数の撮像条件が指定された場合には、各撮像条件に対応する同一領域の病理画像が並べて表示されてもよい。

また、サーバ５５１２は、ピラミッド構造のタイル画像群をサーバ５５１２以外の他の記憶装置、例えば、クラウドサーバ等に記憶してもよい。さらに、以上のようなタイル画像の生成処理の一部又は全部は、クラウドサーバ等で実行されてもよい。

表示制御装置５５１３は、ユーザからの入力操作に応じて、ピラミッド構造のタイル画像群から所望のタイル画像を抽出し、これを表示装置５５１４に出力する。このような処理により、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示制御装置５５１３は仮想顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。

なお、高解像度画像の撮像方法は、どの様な方法を用いてもよい。ステー38ジの停止、移動を繰り返しながら分割領域を撮像して高解像度画像を取得してもよいし、所定の速度でステージを移動しながら分割領域を撮像してストリップ上の高解像度画像を取得してもよい。また、高解像度画像からタイル画像を生成する処理は必須の構成ではなく、スティッチング処理により貼り合わされた高解像度画像全体の解像度を段階的に変化させることで、解像度が段階的に変化する画像を生成してもよい。この場合でも、広いエリア域の低解像度画像から狭いエリアの高解像度画像までを段階的にユーザに提示することが可能である。

医療情報システム５５３０は、いわゆる電子カルテシステムであり、患者を識別する情報、患者の疾患情報、診断に用いた検査情報や画像情報、診断結果、処方薬などの診断に関する情報を記憶する。例えば、ある患者の観察対象物を撮像することで得られる病理画像は、一旦、サーバ５５１２を介して保存された後、表示制御装置５５１３によって表示装置５５１４に表示され得る。病理システム５５１０を利用する病理医は、表示装置５５１４に表示された病理画像に基づいて病理診断を行う。病理医によって行われた病理診断結果は、医療情報システム５５３０に記憶される。

導出装置５５４０は、病理画像に対する解析を実行し得る。この解析には、機械学習によって作成された学習モデルを用いることができる。導出装置５５４０は、当該解析結果として、特定領域の分類結果や組織の識別結果等を導出してもよい。さらに、導出装置５５４０は、細胞情報、数、位置、輝度情報等の識別結果やそれらに対するスコアリング情報等を導出してもよい。導出装置５５４０によって導出されたこれらの情報は、診断支援情報として、病理システム５５１０の表示装置５５１４に表示されてもよい。

なお、導出装置５５４０は、１台以上のサーバ（クラウドサーバを含む）等で構成されたサーバシステムであってもよい。また、導出装置５５４０は、病理システム５５１０内の例えば表示制御装置５５１３又はサーバ５５１２に組み込まれた構成であってもよい。すなわち、病理画像に対する各種解析は、病理システム５５１０内で実行されてもよい。39

本開示に係る技術は、以上説明した構成のうち、例えば、顕微鏡５５１１に好適に適用され得る。具体的には、顕微鏡５５１１における低解像度撮像部及び／又は高解像度撮像部に本開示に係る技術を適用することができる。本開示に係る技術を低解像度撮像部及び／又は高解像度撮像部に適用することで、低解像度撮像部及び／又は高解像度撮像部の小型化、強いては、顕微鏡５５１１の小型化が可能となる。それにより、顕微鏡５５１１の運搬が容易となるため、システム導入やシステム組換え等を容易化することが可能となる。さらに、本開示に係る技術を低解像度撮像部及び／又は高解像度撮像部に適用することで、病理画像の取得から病理画像の解析までの処理の一部又は全部を顕微鏡５５１１内においてオンザフライで実行可能となるため、より迅速且つ的確な診断支援情報の出力も可能となる。

なお、上記で説明した構成は、診断支援システムに限らず、共焦点顕微鏡や蛍光顕微鏡、ビデオ顕微鏡等の生物顕微鏡全般にも適用され得る。ここで、観察対象物は、培養細胞や受精卵、精子等の生体試料、細胞シート、三次元細胞組織等の生体材料、ゼブラフィッシュやマウス等の生体であってもよい。また、観察対象物は、ガラススライドに限らず、ウェルプレートやシャーレ等に格納された状態で観察されることもできる。

さらに、顕微鏡を利用して取得した観察対象物の静止画像から動画像が生成されてもよい。例えば、所定期間連続的に撮像した静止画像から動画像を生成してもよいし、所定の間隔を空けて撮像した静止画像から画像シーケンスを生成してもよい。このように、静止画像から動画像を生成することで、がん細胞や神経細胞、心筋組織、精子等の拍動や伸長、遊走等の動きや培養細胞や受精卵の分裂過程など、観察対象物の動的な特徴を機械学習を用いて解析することが可能となる。

前述した実施形態は、以下のような形態としてもよい。

（１）
光電変換を行う複数の画素を有する、画素アレイ部と、
前記画素アレイ部から出力されたアナログ画素信号をデジタル画像データに変換する、変換器と、
前記デジタル画像データの画像処理を行う、画像処理部と、
通電状態を選択的に指定できる複数の領域を有し、少なくとも、前記画像処理部の出力した前記デジタル画像データを記憶する、記憶部と、
を備える、撮像装置。

（２）
前記画像処理部は、前記デジタル画像データの拡大、縮小、又は、切り出しの処理を実行する、
（１）に記載の撮像装置。

（３）
前記画像処理部は、前記デジタル画像データの歪み補正処理を実行する、
（１）又は（２）に記載の撮像装置。

（４）
前記記憶部の前記領域ごとの前記通電状態を切り替える、制御部、
をさらに備える、（１）から（３）のいずれかに記載の撮像装置。

（５）
前記記憶部に記憶されている前記デジタル画像データを回転したデータを取得する、画像回転部、
をさらに備え、
前記記憶部はさらに、前記画像回転部の出力した前記デジタル画像データを記憶する、
（４）に記載の撮像装置。

（６）
前記画像回転部は、前記デジタル画像データを所定角度回転する、
（５）に記載の撮像装置。

（７）
前記画素アレイ部の傾きを検出する、傾き検出部、
をさらに備え、
前記画像回転部は、前記傾き検出部の出力に基づいて回転角度を取得し、前記回転角度に基づいて前記デジタル画像データを回転する、
（５）又は（６）に記載の撮像装置。

（８）
前記記憶部に記憶されている前記デジタル画像データに対して、認識処理をする、画像認識部、
をさらに備え、
前記記憶部はさらに、前記画像認識部の出力データを記憶する、
（５）から（７）のいずれかに記載の撮像装置。

（９）
前記画像認識部は、あらかじめ訓練された重みパラメータにより形成されるニューラルネットワークモデルに基づいて、前記デジタル画像データの認識処理をする、
（８）に記載の撮像装置。

（１０）
前記記憶部はさらに、前記重みパラメータを記憶する、
（９）に記載の撮像装置。

（１１）
前記記憶部は、前記重みパラメータを記憶する、少なくとも１つの前記領域を備える、
（１０）に記載の撮像装置。

（１２）
前記画像認識部における前記認識処理に基づいて、前記重みパラメータを訓練する、訓練部、
をさらに備える、
（９）から（１１）のいずれかに記載の撮像装置。

（１３）
前記制御部は、複数の前記領域のうち、処理の対象となる前記デジタル画像データが記憶されている領域、及び、処理後のデータを記憶する領域、を参照可能に制御する、
（６）から（１２）のいずれかに記載の撮像装置。

（１４）
前記画像処理部が処理したデータにおいて、前記画素アレイ部が取得した前記アナログ画素信号における動きを検知する、検知部、
をさらに備える、（４）から（１３）のいずれかに記載の撮像装置。

（１５）
前記検知部はさらに、顔画像認識を行う、
（１４）に記載の撮像装置。

（１６）
前記画素アレイ部を有する、第１基板と、
前記第１基板に積層され、前記変換器、前記画像処理部及び前記記憶部、を有する、第２基板と、
を備える、（１）から（１５）のいずれかに記載の撮像装置。

（１７）
前記第１基板と前記第２基板とは、CoC（Chip on Chip）方式、CoW（Chip on Wafer）方式、又は、WoW（Wafer on Wafer）方式のいずれかで貼り合わされる、
（１６）に記載の撮像装置。

（１８）
撮像された画像データを出力する撮像装置と、
前記画像データに対して所定の信号処理を行うプロセッサと、を備え、
前記撮像装置は、
光電変換を行う複数の画素を有する、画素アレイ部と、
前記画素アレイ部から出力されたアナログ画素信号をデジタル画像データに変換する、変換器と、
前記デジタル画像データの画像処理を行う、画像処理部と、
通電状態を選択的に指定できる複数の領域を有し、少なくとも、前記画像処理部の出力した前記デジタル画像データを記憶する、記憶部と、
前記画像処理部が処理したデータにおいて、前記画素アレイ部が取得した前記アナログ画素信号における動きを検知する、検知部と、
を備え、
前記プロセッサは、前記検知部が動きを検知した場合に、前記記憶部において、いずれの前記領域の前記通電状態を切り替えるかを前記撮像装置に通知する、
電子機器。

（１９）
（２）〜（１７）に記載の各構成要素を任意で備える、
（１８）に記載の電子機器。

本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

また、上述の移動体、医療への適用の他、監視カメラ等、動きを検知して認識処理を撮像装置１内で行う機器に対しても応用することが可能である。

１：撮像装置、
１０：CIS、
１００：光学系、
１０２：画素アレイ部、
１０４：ADC、
１１：CPU、
１２：ISP、
１３：検出部、
１４：回転部、
１５：DSP、
１６：記憶部、
１７：SEL、
１８：傾き検出部、
２：電子機器、
２０：AP、
３０：第１基板、
３１：第２基板

Claims

光電変換を行う複数の画素を有する、画素アレイ部と、
前記画素アレイ部から出力されたアナログ画素信号をデジタル画像データに変換する、変換器と、
前記デジタル画像データの画像処理を行う、画像処理部と、
通電状態を選択的に指定できる複数の領域を有し、少なくとも、前記画像処理部の出力した前記デジタル画像データを記憶する、記憶部と、
を備える、撮像装置。
前記画像処理部は、前記デジタル画像データの拡大、縮小、又は、切り出しの処理を実行する、
請求項１に記載の撮像装置。
前記画像処理部は、前記デジタル画像データの歪み補正処理を実行する、
請求項１に記載の撮像装置。
前記記憶部の前記領域ごとの前記通電状態を切り替える、制御部、
をさらに備える、請求項１に記載の撮像装置。
前記記憶部に記憶されている前記デジタル画像データを回転したデータを取得する、画像回転部、
をさらに備え、
前記記憶部はさらに、前記画像回転部の出力した前記デジタル画像データを記憶する、
請求項４に記載の撮像装置。
前記画像回転部は、前記デジタル画像データを所定角度回転する、
請求項５に記載の撮像装置。
前記画素アレイ部の傾きを検出する、傾き検出部、
をさらに備え、
前記画像回転部は、前記傾き検出部の出力に基づいて回転角度を取得し、前記回転角度に基づいて前記デジタル画像データを回転する、
請求項５に記載の撮像装置。
前記記憶部に記憶されている前記デジタル画像データに対して、認識処理をする、画像認識部、
をさらに備え、
前記記憶部はさらに、前記画像認識部の出力データを記憶する、
請求項５に記載の撮像装置。
前記画像認識部は、あらかじめ訓練された重みパラメータにより形成されるニューラルネットワークモデルに基づいて、前記デジタル画像データの認識処理をする、
請求項８に記載の撮像装置。
前記記憶部はさらに、前記重みパラメータを記憶する、
請求項９に記載の撮像装置。
前記記憶部は、前記重みパラメータを記憶する、少なくとも１つの前記領域を備える、
請求項１０に記載の撮像装置。
前記画像認識部における前記認識処理に基づいて、前記重みパラメータを訓練する、訓練部、
をさらに備える、
請求項９に記載の撮像装置。
前記制御部は、複数の前記領域のうち、処理の対象となる前記デジタル画像データが記憶されている領域、及び、処理後のデータを記憶する領域、を参照可能に制御する、
請求項６に記載の撮像装置。
前記画像処理部が処理したデータにおいて、前記画素アレイ部が取得した前記アナログ画素信号における動きを検知する、検知部、
をさらに備える、請求項４に記載の撮像装置。
前記検知部はさらに、顔画像認識を行う、
請求項１４に記載の撮像装置。
前記画素アレイ部を有する、第１基板と、
前記第１基板に積層され、前記変換器、前記画像処理部及び前記記憶部、を有する、第２基板と、
を備える、請求項１に記載の撮像装置。
前記第１基板と前記第２基板とは、CoC（Chip on Chip）方式、CoW（Chip on Wafer）方式、又は、WoW（Wafer on Wafer）方式のいずれかで貼り合わされる、
請求項１６に記載の撮像装置。
撮像された画像データを出力する撮像装置と、
前記画像データに対して所定の信号処理を行うプロセッサと、を備え、
前記撮像装置は、
光電変換を行う複数の画素を有する、画素アレイ部と、
前記画素アレイ部から出力されたアナログ画素信号をデジタル画像データに変換する、変換器と、
前記デジタル画像データの画像処理を行う、画像処理部と、
通電状態を選択的に指定できる複数の領域を有し、少なくとも、前記画像処理部の出力した前記デジタル画像データを記憶する、記憶部と、
前記画像処理部が処理したデータにおいて、前記画素アレイ部が取得した前記アナログ画素信号における動きを検知する、検知部と、
を備え、
前記プロセッサは、前記検知部が動きを検知した場合に、前記記憶部において、いずれの前記領域の前記通電状態を切り替えるかを前記撮像装置に通知する、
電子機器。