JP2023000211A - 制御装置、制御方法 - Google Patents

Abstract

【課題】インダイレクトＴｏＦ方式に対応した受光動作が可能に構成されたセンサ部について、用途に応じた適切な画像取得が行われるようにする。
【解決手段】本技術に係る制御装置は、発光部と、発光部より発せられ対象物で反射された光についてインダイレクトＴｏＦ方式に対応した受光動作が可能に構成されたセンサ部とを有するセンシングモジュールにおける発光部の発光パターンについて、少なくとも二種以上の発光パターン間での切り替え制御を行う制御部を備えたものである。
【選択図】図１０

Description

本技術は、発光部と、発光部より発せられ対象物で反射された光についてインダイレクトＴｏＦ（Time of Flight）方式に対応した受光動作が可能に構成されたセンサ部とを有するセンシングモジュールにおける発光部の発光パターン制御を行う制御装置とその方法とに関する。

距離画像と階調画像とを共通のセンサで取得したいとの要望がある。ここで、距離画像とは画素ごとに距離の情報を示す画像を意味し、階調画像とは画素ごとに受光量の強度情報を示す画像を意味する。
例えば、車内監視の用途において運転者等の乗員の様子を監視する場合には、乗員について顔認証や虹彩認証等の認証処理や、運転姿勢等の姿勢検知処理、車内の忘れ物検知処理等、様々な処理を行うことが想定される。
これら処理のうち認証処理については、距離画像のみ、階調画像のみ、或いはそれらの双方を用いることが考えられる。また、姿勢検知処理には距離画像を用いることが考えられる。さらに、忘れ物検知処理には階調画像を用いることが考えられる。このように車内監視においては、センサにより距離画像と階調画像の双方を取得したいとの要請がある。

この場合において、距離画像を得るためのセンサと階調画像を得るためのセンサを別々に設けることも考えられるが、センサ数が増えコストアップ等に繋がり望ましくない。そこで、距離画像と階調画像の双方を取得可能なセンサを用いることが望まれる。

なお、関連する従来技術に関しては下記特許文献を挙げることができる。下記特許文献１には、車内監視をＴｏＦセンサによる取得画像に基づき行う技術が開示されている。

特開２０１８－２０５２８８号公報

ここで、インダイレクトＴｏＦ方式に対応したセンサは、距離画像と階調画像の双方を取得可能に構成することが可能である。例えば、光電変換素子の電荷を高速に振り分けることで得られる２種の受光信号（各タップの受光信号）を画素ごとに加算することで画素ごとの階調信号とすることができる。

この際、距離画像を得るにあたっては、対象物からの反射光を得るための発光を行う発光部を比較的高周波で繰り返し発光させることを要する。一方で、階調画像を得るにあたっては、そのような繰り返し発光を行う必要はない。むしろ、測距のための繰り返し発光を行ってしまうと発光のＯＦＦ期間が介在してしまう分、フレームレート向上を図ることが困難となり、望ましくないものとなる。

本技術は上記のような事情に鑑み為されたものであり、インダイレクトＴｏＦ方式に対応した受光動作が可能に構成されたセンサ部について、用途に応じた適切な画像取得が行われるようにすることを目的とする。

本技術に係る制御装置は、発光部と、前記発光部より発せられ対象物で反射された光についてインダイレクトＴｏＦ方式に対応した受光動作が可能に構成されたセンサ部とを有するセンシングモジュールにおける前記発光部の発光パターンについて、少なくとも二種以上の発光パターン間での切り替え制御を行う制御部を備えたものである。
ここで、ＴｏＦとはTime of Flightの略である。インダイレクトＴｏＦ方式に対応したセンサ部は、インダイレクトＴｏＦ方式による距離画像の取得のみでなく、ＩＲ（Infrared：赤外線）画像等、発光部の発光波長帯の光についての階調画像を得るように構成することが可能である。上記のように発光部の発光パターンの切り替えが可能とされることで、例えば距離画像取得用の発光パターンと階調画像取得用の発光パターンとの切り替えを行ったり、或いはセンサ部により得られる画像を用いて行われる画像使用処理の処理種別に応じた発光パターンに切り替えを行う等、センサ部の用途に応じた適切な発光パターンに切り替えることが可能とされる。

本技術に係る制御方法は、発光部と、前記発光部より発せられ対象物で反射された光についてインダイレクトＴｏＦ方式に対応した受光動作が可能に構成されたセンサ部とを有するセンシングモジュールにおける前記発光部の発光パターンについて、少なくとも二種以上の発光パターン間での切り替え制御を行う制御方法である。
このような制御方法によっても、上記した本技術に係る制御装置と同様の作用が得られる。

本技術に係る別の制御装置は、発光部と、前記発光部より発せられ対象物で反射された光を受光するセンサ部とを有するセンシングモジュールにおける前記発光部の発光パターンの切り替え制御を行う制御部を備え、前記制御部は、合成対象となる複数の画像を得る際の前記画像ごとの前記発光パターンの切り替え制御として、前記画像ごとに、前記センサ部の１フレームあたりの受光量を変化させる制御を行うものである。
これにより、発光部と、発光部より発せられ対象物で反射された光を受光するセンサ部とを有するセンシングモジュールにより画像センシングを行うシステムにおいて、ＨＤＲ（High Dynamic Range）画像の生成が可能となる。

実施形態としての制御装置を備えて構成される制御システムの構成例を説明するためのブロック図である。 実施形態におけるセンサ装置の配置及び視野の例を示した図である。 実施形態におけるセンサ装置の内部構成例を説明するためのブロック図である。 実施形態のセンシングモジュールにおける発光部とセンサ部の具体的な配置例を示した図である。 実施形態におけるセンサ部の内部回路構成例を示したブロック図である。 実施形態におけるセンサ部が有する画素の等価回路図である。 実施形態としての情報処理装置の構成例を示したブロック図である。 実施形態における第一制御レベルに対応した処理のフローチャートである。 実施形態における第二制御レベルに対応した処理のフローチャートである。 画像使用処理の処理種別に応じた発光パターンの切り替え制御に係る処理のフローチャートである。 センサ装置において階調画像を取得する場合に対応した発光パターンの例を示した図である。 センサ装置において階調画像を取得する場合における発光パターンと電荷振り分け動作との関係を説明するための図である。 センサ装置において距離画像を取得する場合に対応した発光パターンの例を示した図である。 距離画像取得時に対応した繰り返し発光の期間と電荷振り分け動作との関係を説明するための図である。 階調画像についてのＨＤＲ画像を得るための発光パターンの説明図である。 距離画像についてのＨＤＲ画像を得るための発光パターンの説明図である。 ＨＤＲ合成に係る変形例としての発光パターンについての説明図である。

以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
<１．制御システムの構成概要>
<２．センサ装置の構成>
<３．情報処理装置の構成>
<４．車内監視処理について>
<５．実施形態としての発光制御>
（5-1．処理種別に応じた発光制御）
（5-2．ＨＤＲ）
<６．変形例>
<７．実施形態のまとめ>
<８．本技術>

<１．制御システムの構成概要>
図１は、本技術に係る実施形態としての制御装置を備えて構成される制御システムの構成例を説明するためのブロック図である。
図示のように実施形態の制御システムは、センサ装置１、情報処理装置２、及び制御対象機器３を備えて構成される。本例における制御システムは、車載システムとして、車内監視に応じた制御を行うシステムとして構成される。具体的には、センサ装置１による検出情報に基づいて情報処理装置２が制御対象機器３を制御することで、車内監視に応じた制御が行われる。

センサ装置１は、発光部と、発光部より発せられ対象物で反射された光についてインダイレクトＴｏＦ（Time of Flight）方式に対応した受光動作が可能に構成されたセンサ部とを有するセンシングモジュール（後述するセンシングモジュールＳＭ）を備えた装置とされる。
このセンサ装置１は、画素単位でインダイレクトＴｏＦ方式による測距を行うことが可能とされ、距離画像を得ることが可能とされている。ここで、距離画像とは、画素ごとに距離の情報を示す画像を意味する。
また、センサ装置１においては、画素ごとに受光量の強度を検出可能とされ、階調画像を得ることも可能とされる。階調画像とは、画素ごとに受光量の強度情報を示す画像を意味する。本例では、上記の発光部はＩＲ（Infrared：赤外線）光を発光することから、階調画像としてはＩＲ光の受光量の強度を示すＩＲ画像が得られる。

図２は、センサ装置１の配置及び視野Ｆｖの例を示した図であり、図２Ａは、制御システムが実装される車両の上面図、図２Ｂは該車両の右側面図である。
センサ装置１は、車室内の監視のため、視野Ｆｖ内に車室を捉えることができる位置に配置する。本例では、センサ装置１は車室内におけるフロントガラス上部の左右中央となる位置に配置され、視野Ｆｖ内にハンドル、及び左右の前列席（運転席と助手席）、及び左右の後列席が含まれる（図２Ｂ参照）。

なお、制御システムとしては、例えば前列席用のセンサ装置１と後列席用のセンサ装置１等、車内監視のためのセンサ装置１を複数設けた構成とすることも可能である。

図１において、情報処理装置２は、コンピュータ装置を備えて構成され、センサ装置１により得られる画像を用いた処理（以下「画像使用処理」と表記する）を行う。この画像使用処理としては、センサ装置１により得られる距離画像や階調画像に基づき監視対象を認識する処理等を挙げることができる。なお、本例における画像使用処理の種別については後述する。

また、情報処理装置２は、画像使用処理として監視対処の認識処理を行った場合に、認識結果に基づき、制御対象機器３を制御する処理を行う。
制御対象機器３としては、車両の加減速や操舵、乗員に対する各種情報の提示等といった車両の各種動作を制御するための各種車載ＥＣＵ（Electric Control Unit）を挙げることができる。
例えば、情報処理装置２には、センサ装置１により得られる画像に基づいて運転者の状態認識を行い、運転者の状態が所定の状態（例えば異常状態）であった場合に車両を減速させる制御を行わせることが考えられる。その場合、制御対象機器３は、車両を減速させる制御を司るＥＣＵ（例えば、ブレーキＥＣＵ等）となる。或いは、運転者が所定の状態であった場合には乗員に対し例えば警告情報等の情報提示を行うことも考えられ、その場合、制御対象機器３は情報提示に係る制御を行うＥＣＵ（例えばメータＥＣＵ等）となる。

<２．センサ装置の構成>
図３から図６を参照し、センサ装置１の構成について説明する。
図３は、センサ装置１の内部構成例を説明するためのブロック図である。
センサ装置１は、発光部１１とセンサ部１０とを有して構成されたセンシングモジュールＳＭを備えると共に、画像生成部１２、画像メモリ１３、制御部１４、不揮発性メモリ１５、及び通信Ｉ／Ｆ（インタフェース）を備えている。

前述のようにセンサ装置１は、インダイレクトＴｏＦ方式による測距が可能であるが、インダイレクトＴｏＦ方式は、対象物Ｏｂに対する照射光Ｌｉと、照射光Ｌｉが対象物Ｏｂで反射されて得られる反射光Ｌｒとの位相差に基づいて対象物Ｏｂまでの距離を算出する測距方式とされる。

発光部１１は、光源として一又は複数の発光素子を有し、対象物Ｏｂに対する照射光Ｌｉを発する。本例において、発光部１１は、照射光Ｌｉとして例えば波長が７５０ｎｍから１４００ｎｍの範囲のＩＲ光を発光する。

センサ部１０は、反射光Ｌｒを受光する。具体的には、反射光Ｌｒと照射光Ｌｉの位相差を検出可能となるように反射光Ｌｒの受光動作を行う。
後述もするが、本例のセンサ部１０は、光電変換素子（フォトダイオードＰＤ）と、光電変換素子の蓄積電荷を転送するための第一転送ゲート素子（転送トランジスタＴＧ－Ａ）と第二転送ゲート素子（転送トランジスタＴＧ－Ｂ）とを含んで構成された画素Ｐｘが二次元に複数配列された画素アレイ部１１１を有しており、画素ＰｘごとにインダイレクトＴｏＦ方式に対応した受光動作を行う。

図４は、センシングモジュールＳＭにおける発光部１１とセンサ部１０の具体的な配置例を示した図である。
図示のように本例のセンシングモジュールＳＭにおいて、発光部１１は二つの発光素子１１ａを有している。本例では、これら発光素子１１ａにはＶＣＳＥＬ（Vertical Cavity Surface Emitting Laser：垂直共振器面発光型レーザ）が用いられる。
二つの発光素子１１ａは、発光面に平行な面において離隔して配置され、これら二つの発光素子１１ａ間の中央となる位置にセンサ部１０が配置されている。
発光素子１１ａを複数設けることで、照射光Ｌｉの照射範囲の拡大、すなわち反射光Ｌｒが得られる範囲の拡大を図ることができ、測距可能範囲の拡大を図ることができる。

図３において、制御部１４は、発光部１１による照射光Ｌｉの発光動作を制御する。インダイレクトＴｏＦ方式の場合、照射光Ｌｉとしては所定の周期で強度が変化するように強度変調された光が用いられる。具体的に、本例では、照射光Ｌｉとして、パルス光を所定周期で繰り返し発光する。以下、このようなパルス光の発光周期のことを「発光周期Ｃｌ」と表記する。また、発光周期Ｃｌによりパルス光が繰り返し発光される際におけるパルス光の発光開始タイミング間の期間のことを「１変調期間Ｐｍ」或いは単に「変調期間Ｐｍ」と表記する。
制御部１４は、変調期間Ｐｍごとに所定の発光期間のみ照射光Ｌｉを発するように発光部１１の発光動作を制御する。
インダイレクトＴｏＦ方式において、発光周期Ｃｌは、例えば数十ＭHzから数百ＭHz程度と比較的高速とされる。

ここで、公知のようにインダイレクトＴｏＦ方式では、センサ部１０の画素Ｐｘにおける光電変換素子に蓄積された信号電荷が、交互にオンされる第一転送ゲート素子、第二転送ゲート素子によって二つのフローティングディフュージョン（ＦＤ）に振り分けられる。この際、第一転送ゲート素子と第二転送ゲート素子を交互にオンする周期は発光部１１の発光周期Ｃｌと同周期とされる。すなわち、第一転送ゲート素子、第二転送ゲート素子はそれぞれ変調期間Ｐｍごとに１度オンとされるものであり、上記のような信号電荷の二つのフローティングディフュージョンへの振り分けは、変調期間Ｐｍごとに繰り返し行われる。
例えば、第一転送ゲート素子としての転送トランジスタＴＧ－Ａは、変調期間Ｐｍにおける照射光Ｌｉの発光期間においてオンとされ、第二転送ゲート素子としての転送トランジスタＴＧ－Ｂは、変調期間Ｐｍにおける照射光Ｌｉの非発光期間においてオンとされる。
また、測距演算においてＩＱ変調（Ｉ：Ｉｎ－ｐｈａｓｅ（同相成分）、Ｑ：Ｑｕａｄｒａｔｕｒｅ（直交成分））を適用する場合には、転送トランジスタＴＧ－Ａは照射光Ｌｉの発光周期に対し位相が９０度ずれた周期でオン／オフされ、転送トランジスタＴＧ－Ｂは照射光Ｌｉの周期に対し位相が２７０度ずれた周期でオン／オフされることもある。

前述のように、発光周期Ｃｌは比較的高速とされるため、上記のような第一、第二転送ゲート素子を用いた１回の振り分けにより各フローティングディフュージョンに蓄積される信号電荷は比較的微量なものとなる。このためインダイレクトＴｏＦ方式では、１回の測距につき（つまり１枚分の距離画像を得るにあたり）、照射光Ｌｉの発光を数千回から数万回程度繰り返し、センサ部１０では、このように照射光Ｌｉが繰り返し発光される間、上記のような第一、第二転送ゲート素子を用いた各フローティングディフュージョンへの信号電荷の振り分けを繰り返し行う。

上記説明から理解されるように、センサ部１０においては、画素Ｐｘごとに第一転送ゲート素子、第二転送ゲート素子を照射光Ｌｉの発光周期に基づくタイミングで駆動することになる。このため、制御部１４は、共通のクロックＣＬＫに基づいてセンサ部１０による受光動作、発光部１１による発光動作の制御を行う。

制御部１４に対しては不揮発性メモリ１５が接続されている。不揮発性メモリ１５は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）により構成され、上記のような発光部１１の発光動作やセンサ部１０の受光動作についての動作態様を定める設定情報１５ａが記憶されている。
後述するように、センサ装置１においては、発光部１１の発光動作とセンサ部１０の受光動作について、それらの動作態様を予め定められた動作態様のうちから任意に選択可能とされる。不揮発性メモリ１５には、それら動作態様ごとに、その動作態様を実現するための発光部１１、センサ部１０の動作設定情報が、設定情報１５ａとして記憶されている。
すなわち、制御部１４は、設定情報１５ａとして記憶された動作設定情報のうち、選択した何れかの動作設定情報に従って発光部１１、センサ部１０の動作を制御することで、発光部１１、センサ部１０を選択した動作態様で動作させることができる。
なお、設定情報１５ａの具体例については後述する。

制御部１４には、通信Ｉ／Ｆ１６が接続されている。通信Ｉ／Ｆ１６は、外部装置、特に本例では情報処理装置２との間で有線又は無線による通信を行うためのインタフェース部とされる。
制御部１４はこの通信Ｉ／Ｆ１６を介して情報処理装置２（後述するＣＰＵ２１）との間で各種データの通信を行うことが可能とされる。

画像生成部１２は、センサ部１０における前述した振り分け動作により各フローティングディフュージョンに蓄積された電荷信号に基づいて、距離画像や階調画像の生成を行う。
各フローティングディフュージョンに蓄積された電荷信号について、インダイレクトＴｏＦ方式による所定の演算を行うことで、画素Ｐｘごとに距離（対象物までの距離）を算出することができ、画素Ｐｘごとに距離の情報を示す距離画像を得ることができる。なお、画素Ｐｘごとに二種の検出信号（フローティングディフュージョンごとの検出信号）に基づいてインダイレクトＴｏＦ方式による距離情報を算出する手法については公知の手法を用いることができ、ここでの説明は省略する。
また、各フローティングディフュージョンに蓄積された電荷信号を加算することで、画素Ｐｘごとに反射光Ｌｒの受光量の強度を示す情報を得ることができ、画素Ｐｘごとに受光量の強度を示す階調画像を得ることができる。

画像メモリ１３は、例えばフラッシュメモリやＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）などの記憶装置であり、画像生成部１２が生成した距離画像や階調画像の記憶に用いられる。
制御部１４は、画像メモリ１３に記憶された距離画像や階調画像を通信Ｉ／Ｆ１６を介して情報処理装置２に送信することができる。

図５は、センサ部１０の内部回路構成例を示したブロック図である。
図示のようにセンサ部１０は、画素アレイ部１１１、転送ゲート駆動部１１２、垂直駆動部１１３、システム制御部１１４、カラム処理部１１５、水平駆動部１１６、信号処理部１１７、及びデータ格納部１１８を備えている。

画素アレイ部１１１は、複数の画素Ｐｘが行方向及び列方向の行列状に二次元に配列された構成となっている。各画素Ｐｘは、光電変換素子として後述するフォトダイオードＰＤを有する。なお、画素Ｐｘの詳細については図６により改めて説明する。
ここで、行方向とは、水平方向の画素Ｐｘの配列方向を言い、列方向とは、垂直方向の画素Ｐｘの配列方向を言う。図中では、行方向を横方向、列方向を縦方向としている。

画素アレイ部１１１においては、行列状の画素配列に対して、画素行ごとに行駆動線１２０が行方向に沿って配線されるとともに、各画素列に二つのゲート駆動線１２１、二つの垂直信号線１２２がそれぞれ列方向に沿って配線されている。例えば、行駆動線１２０は、画素Ｐｘから信号を読み出す際の駆動を行うための駆動信号を伝送する。なお、図５では、行駆動線１２０について１本の配線として示しているが、１本に限られるものではない。行駆動線１２０の一端は、垂直駆動部１１３の各行に対応した出力端に接続されている。

システム制御部１１４は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、該タイミングジェネレータで生成された各種のタイミング信号を基に、転送ゲート駆動部１１２、垂直駆動部１１３、カラム処理部１１５、及び水平駆動部１１６などの駆動制御を行う。

転送ゲート駆動部１１２は、システム制御部１１４の制御に基づき、上記のように各画素列に二つ設けられるゲート駆動線１２１を通じて、画素Ｐｘごとに二つ設けられた転送ゲート素子を駆動する。
前述のように、二つの転送ゲート素子は変調期間Ｐｍごとに交互にオンするものとされる。このため、システム制御部１１４は、転送ゲート駆動部１１２に対し、図３に示した制御部１４より入力されるクロックＣＬＫを供給し、転送ゲート駆動部１１２は、このクロックＣＬＫに基づいて二つの転送ゲート素子を駆動する。

垂直駆動部１１３は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１１１の画素Ｐｘを全画素同時或いは行単位等で駆動する。すなわち、垂直駆動部１１３は、垂直駆動部１１３を制御するシステム制御部１１４とともに、画素アレイ部１１１の各画素Ｐｘの動作を制御する駆動部を構成している。

垂直駆動部１１３による駆動制御に応じて画素行の各画素Ｐｘから出力される（読み出される）検出信号、具体的には、画素Ｐｘごとに二つ設けられたフローティングディフュージョンそれぞれに蓄積された信号電荷に応じた信号（電荷信号）は、対応する垂直信号線１２２を通してカラム処理部１１５に入力される。カラム処理部１１５は、各画素Ｐｘから垂直信号線１２２を通して読み出された検出信号に対して所定の信号処理を行うとともに、信号処理後の検出信号を一時的に保持する。具体的には、カラム処理部１１５は、信号処理としてＣＤＳ（Correlated Double Sampling：相関二重サンプリング）によるノイズ除去処理やＡ／Ｄ（Analog to Digital）変換処理等を行う。

ここで、各画素Ｐｘからの二つの検出信号（フローティングディフュージョンごとの検出信号）の読み出しは、照射光Ｌｉの所定回数分の繰り返し発光ごと（前述した数千から数万回の繰り返し発光ごと）に１度行われる。
従って、システム制御部１１４は、クロックＣＬＫに基づき垂直駆動部１１３を制御して、各画素Ｐｘからの検出信号の読み出しタイミングが、このように照射光Ｌｉの所定回数分の繰り返し発光ごとのタイミングとなるように制御する。

水平駆動部１１６は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部１１５の画素列に対応する単位回路を順番に選択する。この水平駆動部１１６による選択走査により、カラム処理部１１５において単位回路ごとに信号処理された検出信号が順番に出力される。

信号処理部１１７は、少なくとも演算処理機能を有し、カラム処理部１１５から出力される検出信号に対して所定の信号処理を施す。

データ格納部１１８は、信号処理部１１７での信号処理にあたって、その処理に必要なデータを一時的に格納する。

図６は、画素アレイ部１１１に二次元配列された画素Ｐｘの等価回路を示している。
画素Ｐｘは、光電変換素子としてのフォトダイオードＰＤとＯＦ（オーバーフロー）ゲートトランジスタＯＦＧとをそれぞれ１個ずつ有する。また、画素Ｐｘは、転送ゲート素子としての転送トランジスタＴＧ、フローティングディフュージョンＦＤ、リセットトランジスタＲＳＴ、増幅トランジスタＡＭＰ、及び選択トランジスタＳＥＬをそれぞれ２個ずつ有する。

ここで、画素Ｐｘにおいて２個ずつ設けられる転送トランジスタＴＧ、フローティングディフュージョンＦＤ、リセットトランジスタＲＳＴ、増幅トランジスタＡＭＰ、及び選択トランジスタＳＥＬのそれぞれを区別する場合、図６に示されるように、転送トランジスタＴＧ－Ａ及びＴＧ－Ｂ、フローティングディフュージョンＦＤ－Ａ及びＦＤ－Ｂ、リセットトランジスタＲＳＴ－Ａ及びＲＳＴ－Ｂ、増幅トランジスタＡＭＰ－Ａ及びＡＭＰ－Ｂ、選択トランジスタＳＥＬ－Ａ及びＳＥＬ－Ｂと表記する。
ＯＦゲートトランジスタＯＦＧ、転送トランジスタＴＧ、リセットトランジスタＲＳＴ、増幅トランジスタＡＭＰ、及び選択トランジスタＳＥＬは、例えば、Ｎ型のＭＯＳトランジスタで構成される。

ＯＦゲートトランジスタＯＦＧは、ゲートに供給されるＯＦゲート信号ＳＯＦＧがオンされると導通状態となる。フォトダイオードＰＤは、ＯＦゲートトランジスタＯＦＧが導通状態となると、所定の基準電位ＶＤＤにクランプされて蓄積電荷がリセットされる。
なお、ＯＦゲート信号ＳＯＦＧは、例えば垂直駆動部１１３より供給される。

転送トランジスタＴＧ－Ａは、ゲートに供給される転送駆動信号ＳＴＧ－Ａがオンされると導通状態となり、フォトダイオードＰＤに蓄積されている信号電荷をフローティングディフュージョンＦＤ－Ａに転送する。転送トランジスタＴＧ－Ｂは、ゲートに供給される転送駆動信号ＳＴＧ－Ｂがオンされると導通状態となり、フォトダイオードＰＤに蓄積されている電荷をフローティングディフュージョンＦＤ－Ｂに転送する。
転送駆動信号ＳＴＧ－Ａ、ＳＴＧ－Ｂは、それぞれが図５に示したゲート駆動線１２１の一つとして設けられたゲート駆動線１２１－Ａ、１２１－Ｂを通じて転送ゲート駆動部１１２より供給される。

フローティングディフュージョンＦＤ－Ａ及びＦＤ－Ｂは、フォトダイオードＰＤから転送された電荷を一時保持する電荷保持部である。

リセットトランジスタＲＳＴ－Ａは、ゲートに供給されるリセット信号ＳＲＳＴがオンとされると導通状態となり、フローティングディフュージョンＦＤ－Ａの電位を基準電位ＶＤＤにリセットする。同様に、リセットトランジスタＲＳＴ－Ｂはゲートに供給されるリセット信号ＳＲＳＴがオンされることで導通状態となり、フローティングディフュージョンＦＤ－Ｂの電位を基準電位ＶＤＤにリセットする。
なお、リセット信号ＳＲＳＴは、例えば垂直駆動部１１３より供給される。

増幅トランジスタＡＭＰ－Ａは、ソースが選択トランジスタＳＥＬ－Ａを介して垂直信号線１２２－Ａに接続され、ドレインが基準電位ＶＤＤ（定電流源）に接続されて、ソースフォロワ回路を構成する。増幅トランジスタＡＭＰ－Ｂは、ソースが選択トランジスタＳＥＬ－Ｂを介して垂直信号線１２２－Ｂに接続され、ドレインが基準電位ＶＤＤ（定電流源）に接続されてソースフォロワ回路を構成する。
ここで、垂直信号線１２２－Ａ、１２２－Ｂは、それぞれ図５に示した垂直信号線１２２の一つとして設けられたものである。

選択トランジスタＳＥＬ－Ａは、増幅トランジスタＡＭＰ－Ａのソースと垂直信号線１２２－Ａとの間に接続され、ゲートに供給される選択信号ＳＳＥＬがオンとされると導通状態となり、フローティングディフュージョンＦＤ－Ａに保持された電荷を増幅トランジスタＡＭＰ－Ａを介して垂直信号線１２２－Ａに出力する。
選択トランジスタＳＥＬ－Ｂは、増幅トランジスタＡＭＰ－Ｂのソースと垂直信号線１２２－Ｂとの間に接続され、ゲートに供給される選択信号ＳＳＥＬがオンとされると導通状態となり、フローティングディフュージョンＦＤ－Ｂに保持された電荷を増幅トランジスタＡＭＰ－Ａを介して垂直信号線１２２－Ｂに出力する。
なお、選択信号ＳＳＥＬは、行駆動線１２０を介して垂直駆動部１１３より供給される。

画素Ｐｘの動作について簡単に説明する。
先ず、受光を開始する前に、画素Ｐｘの電荷をリセットするリセット動作が全画素で行われる。すなわち、例えばＯＦゲートトランジスタＯＦＧ、各リセットトランジスタＲＳＴ、及び各転送トランジスタＴＧがオン（導通状態）とされ、フォトダイオードＰＤ、各フローティングディフュージョンＦＤの蓄積電荷がリセットされる。

蓄積電荷のリセット後、全画素で測距のための受光動作が開始される。ここで言う受光動作とは、１回の測距のために行われる受光動作を意味する。すなわち、受光動作中では、転送トランジスタＴＧ－ＡとＴＧ－Ｂを交互にオンする動作が所定回数（本例では数千回から数万回程度）繰り返される。以下、このような１回の測距のために行われる受光動作の期間を「受光期間Ｐｒ」と表記する。

受光期間Ｐｒにおいて、発光部１１の１変調期間Ｐｍ内では、例えば転送トランジスタＴＧ－Ａがオンの期間（つまり転送トランジスタＴＧ－Ｂがオフの期間）が照射光Ｌｉの発光期間にわたって継続された後、残りの期間、つまり照射光Ｌｉの非発光期間は、転送トランジスタＴＧ－Ｂがオンの期間（つまり転送トランジスタＴＧ－Ａがオフの期間）とされる。すなわち、受光期間Ｐｒにおいては、１変調期間Ｐｍ内にフォトダイオードＰＤの電荷をフローティングディフュージョンＦＤ－ＡとＦＤ－Ｂとに振り分ける動作が所定回数繰り返される。

そして、受光期間Ｐｒが終了すると、画素アレイ部１１１の各画素Ｐｘが、線順次に選択される。選択された画素Ｐｘでは、選択トランジスタＳＥＬ－Ａ及びＳＥＬ－Ｂがオンされる。これにより、フローティングディフュージョンＦＤ－Ａに蓄積された電荷が垂直信号線１２２－Ａを介してカラム処理部１１５に出力される。また、フローティングディフュージョンＦＤ－Ｂに蓄積された電荷は垂直信号線１２２－Ｂを介してカラム処理部１１５に出力される。

以上で、１回の受光動作が終了し、リセット動作から始まる次の受光動作が実行される。

ここで、画素Ｐｘが受光する反射光Ｌｒは、発光部１１が照射光Ｌｉを発したタイミングから、対象物Ｏｂまでの距離に応じて遅延されている。対象物Ｏｂまでの距離に応じた遅延時間によって、二つのフローティングディフュージョンＦＤ－Ａ、ＦＤ－Ｂに蓄積される電荷の配分比が変化するため、これら二つのフローティングディフュージョンＦＤ－Ａ、ＦＤ－Ｂに蓄積される電荷の配分比から、対象物Ｏｂまでの距離を求めることが可能である。

ここで、上記では、インダイレクトＴｏＦ方式による測距について、いわゆる２ｐｈａｓｅ方式による測距を行う場合を例示した。すなわち、発光信号に対する位相差を０度、１８０度とした転送駆動信号ＳＴＧにより電荷振り分けを行って得られる２種の受光信号（フローティングディフュージョンＦＤ－Ａ、ＦＤ－Ｂそれぞれに蓄積された電荷信号）から距離を算出する場合を例示した。
しかしながら、インダイレクトＴｏＦ方式による測距としては、いわゆる４ｐｈａｓｅ方式による測距を行うこともできる。この４ｐｈａｓｅ方式は、前述したＩＱ変調に基づく測距演算を行うものであり、発光信号に対する位相差を０度、１８０度とした受光信号のみでなく、９０度、２７０度とした受光信号を用いる。
この場合、受光期間Ｐｒにおいては、上記で例示したように発光信号に対する位相差を０度とした転送駆動信号ＳＴＧ－Ａと該位相差を１８０度とした転送駆動信号ＳＴＧ－ＢとによりフローティングディフュージョンＦＤ－ＡとＦＤ－Ｂへの電荷振り分けを行って位相差０度と位相差１８０度の受光信号を得る動作と、発光信号に対する位相差を９０度とした転送駆動信号ＳＴＧ－Ａと該位相差を２７０度とした転送駆動信号ＳＴＧ－ＢとによりフローティングディフュージョンＦＤ－ＡとＦＤ－Ｂへの電荷振り分けを行って位相差９０度と位相差２７０度の受光信号を得る動作とを行う。
なお、これら位相差０度、１８０度、９０度、２７０度の４種の受光信号を用いて行われる４ｐｈａｓｅ方式による測距演算は公知であり、ここでの詳細説明は省略する。

<３．情報処理装置の構成>
図７は、情報処理装置２の構成例を示したブロック図である。
図７に示すように、情報処理装置２は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）を備えている。ＣＰＵ２１は、ＲＯＭ２２や後述する記憶部２９に記憶され、ＲＡＭ２３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ２３には、ＣＰＵ２１が各種の処理を実行する上において必要なデータが適宜記憶される。

ＣＰＵ２１、ＲＯＭ２２、及びＲＡＭ２３は、バス２４を介して相互に接続されている。このバス２４にはまた、入出力インタフェース（Ｉ／Ｆ）２５も接続されている。

入出力インタフェース２５には、操作子や操作デバイスよりなる入力部２６が接続される。例えば、入力部２６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部２６によりユーザの操作が検知され、入力された操作に応じた信号がＣＰＵ２１によって解釈される。

また入出力インタフェース２５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（Electro-Luminescence）パネルなどよりなる表示部２７や、スピーカなどよりなる音声出力部２８が一体又は別体として接続される。
表示部２７は各種表示を行う表示部であり、例えばコンピュータ装置の筐体に設けられるディスプレイデバイスや、コンピュータ装置に接続される別体のディスプレイデバイス等により構成される。

表示部２７は、ＣＰＵ２１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部２７はＣＰＵ２１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

入出力インタフェース２５には、ハードディスクや固体メモリなどより構成される記憶部２９や、モデムなどより構成される通信部３０が接続される場合もある。

通信部３０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。特に本実施形態の場合、この通信部３０を介してはセンサ装置１や制御対象機器３との間でデータ通信を行うことが可能とされる。

入出力インタフェース２５にはまた、必要に応じてドライブ３１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記憶媒体３２が適宜装着される。

ドライブ３１により、リムーバブル記憶媒体３２から各処理に用いられるプログラム等のデータファイルなどを読み出すことが可能とされる。読み出されたデータファイルは記憶部２９に記憶されたり、ＣＰＵ２１の各種処理に用いられたりする。またリムーバブル記憶媒体３２から読み出されたコンピュータプログラム等は必要に応じて記憶部２９にインストールされる。

<４．車内監視処理について>
情報処理装置２は、図１に示した制御システムが搭載された車両における車内監視に係る処理として、センサ装置１により得られる画像（車内の監視画像）を用いた処理（画像使用処理）を行う。
この画像使用処理としては、運転者等の車内に存在する物体の認識に係る処理を行う。具体的に本例では、画像使用処理として下記の処理を行うことが可能とされている。
・ユーザ認証処理
・姿勢認識処理
・注意度検出処理
・座席忘れ物検知処理
ユーザ認識処理は、車両のユーザとしての運転者について、本人であるかの認証を行う処理である。例えば、顔認証や虹彩認証等として行われる。
姿勢認識処理は、運転者等の乗員について姿勢（体勢）を認識する処理である。
注意度検出処理は、運転者の運転に対する注意度を検出する処理である。例えば、運転者が眠気を帯びていたり、病気等で意識レベルが低下していたりすることが検出された場合、その度合いに応じて注意度として低い値が検出されることになる。
座席忘れ物検知処理は、乗員が降車したタイミングで実行される処理であり、車内の座席における忘れ物の有無を検知する処理である。

これらの画像使用処理は、運転者等の乗員が車両に乗り込んでから車両が走行する状態を経て乗員が降車するまでの間の一連の期間内において、それぞれが適宜のタイミングで実行される。

また、これらの画像使用処理は、車内監視に応じて行われる車両制御のレベル（以下「制御レベル」と表記）が異なると、実行される処理の組み合わせが異なることがある。例えば、或る制御レベル（第一制御レベルとする）では、上記した４種の画像使用処理のうち、ユーザ認証処理、姿勢認識処理、座席忘れ物検知処理の３種のみが行われるが、別の制御レベル（第二制御レベルとする）では、上記した４種全ての画像使用処理が行われる。

以下、これら制御レベルごとに、情報処理装置２が行う具体的な処理の流れを説明する。
図８は、第一制御レベルに対応した処理のフローチャートである。図８、及び後述する図９に示す処理は、情報処理装置２のＣＰＵ２１が実行する。なお、これら図８、図９に示す処理が開始されるにあたっては、少なくとも運転者としての乗員が既に車両に乗車していることを前提とする。

図８において、ＣＰＵ２１はステップＳ１で乗員による車両ＯＮ指示を待機する。ここで言う車両ＯＮ指示とは、車両を起動状態とする指示を意味する。ここでの起動状態とは、例えばエンジン車の場合にはエンジンがＯＮする状態、ハイブリッド車や電気自動車の場合には車両の制御システムが起動する状態を意味する。例えば、車室内に設けられたスタートボタンの操作等がここで言う車両ＯＮ指示に該当する。

ステップＳ１で車両ＯＮ指示が行われた場合、ＣＰＵ２１はステップＳ２でユーザ認証処理を実行する。ユーザ認証処理としては、センサ装置１で得られる画像に基づき、顔認証処理、又は虹彩認証処理として行う。
本例において、ユーザ認証処理としては、センサ装置１で得られる階調画像を用いて行う場合と、距離画像を用いて行う場合とがある。

ステップＳ２に続くステップＳ３でＣＰＵ２１は、認証成功か否かを判定する。すなわち、ステップＳ２のユーザ認証処理の結果から、運転者が本人であると認められたか否か、すなわち認証に成功したか否かを判定する。本例におけるユーザ認証処理では、１フレーム分の画像のみに基づいて行うのではなく、複数フレーム分の画像に基づいて行う。具体的に本例では、例えば連続した５フレームにおいて、少なくとも１フレームでも運転者が本人であると認められれば認証成功とし、全フレームで運転者が本人であると認められない場合には認証不成功との判定結果を得る。

認証が成功しなかった場合、ＣＰＵ２１はステップＳ１２の通報処理を行う。すなわち、予め定められたサーバ装置（例えばセキュリティセンタのサーバ装置）等、所定の外部装置に対して、認証が失敗した旨の情報を送信する処理を行う。

一方、認証に成功した場合、ＣＰＵ２１はステップＳ４に進んで車両ＯＮ制御を行う。すなわち、車両をＯＮ状態とするための制御を行う。

車両がＯＮ状態からＯＦＦ状態となるまでの間には、姿勢認識処理（Ｓ５）と、姿勢認識処理結果に基づく異常検知判定（Ｓ６）が行われ、異常検知判定の結果に基づき処理が分岐する。

具体的に、ステップＳ４の車両ＯＮ制御を実行したことに応じ、ＣＰＵ２１はステップＳ５の姿勢認識処理を実行する。すなわち、センサ装置１で得られる距離画像に基づいて、運転者としての乗員についての姿勢を認識する処理を行う。この姿勢認識処理では、例えば距離画像から運転者の各部位（例えば頭部、肩、腕、手、胴体等）を認識し、認識した各部位の位置関係から運転者の姿勢を認識する。

ステップＳ５に続くステップＳ６でＣＰＵ２１は、異常検知判定を行う。すなわち、ステップＳ５の姿勢認識処理で認識した運転者の姿勢情報に基づいて、運転者が異常な状態にあるか否かを判定する。例えば、運転者の姿勢が、予め定められた異常姿勢としての姿勢と合致するか否かの判定を行う。
ステップＳ６において、本例では、画像の１フレーム分だけ異常が認められたことに応じて直ちに異常とは判定せず、一定の期間、異常状態の継続が認められた場合に異常であるとの判定結果を得る。ここでの一定の期間は、例えば１／１２ｓ（秒）であるとする。これは、センサ装置１から入力される画像のフレームレートが６０ｆｐｓである場合に、５フレーム分の時間に相当する。

運転者が異常な状態であると判定した場合、ＣＰＵ２１はステップＳ１３に進んでワーニング処理を行う。すなわち、運転者が異常状態にある旨を通知するためのワーニング処理であり、例えば、車両に設けられたスピーカ（例えば、前述した音声出力部２８）から所定の音声を出力させる処理や、表示部（例えば、前述した表示部２７）に所定情報を表示させる処理等を行う。

ステップＳ１３のワーニング処理を実行したことに応じ、ＣＰＵ２１はステップＳ７で異常状態継続判定処理を行う。すなわち、ステップＳ６で異常状態が検知されてからの異常状態の継続時間が所定時間以上であるか否かを判定する。
ここでの所定時間は、例えば１／２ｓとされる。これは、センサ装置１からの画像のフレームレートが６０ｆｐｓである場合に３０フレーム分の時間に相当する。

ステップＳ７で異常状態が所定時間以上継続しているとの判定結果を得た場合、ＣＰＵ２１はステップＳ１４の減速制御処理を実行する。すなわち、車両を減速させるための制御を行う。

一方、ステップＳ７で異常状態が所定時間以上継続してはいないと判定した場合、ＣＰＵ２１はステップＳ８に処理を進める。
また、ＣＰＵ２１は、ステップＳ６で運転者が異常な状態にはないと判定した場合にも、ステップＳ８に処理を進める。

ステップＳ８でＣＰＵ２１は、車両ＯＦＦ状態か否かを判定する。すなわち、車両をＯＦＦ状態とする操作が行われる等して車両がＯＦＦ状態に移行したか否かを判定する。
車両がＯＦＦ状態でなければ、ＣＰＵ２１は先に説明したステップＳ５の姿勢認識処理に戻る。これにより、車両がＯＮ状態からＯＦＦ状態となるまでの間は、姿勢認識処理（Ｓ５）と姿勢認識処理結果に基づく異常検知判定（Ｓ６）が行われ、異常が認められた場合はその継続時間に応じてワーニング処理や減速制御が行われるようになる。

ステップＳ８において、車両がＯＦＦ状態であると判定した場合、ＣＰＵ２１はステップＳ９以降に示す忘れ物検知に係る処理を実行する。
具体的に、ＣＰＵ２１はステップＳ９で、ドア開閉を検出するまで待機する。すなわち、車両におけるドアが開状態となった後に閉状態となったことを検出するまで待機する。

ドア開閉を検出したことに応じ、ＣＰＵ２１はステップＳ１０で座席忘れ物検知処理を実行する。すなわち、センサ装置１で得られる階調画像について画像解析処理を行って、座席上の忘れ物、具体的には、鞄や幼児等といった特定物体についての検知を行う。

ステップＳ１０に続くステップＳ１１でＣＰＵ２１は、忘れ物があったか否かを判定する。本例では、ステップＳ１０の検知処理において１フレーム分だけ忘れ物としての物体が検知されたことに応じて直ちに忘れ物ありとは判定せず、一定の期間、忘れ物の検知状態が継続したた場合に忘れ物ありとの判定結果を得る。ここでの一定の期間は、例えば１ｓであるとする。つまり、画像のフレームレートが６０ｆｐｓである場合には６０フレーム分の時間に相当する。

ステップＳ１１において忘れ物ありと判定した場合、ＣＰＵ２１はステップＳ１５のワーニング処理を行う。すなわち、忘れ物がある旨を通知するための情報を車両に設けられたスピーカや表示部を介して出力させる処理を行う。
ＣＰＵ２１は、ステップＳ１５のワーニング処理を行ったことに応じて図８に示す一連の処理を終える。

また、ＣＰＵ２１は、ステップＳ１１で忘れ物なしと判定した場合も図８に示す一連の処理を終える。

図９は、第二制御レベルに対応した処理のフローチャートである。なお図９において、既に図８で説明済みとなった処理と同様となる処理については同一ステップ番号を付して詳細説明を省略する。

図８に示した第一制御レベルの場合との差は、車両がＯＮ状態となった以降、姿勢検出処理のみでなく注意度検出処理も行われる点である。
具体的に、この場合のＣＰＵ２１は、ステップＳ４の車両ＯＮ制御を実行したことに応じ、ステップＳ２１の注意度検出処理を行う。すなわち、センサ装置１で得られる階調画像について画像解析処理を行って、運転者の注意度を検出する。例えば、注意度検出処理では、運転者の顔の表情、目の視差、目が開状態か閉状態かの識別等から、注意度を検出する。

ステップＳ２１に続くステップＳ２２でＣＰＵ２１は、注意度低下状態であるか否かの判定を行う。この判定は、ステップＳ２１で検出される注意度が所定閾値以下であるか否かの判定結果に基づき行う。ただし、本例では、注意度が所定閾値以下であることが判定されたことに応じて直ちに注意度低下状態とは判定せず、一定の期間、注意度が閾値以下の状態が継続した場合に注意度低下状態であるとの判定結果を得る。ここでの一定の期間は、例えば１／２０ｓ（秒）であるとする。これは、フレームレートが６０ｆｐｓである場合において３フレーム分の時間に相当する。

ステップＳ２２で運転者が注意度低下状態と判定した場合、ＣＰＵ２１はステップＳ２４のワーニング処理を行う。すなわち、運転者が注意度低下状態にある旨を他の乗員に通知するためのワーニング処理であり、例えば、車両に設けられたスピーカから所定の音声を出力させる処理や、車両に設けられた表示部に所定情報を表示させる処理等を行う。

一方、ステップＳ２２で運転者が注意度低下状態ではないと判定した場合、ＣＰＵ２１はステップＳ２３に進んで低下状態継続か否かを判定する。すなわち、ステップＳ２２で注意度低下状態が検知されてからの注意度低下状態の継続時間が所定時間以上であるか否かを判定する。
ここでの所定時間は、例えば１／４ｓ（フレームレートが６０ｆｐｓであれば１５フレーム分）に設定される。

ステップＳ２３で注意度低下状態が所定時間以上継続しているとの判定結果を得た場合、ＣＰＵ２１はステップＳ１４の減速制御処理を実行する。

一方、注意度低下状態が所定時間以上継続していないと判定した場合、ＣＰＵ２１はステップＳ５の姿勢認識処理に処理を進める。この姿勢認識処理の結果、異常が認められなかった場合には、ＣＰＵ２１はステップＳ８に進んで車両ＯＦＦ状態か否かを判定し、車両がＯＦＦ状態でなければ、ステップＳ２１の注意度検出処理に戻る。
これにより、第二制御レベルにおいては、車両がＯＮ状態となった以降、ＯＦＦ状態となるまでの間、姿勢認識処理のみでなく注意度検出処理が行われ、それらの処理結果に応じてワーニング処理や車両の減速制御が行われるものとなる。

なお、上記では運転者の異常検知に応じてワーニング処理や減速制御を発動させるための時間条件について具体例を挙げて説明したが、例示した時間条件は一例に過ぎず、他の条件を設定可能であることは言うまでもない。

ここで、センサ装置１で得られる画像を用いた画像使用処理としては、上述したユーザ認証処理、姿勢認識処理、注意度検出処理、座席忘れ物検知処理以外にも、例えば快適な車内空間を提供するために、運転者等の乗員の感情を推定する感情推定処理を行うことも考えられる。
この感情推定処理では、センサ装置１で得られる例えば距離画像から乗員の表情を検出し、該表情の検出結果に基づき感情を推定する。推定された感情に応じて、例えば車室の空調制御を行う等として、快適な車内空間が提供されるようにする。

<５．実施形態としての発光制御>
（5-1．処理種別に応じた発光制御）
上記説明から理解されるように、本実施形態では、センサ装置１により得られる画像を用いて行われる画像使用処理として、ユーザ認証処理、姿勢認識処理、注意度検出処理、座席忘れ物検知処理（及び感情推定処理）が行われ得る。
本実施形態において、情報処理装置２は、これら画像使用処理の処理種別に応じて、センサ装置１における発光部１１の発光パターンの切り替え制御を行う。

図１０は、画像使用処理の処理種別に応じた発光パターンの切り替え制御に係る処理のフローチャートである。
情報処理装置２のＣＰＵ２１は、先の図８や図９に示した処理と平行として図１０に示す処理を実行する。具体的に、本例におけるＣＰＵ２１は、図８や図９の処理が実行中の状態において、図１０に示す処理を繰り返し実行する。

図示のようにＣＰＵ２１は、ステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４の処理により、実行する画像使用処理の処理種別を判定する。具体的には、ユーザ認証処理、姿勢認識処理、注意度検出処理、座席忘れ物検知処理の何れの画像使用処理であるかを判定する。

ステップＳ１０１でユーザ認証処理であると判定した場合、ＣＰＵ２１はステップＳ１０５でユーザ認証用発光パターン指示を行う。すなわち、ユーザ認証処理に対応した発光パターンにより発光部１１を発光させるための指示をセンサ装置１、具体的には制御部１４に対して行う。

ステップＳ１０２で姿勢認識処理であると判定した場合、ＣＰＵ２１はステップＳ１０６の姿勢認識用発光パターン指示として、姿勢認識処理に対応した発光パターンにより発光部１１を発光させるための指示を制御部１４に対して行う。

また、ステップＳ１０３で注意度検出処理であると判定した場合、ＣＰＵ２１はステップＳ１０７の注意度検出用発光パターン指示として、注意度検出処理に対応した発光パターンにより発光部１１を発光させるための指示を制御部１４に対して行う。

また、ステップＳ１０４で座席忘れ物検知処理であると判定した場合、ＣＰＵ２１はステップＳ１０８の忘れ物検知用発光パターン指示として、座席忘れ物検知処理に対応した発光パターンにより発光部１１を発光させるための指示を制御部１４に対して行う。

ＣＰＵ２１は、ステップＳ１０５、Ｓ１０６、Ｓ１０７、Ｓ１０８の何れかの指示を行ったことに応じて、図１０に示す一連の処理を終える。

上記のような処理が行われることで、センサ装置１における発光部１１を、実行される画像使用処理の処理種別に応じた適切な発光パターンにより発光させることが可能となる。

以下、具体的な発光パターン例について説明する。
図１１は、センサ装置１において階調画像を取得する場合に対応した発光パターンの例を示している。
図中、「Ｆ」の表記は、１フレーム期間を意味している。センサ装置１において、インダイレクトＴｏＦ方式により距離画像を得る際には、発光部１１は数十ＭＨｚから数百ＭＨｚといった高速な周期で繰り返し発光させるが、階調画像を得る場合には、そのような高速な繰り返し発光を行う必要性はない。
このため、階調画像を得る際には、発光駆動信号のＯＮデューティを１００％として、発光部１１を所定期間にわたって連続的に発光させる。
このようにＯＮデューティ１００％による連続発光を行うものとすれば、測距のための繰り返し発光を行う場合よりも、同一光量を実現する上での発光期間を短くすることができる。このため、階調画像についてフレームレート低下の抑制を図ることができる。

ここで、センサ装置１としてはインダイレクトＴｏＦ方式による測距を行うことが可能に構成されており、受光動作としては、先に説明したような電荷振り分けの動作を伴うものとなる。具体的には、フローティングディフュージョンＦＤ－Ａ、ＦＤ－Ｂに対する電荷振り分けを行い、この振り分け動作によりこれらフローティングディフュージョンＦＤ－Ａ、ＦＤ－Ｂに得られた電荷信号をそれぞれ読み出すという動作が単位受光動作とされる。
前述した２ｐｈａｓｅ方式の場合、このような単位受光動作は、１フレームにつき少なくとも１回行えばよいが、４ｐｈａｓｅ方式の場合、この単位受光動作は１フレームにつき４回行うことになる。

本例では、センサ装置１が４ｐｈａｓｅ方式による測距を行うことが可能に構成された場合に対応した発光パターンの例を説明する。
具体的にこの場合、階調画像取得時における発光パターンは、図示のように、期間Ｄｓによる連続発光を１フレームにつき４回ずつ行う発光パターンとする。より具体的に、この場合における発光パターンとしては、１フレーム期間Ｆ内において４回行われる単位受光動作の実行周期に同期させて、各単位受光動作の実行期間ごとに、期間ＤｓにわたってＯＮデューティ１００％の連続発光を行う発光パターンとする。
ここで、期間Ｄｓは、階調画像取得のための連続発光について、１回の単位受光動作に対応した発光期間を意味するものである。

図１２を参照し、この場合の発光パターンと電荷振り分け動作との関係を説明しておく。
図１２において、「Ｔｘ」で示す波形は、発光部１１の発光駆動信号の波形である。
前述のように本例では、４ｐｈａｓｅ方式に対応して、発光駆動信号に対する位相差が０度、９０度、１８０度、２７０度の各受光信号を得るようにされている。このため、例えば図示のように、１フレーム期間Ｆ内における最初の連続発光の期間Ｄｓ内では、発光駆動信号に対する位相差を０度とした転送駆動信号ＳＴＧ－Ａ、同位相差を１８０度とした転送駆動信号ＳＴＧ－Ｂにより、フローティングディフュージョンＦＤ－Ａ、ＦＤ－Ｂに対する電荷振り分けを行い、次の連続発光の期間Ｄｓ内では、発光駆動信号に対する位相差を９０度とした転送駆動信号ＳＴＧ－Ａ、同位相差を２７０度とした転送駆動信号ＳＴＧ－Ｂにより、フローティングディフュージョンＦＤ－Ａ、ＦＤ－Ｂに対する電荷振り分けを行う。
図示は省略しているが、３番目の連続発光の期間Ｄｓ内では、例えば１番目の期間Ｄｓ内と同様に、位相差を０度とした転送駆動信号ＳＴＧ－Ａ、位相差を１８０度とした転送駆動信号ＳＴＧ－ＢによりフローティングディフュージョンＦＤ－Ａ、ＦＤ－Ｂに対する電荷振り分けを行い、４番目の期間Ｄｓ内では、２番目の期間Ｄｓ内と同様に、位相差を９０度とした転送駆動信号ＳＴＧ－Ａ、位相差を２７０度とした転送駆動信号ＳＴＧ－ＢによりフローティングディフュージョンＦＤ－Ａ、ＦＤ－Ｂに対する電荷振り分けを行うことが考えられる。この場合、１フレームにおける４回の単位受光動作により０度、９０度、１８０度、２７０度の信号が２回得られることになる。この場合の４ｐｈａｓｅ方式による測距演算では、これらの信号に基づいて距離の計算を行うことができる。例えば、上記のように２回得られる０度、９０度、１８０度、２７０度の各信号についてそれぞれ平均をとる等してノイズ耐性を高めた上で、４ｐｈａｓｅ方式による測距演算を行うことが考えられる。

なお、４ｐｈａｓｅ方式では、１フレーム期間Ｆ内で０度、９０度、１８０度、２７０度の信号が少なくとも１回得られればよく、従って、１フレーム期間Ｆ内における発光部１１の連続発光の回数は少なくとも２回であればよい。

図１２において、図中「Ｒｘ」で表す波形は、単位受光動作の実行期間を表した波形である。
単位受光動作に関して、発光期間よりも受光期間（図中ＲｘのＯＮ期間）の方が僅かに長くされているのは、対象物Ｏｂからの反射光Ｌｒを漏れなく受光できるようにするためである。

上記のように本例では、センサ装置１が４ｐｈａｓｅ方式に対応した単位受光動作を行うように構成される関係から、階調画像を取得する場合に対応した発光パターンとしては、期間Ｄｓによる連続発光を１フレーム期間Ｆ内において２の倍数回（少なくとも２回）行う発光パターンとしている。

図１３は、センサ装置１において距離画像を取得する場合に対応した発光パターンの例を示している。
図中の最下段に示すように、距離画像を取得する場合には、ＯＮデューティを５０％とした繰り返し発光を行う。
ここでは、４ｐｈａｓｅ方式による測距が行われる前提で、このようなＯＮデューティ５０％による繰り返し発光が、１フレーム期間Ｆ内に２の倍数回（ここでは４回としている）行われる発光パターンを例示している。
ここで、距離画像取得のための繰り返し発光について、１回の単位受光動作に対応した発光期間のことを図示のように期間Ｄｍと表記する。
なお、距離画像を取得する場合における発光駆動信号のＯＮデューティは５０％に限定されないが、該ＯＮデューティは少なくとも５０％以下とすることが望ましい。

図１４は、距離画像取得時に対応した繰り返し発光の期間Ｄｍと電荷振り分け動作との関係を説明するための図である。
距離画像取得時において、繰り返し発光の発光パターンとしては、１フレーム期間Ｆ内に行われるそれぞれの単位受光動作に対して同じとされる。すなわち、本例のように１フレーム期間Ｆ内で４回の単位受光動作が行われる場合、距離画像取得時に対応した発光パターンとしては、単位受光動作の実行周期に同期して期間Ｄｍによる繰り返し発光を４回行う発光パターンとされる。

なお、転送駆動信号ＳＴＧ－Ａ、ＳＴＧ－Ｂを用いて行われる単位受光動作は距離画像取得時と階調画像取得時とで同様となるため重複説明は避ける。

以下、画像使用処理の処理種別に応じた具体的な発光パターンの例について説明する。
ユーザ認証処理は、図８の説明から理解されるように、車両が停車中であることを条件として行われる処理とされる。
一方で、姿勢認識処理については、車両が走行中に行われる処理とされる。
車両が走行中であるときは、車両が停車中である場合と比較して外光の変化が大きくなる傾向となる。一方で、距離画像を取得することを前提とした場合、繰り返し発光の期間Ｄｍを長くすると、外光変化の影響を受けやすくなり、測距精度の低下を招いてしまう。

また、ユーザ認証処理では顔認証や虹彩認証を行うため、光量を可能な限り上げて画像のコントラストや解像の度合いを向上させることが望ましい。

そこで本例では、ユーザ認証処理（停止中処理）が行われる場合と、姿勢認識処理（走行中処理）が行われる場合とで、センサ部１０の１フレームあたりの受光量を変化させるように発光パターンの切り替えを行う。具体的には、ユーザ認証処理が行われる場合は、姿勢認識処理が行われる場合よりも上記受光量が大きくなるように発光パターンの切り替えを行う。

ここで、ユーザ認証処理は、階調画像を用いて行われる場合もある。また、走行中に行われる処理として、注意度検出処理は、階調画像を用いて行われる処理となる。
階調画像についても、外光変化の影響を受ける。
このため本例では、階調画像を用いて行われるユーザ認証処理と注意度検出処理についても、同様にセンサ部１０の１フレームあたりの受光量を変化させるように発光パターンの切り替えを行う。つまりは、階調画像を用いたユーザ認証処理（停止中処理）が行われる場合と、同じく階調画像が用いられる注意度検出処理（走行中処理）が行われる場合とで、上記受光量を変化させるように発光パターンの切り替えを行う。具体的には、階調画像を用いたユーザ認証処理が行われる場合は、注意度検出処理が行われる場合よりも上記受光量が大きくなるように発光パターンの切り替えを行う。

以下、画像使用処理の処理種別ごとの発光パターンについて、具体的な数値例を挙げる。
先ず、ユーザ認証処理について、階調画像を用いるときの発光パターンについては、発光電流値（レーザパワー）＝４Ａ（アンペア）、期間Ｄｓ（ＯＮデューティ１００％の連続発光の期間）＝５６０μｓとする。
また、ユーザ認証処理について、距離画像を用いるときの発光パターンは、本例では、繰り返し発光の期間Ｄｍを、上記の期間Ｄｓの２倍とする（実効的光量を階調画像を用いる場合と同等とするため）。具体的に、距離画像を用いるときの発光パターンについては、発光電流値＝４Ａ、期間Ｄｍ＝１１２０μｓ（約１ｍｓ）とする。

姿勢認識処理（本例では距離画像を用いて行われる）に対応した発光パターンは、距離画像を用いたユーザ認証処理時よりもセンサ部１０の１フレームあたりの受光量が少なくなるようにする。例えば、発光電流値＝４Ａ、期間Ｄｍ＝２８０μｓとする。

注意度検出処理（本例では階調画像を用いて行われる）に対応した発光パターンは、階調画像を用いたユーザ認証処理時よりもセンサ部１０の１フレームあたりの受光量が少なくなるようにする。例えば、発光電流値＝４Ａ、期間Ｄｓ＝２８０μｓとする。

座席忘れ物検知処理（本例では階調画像を用いて行われる）は、ユーザ認証処理と同様に停車中であることを条件に行われる画像使用処理となる。このため、走行中において階調画像を用いて行われる注意度検出処理時よりも、センサ部１０の１フレームあたりの受光量が大きくなるようにする。例えば、発光電流値＝４Ａ、期間Ｄｍ＝８４０μｓとする。

ここで、同じ停車中に行われる処理として、ユーザ認証処理は、運転者を対象とした処理、すなわち車内における前列席のみを対象とした処理となるのに対し、座席忘れ物検知処理は、前列席のみでなく後列席も対象とした処理となる。このため、上記数値例として示したように、本例では、座席忘れ物検知処理（後列対象処理：期間Ｄｓ＝８４０μｓ）が行われる場合は、ユーザ認証処理（前列対象処理：期間Ｄｓ＝５６０μｓ）が行われる場合よりも、１フレームあたりの発光量を増大させるように発光パターンの切り替えを行っている。

これにより、後列席にも照射光Ｌｉが届きやすくなり、座席忘れ物検知処理の精度向上を図ることができる。

なお、前述した感情推定処理については、距離画像を用いて行われる処理、且つ走行中に行われる処理となるが、対応する発光パターンについては例えば発光電流値＝４Ａ、期間Ｄｍ＝２８０μｓとすることが考えられる。
このような発光パターンとした場合、同じ距離画像を用いる処理であって、停車中に行われるユーザ認証処理と比較して、センサ部１０の１フレームあたりの受光量が少なくなるようにされている。つまり、この場合も、距離画像を用いる画像使用処理について、停車中処理が行われる場合は、走行中処理が行われる場合よりも上記受光量が大きくなるように発光パターンの切り替えを行うことに相当する。

なお、上記した数値具体例について、期間Ｄｓ、期間Ｄｍ、発光電流値の数値はあくまでも一例に過ぎず、実際の実施形態等に応じて適宜変更が可能なものである。

ここで、本例のセンサ装置１においては、図３に示した設定情報１５ａとして、上記で例示したような処理種別ごとの発光パターンを実現するための発光部１１の動作設定情報が記憶されている。
センサ装置１における制御部１４は、情報処理装置２（ＣＰＵ２１）から処理種別に応じた発光パターン指示が行われたことに応じ、設定情報１５ａとして記憶された動作設定情報のうち、ＣＰＵ２１からの指示に対応する動作設定情報に基づいて発光部１１の発光動作を制御する。これにより、発光部１１が処理種別に応じた適切な発光パターンで発光することになる。

（5-2．ＨＤＲ）
続いて、センサ装置１により階調画像、距離画像についてのＨＤＲ（High Dynamic Range）画像を取得させるための発光部１１の発光パターンについて説明する。
図１５は、階調画像についてのＨＤＲ画像を得るための発光パターンの説明図である。ここでは、例えば３枚の階調画像から１枚のＨＤＲ画像を得る場合を例示する。

階調画像についてのＨＤＲ合成を行うにあたっては、合成対象となる複数の階調画像を得る際の階調画像ごとの発光パターンの切り替え制御として、階調画像ごとに発光部１１の発光量を異ならせる制御を行う。具体的に、合成対象となる各階調画像を得るにあたっての発光パターンとしては、図１５Ａ、図１５Ｂ、図１５Ｃに示すように、ＯＮデューティ１００％による連続発光の期間Ｄｓの長さをそれぞれ短、中、長とした発光パターンとする。

前述のように本実施形態のセンサ装置１では、１フレーム期間Ｆ内において４回の単位受光動作を行う。そのため、この場合における期間Ｄｓ＝短の発光パターンとしては、１フレーム期間Ｆ内において期間Ｄｓ＝短による連続発光を４回繰り返す発光パターンとする。同様に、期間Ｄｓ＝中、期間Ｄｓ＝長の発光パターンについては、それぞれ、１フレーム期間Ｆ内において期間Ｄｓ＝中、期間Ｄｓ＝長による連続発光を４回繰り返す発光パターンとする。

情報処理装置２のＣＰＵ２１は、階調画像を用いる画像使用処理（例えば前述したユーザ認証処理や注意度検出処理等）において、階調画像としてＨＤＲ画像の取得が要求される場合に対応して、センサ装置１（制御部１４）に対し、上記のようなＨＤＲ画像取得のための発光パターンにより発光部１１を発光させるための制御を行う。具体的には、合成対象となる各階調画像を得るための発光パターンが、それぞれ期間Ｄｓの長さが異なる発光パターンとなるように、制御部１４に対する発光パターンの切り替え制御を行う。

図１６は、距離画像についてのＨＤＲ画像を得るための発光パターンの説明図である。例えば、３枚の距離画像から１枚のＨＤＲ画像を得る場合を例示する。
距離画像についてのＨＤＲ合成を行うにあたっては、合成対象となる複数の距離画像を得る際の距離画像ごとの発光パターンの切り替え制御として、距離画像ごとに測距のための繰り返し発光の期間Ｄｍの長さを異ならせる制御を行う。具体的に、合成対象となる各距離画像を得るにあたっての発光パターンとしては、図１６Ａ、図１６Ｂ、図１６Ｃに示すように、繰り返し発光の期間Ｄｍの長さをそれぞれ短、中、長とした発光パターンとする。
本実施形態では、１フレーム期間Ｆ内に４回の単位受光動作が行われることに対応するため、これら期間Ｄｍ＝短、期間Ｄｍ＝中、期間Ｄｍ＝長による実際の発光パターンとしては、それぞれ１フレーム期間Ｆ内において期間Ｄｍによる連続発光を４回繰り返す発光パターンとする。

なお、期間Ｄｍ＝短、中、長それぞれの具体例としては、例えば短＝１４０μｓ、中＝２８０μｓ、長＝４２０μｓとすることが考えられる。

情報処理装置２のＣＰＵ２１は、例えば前述したユーザ認証処理や姿勢認識処理等、距離画像を用いる画像使用処理において、距離画像としてＨＤＲ画像の取得が要求される場合に対応して、センサ装置１の制御部１４に対し、上記のようなＨＤＲ画像取得のための発光パターンにより発光部１１を発光させるための制御を行う。具体的には、合成対象となる各距離画像を得るための発光パターンが、それぞれ期間Ｄｍの長さが異なる発光パターンとなるように、制御部１４に対する発光パターンの切り替え制御を行う。

ここで、繰り返し発光の期間Ｄｍを「長」とした場合は、単位受光動作中における実効的発光量が大となるため、遠景物体からの反射光Ｌｒが得られやすくなる一方で、近景物体にとっては光量が過大となり、近景物体の距離情報にノイズが混入しやすくなる（階調画像において光量が過大であると白飛びが発生するイメージに近い）。逆に、繰り返し発光の期間Ｄｍを「短」とした場合は、単位受光動作中における実効的発光量が小となるため、遠景物体からの反射光Ｌｒが得られ難くなる一方で、近景物体にとっては光量が適切となり近景物体について低ノイズな距離情報を得やすくなる。
距離画像のＨＤＲ合成としては、繰り返し発光の期間Ｄｍについて、期間Ｄｍ＝短により得た距離画像に関しては近景の画素（例えば距離情報の信頼度が高い画素）のみを抽出し、期間Ｄｍ＝中により得た距離画像に関しては中景の画素（近景と遠景の間に位置する物体の距離情報が得られている画素）のみを抽出し、期間Ｄｍ＝長により得た距離画像に関しては遠景の画素のみを抽出し、それら抽出した各画素の距離情報を１枚の距離画像として合成する、という手法により行うことが考えられる。
例えばこのような手法により各距離画像の合成を行うことで、近景から遠景までノイズ抑制が図られた距離画像を得ることができる。換言すれば、近景物体から遠景物体まで適正に距離情報を示す距離画像を得ることができる。

なお、上記ではＨＤＲ画像を得るための発光パターンの例として、期間Ｄｍ＝短、期間Ｄｍ＝中、期間Ｄｍ＝長の３パターンの発光パターンを採用するものとしたが、用途により、例えば期間Ｄｍ＝短、期間Ｄｍ＝中のみ、或いは期間Ｄｍ＝中、期間Ｄｍ＝長のみのような２パターンの発光パターンを採用することもできる。４パターン以上の発光パターンの採用も可能である。

図１７は、ＨＤＲ合成に係る変形例としての発光パターンについての説明図である。
図示のようにこの変形例においては、１フレーム期間Ｆ内において、距離画像取得のための期間Ｄｍによる繰り返し発光を複数回行うと共に、各期間Ｄｍの間に、階調画像取得のための期間Ｄｓによる連続発光を行う。このとき、階調画像取得のための各連続発光については、それぞれ期間Ｄｓの長さを異ならせる（図中では期間Ｄｓを短、中、長の順で異ならせている）。

このような発光パターンとすることで、距離画像とＨＤＲ画像としての階調画像とを取得するにあたり、距離画像を取得するためのフレーム期間と階調画像を取得するためのフレーム期間とを個別に設ける必要がなくなり、フレームレートの低下抑制を図ることができる。

<６．変形例>
なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得る。
例えば、上記では、車内監視の例において、センサ装置１を車内に一つのみ設ける例を挙げたが、例えば前列席用に一つ、後列席用に一つの計二つを設ける等、センサ装置１を複数設けた構成とすることも可能である。

また、本技術については、車内監視への適用に限定されるものでなく、例えば宅内や社内等の屋内監視の用途や、車外、屋外の監視用途等、他用途への適用も可能である。

また、上記では、ＨＤＲ画像を得るための発光パターンの切り替え制御に関して、インダイレクトＴｏＦ方式に対応したセンシングモジュールＳＭを用いる前提としたが、ＨＤＲ画像を得るための発光パターンの切り替え制御としては、例えば、ダイレクトＴｏＦ用やＬｉＤＡＲ（Light Detection and Ranging）用のセンシングモジュールや、ＩＲセンサ（ＩＲ光を受光可能な画像センサ）とＩＲ発光部を組み合わせたセンシングモジュール、ＲＧＢＩＲセンサとＩＲ発光部を組み合わせたセンシングモジュール等、発光部と、発光部より発せられ対象物で反射された光を受光するセンサ部とを有するセンシングモジュールが用いられる場合に広く好適に適用可能なものである。

<７．実施形態のまとめ>
上記により説明したように、実施形態としての制御装置（情報処理装置２）は、発光部（同１１）と、発光部より発せられ対象物で反射された光についてインダイレクトＴｏＦ方式に対応した受光動作が可能に構成されたセンサ部（同１０）とを有するセンシングモジュール（同ＳＭ）における発光部の発光パターンについて、少なくとも二種以上の発光パターン間での切り替え制御を行う制御部（ＣＰＵ２１）を備えたものである。
インダイレクトＴｏＦ方式に対応したセンサ部は、インダイレクトＴｏＦ方式による距離画像の取得のみでなく、ＩＲ（Infrared：赤外線）画像等、発光部の発光波長帯の光についての階調画像を得るように構成することが可能である。上記のように発光部の発光パターンの切り替えが可能とされることで、例えば距離画像取得用の発光パターンと階調画像取得用の発光パターンとの切り替えを行ったり、或いはセンサ部により得られる画像を用いて行われる画像使用処理の処理種別に応じた発光パターンに切り替えを行う等、センサ部の用途に応じた適切な発光パターンに切り替えることが可能とされる。
従って、インダイレクトＴｏＦ方式に対応した受光動作が可能に構成されたセンサ部について、用途に応じた適切な画像取得が行われるようにすることができる。

また、実施形態としての制御装置においては、制御部は、センサ部により得られる画像を用いて行われる画像使用処理の処理種別に応じて発光パターンの切り替え制御を行っている（図１０から図１４等参照）。
画像使用処理としては、距離画像を用いた被写体の姿勢認識処理や、階調画像を用いた被写体の認証処理等、様々な処理がある。上記構成によれば、例えばこれら姿勢認識処理や認証処理の別等としての画像使用処理の処理種別に応じて、適切とされる発光パターンに切り替えを行うことが可能とされる。
従って、それぞれの画像使用処理において適切とされる態様による画像が使用されるように図ることができる。

さらに、実施形態としての制御装置においては、センサ部は、階調画像の取得が可能に構成され、制御部は、画像使用処理が距離画像を用いる処理である場合と階調画像を用いる処理である場合とで発光パターンの切り替えが行われるように制御している（図１２から図１４等参照）。
これにより、距離画像を要する画像使用処理が行われる場合には距離画像の取得に適した発光パターンにより発光部を発光させ、階調画像を要する画像使用処理が行われる場合には距離画像の取得に適した発光パターンにより発光部を発光させることが可能となる。
従って、それぞれの画像使用処理において適切な画像が使用されるように図ることができる。

さらにまた、実施形態としての制御装置においては、制御部は、画像使用処理が距離画像を用いる処理である場合には、ＯＮデューティが５０％以下の繰り返し発光による発光パターンにより発光部を発光させ、画像使用処理が階調画像を用いる処理である場合にはＯＮデューティを１００％とした発光パターンにより発光部を発光させている。
これにより、距離画像、階調画像のそれぞれについて適切な画像取得を実現できると共に、階調画像についてフレームレート低下の抑制を図ることができる。

また、実施形態としての制御装置においては、制御部は、処理種別に応じて、センサ部の１フレームあたりの受光量を変化させるように発光パターンの切り替え制御を行っている。
例えば画像使用処理としてユーザの認証処理や注意度検出処理が行われる場合には処理精度向上のため高解像画像が要請されることから、コントラスト向上のためセンサ部の受光量を向上させたいといったように、画像使用処理の処理種別が異なれば、受光量を変化させたい場合がある。
上記構成によれば、画像使用処理の処理種別に応じた適切な受光量となるように発光パターンを制御することができる。

さらに、実施形態としての制御装置においては、制御部は、測距のための繰り返し発光を行う期間である繰り返し発光期間（期間Ｄｍ）の長さが距離画像を用いる画像使用処理の処理種別に応じて変化されるように発光パターンの切り替え制御を行っている。
インダイレクトＴｏＦ方式による測距においては、測距用の光として例えばＩＲ光等の可視光帯以外の光を用いる場合あっても、１フレームあたりの受光期間が長いと、外光の変化が大きい場合にその影響を受け易くなる。一方で、距離画像を使用する画像使用処理としては、例えば停車中に行われる処理と走行中に行われる処理等、外光変化が小さいシーンで行われる処理と外光変化が大きいシーンで行われる処理とが存在する場合がある。
上記構成によれば、距離画像を使用する画像使用処理うち、例えば上記のような外光変化が大きいシーン、小さいシーンでそれぞれ行われる処理について、センサ部の１フレームあたりの受光量を適正化することが可能となり、画像使用処理の処理精度向上を図ることができる。

さらにまた、実施形態としての制御装置においては、制御部は、合成対象となる複数の距離画像を得る際の距離画像ごとの発光パターンの切り替え制御として、距離画像ごとに測距のための繰り返し発光期間の長さを異ならせる制御を行っている（図１６等参照）。
これにより、繰り返し発光期間の長さを異ならせた複数枚の距離画像を得ることが可能となる。
従って、それらの距離画像を合成することで、近景物体から遠景物体まで適正に距離情報を示す距離画像を得ることができる。

また、実施形態としての制御装置においては、制御部は、合成対象となる複数の階調画像を得る際の階調画像ごとの発光パターンの切り替え制御として、階調画像ごとに発光部の発光量を異ならせる制御を行っている。
これにより、例えばＩＲ画像等、特定波長帯の光を選択的に受光して得られる階調画像について、明るさの異なる複数の画像を得ることが可能とされる。
従って、インダイレクトＴｏＦ方式に対応したセンサ部を用いて階調画像を生成する場合において、階調画像のＨＤＲ合成を行うことができる。

さらに、実施形態としての制御装置においては、車両に搭載されたセンシングモジュールにおける発光部について発光パターンの切り替え制御を行う車載装置とされている。
これにより、車内の乗員監視等の車内監視に用いられるセンサ部について、センサ部の用途に応じた適切な発光パターンに切り替えることが可能とされる。
従って、車内監視に用いられるセンサ部について、用途に応じた適切な画像取得が行われるようにすることができる。

さらにまた、実施形態としての制御装置においては、センサ部により得られる画像を用いて行われる画像使用処理として、車両が停車中であることを条件に行われる停車中処理と、車両が走行中に行われる走行中処理とがあり、制御部は、停車中処理が行われる場合と走行中処理が行われる場合とで、センサ部の１フレームあたりの受光量を変化させるように発光パターンの切り替え制御を行っている。
停車中は外光変化が小さく走行中は外光変化が大きいと言える。また一方で、例えば距離画像を得る際に繰り返し発光期間を長くする（つまり１フレームあたりの受光量を多くする）と、外光変化の影響を受けやすくなり測距精度の低下を招く。上記構成によれば、例えば外光変化が大きい走行中処理時には１フレームあたりの受光量を停車中処理時よりも少なくして測距精度の低下防止を図る等、外光変化による影響を考慮した適切な受光量調整を行うことが可能となる。
従って、画像使用処理に用いる画像として外光変化の大きさに応じた適切な画像が得られるように図ることができ、画像使用処理の精度向上を図ることができる。

また、実施形態としての制御装置においては、車両は座席として運転席を含む前列席と該前列席よりも後側の後列席とを有し、センサ部により得られる画像を用いて行われる画像使用処理として、前列席と後列席のうち前列席側のみを対象とした前列対象処理と、後列席を対象に含む後列対象処理とがあり、制御部は、後列対象処理が行われる場合は前列対象処理が行われる場合よりも１フレームあたりの発光量を増大させるように発光パターンの切り替え制御を行っている。
これにより、後列席を対象に含む後列対象処理が行われる場合に対応して発光量を増大させることが可能となる。
従って、後列対象処理の精度向上を図ることができる。

実施形態としての制御方法は、発光部と、発光部より発せられ対象物で反射された光についてインダイレクトＴｏＦ方式に対応した受光動作が可能に構成されたセンサ部とを有するセンシングモジュールにおける発光部の発光パターンについて、少なくとも二種以上の発光パターン間での切り替え制御を行う制御方法である。
このような制御方法によっても、上記した実施形態としての制御装置と同様の作用及び効果を得ることができる。

また、実施形態の別の制御装置は、発光部と、発光部より発せられ対象物で反射された光を受光するセンサ部とを有するセンシングモジュールにおける発光部の発光パターンの切り替え制御を行う制御部を備え、制御部は、合成対象となる複数の画像を得る際の画像ごとの発光パターンの切り替え制御として、画像ごとに、センサ部の１フレームあたりの受光量を変化させる制御を行うものである。
これにより、発光部と、発光部より発せられ対象物で反射された光を受光するセンサ部とを有するセンシングモジュールにより画像センシングを行うシステムにおいて、ＨＤＲ画像の生成を行うことができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

<８．本技術>
なお本技術は以下のような構成も採ることができる。
（１）
発光部と、前記発光部より発せられ対象物で反射された光についてインダイレクトＴｏＦ方式に対応した受光動作が可能に構成されたセンサ部とを有するセンシングモジュールにおける前記発光部の発光パターンについて、少なくとも二種以上の発光パターン間での切り替え制御を行う制御部を備えた
制御装置。
（２）
前記制御部は、前記センサ部により得られる画像を用いて行われる画像使用処理の処理種別に応じて前記発光パターンの切り替え制御を行う
前記（１）に記載の制御装置。
（３）
前記センサ部は、階調画像の取得が可能に構成され、
前記制御部は、前記画像使用処理が距離画像を用いる処理である場合と階調画像を用いる処理である場合とで前記発光パターンの切り替えが行われるように制御する
前記（２）から（４）の何れかに記載の制御装置。
（４）
前記制御部は、前記画像使用処理が距離画像を用いる処理である場合には、ＯＮデューティが５０％以下の繰り返し発光による発光パターンにより前記発光部を発光させ、前記画像使用処理が階調画像を用いる処理である場合にはＯＮデューティを１００％とした発光パターンにより前記発光部を発光させる
前記（３）に記載の制御装置。
（５）
前記制御部は、前記処理種別に応じて、前記センサ部の１フレームあたりの受光量を変化させるように前記発光パターンの切り替え制御を行う
前記（２）から（４）の何れかに記載の制御装置。
（６）
前記制御部は、測距のための繰り返し発光を行う期間である繰り返し発光期間の長さが距離画像を用いる前記画像使用処理の処理種別に応じて変化されるように前記発光パターンの切り替え制御を行う
前記（２）から（５）の何れかに記載の制御装置。
（７）
前記制御部は、合成対象となる複数の距離画像を得る際の前記距離画像ごとの前記発光パターンの切り替え制御として、前記距離画像ごとに測距のための繰り返し発光期間の長さを異ならせる制御を行う
前記（１）から（６）の何れかに記載の制御装置。
（８）
前記制御部は、合成対象となる複数の階調画像を得る際の前記階調画像ごとの前記発光パターンの切り替え制御として、前記階調画像ごとに前記発光部の発光量を異ならせる制御を行う
前記（１）から（６）の何れかに記載の制御装置。
（９）
車両に搭載された前記センシングモジュールにおける前記発光部について発光パターンの切り替え制御を行う車載装置とされた
前記（１）から（８）の何れかに記載の制御装置。
（１０）
前記センサ部により得られる画像を用いて行われる画像使用処理として、前記車両が停車中であることを条件に行われる停車中処理と、前記車両が走行中に行われる走行中処理とがあり、
前記制御部は、前記停車中処理が行われる場合と前記走行中処理が行われる場合とで、前記センサ部の１フレームあたりの受光量を変化させるように前記発光パターンの切り替え制御を行う
前記（９）に記載の制御装置。
（１１）
前記車両は座席として運転席を含む前列席と該前列席よりも後側の後列席とを有し、
前記センサ部により得られる画像を用いて行われる画像使用処理として、前記前列席と前記後列席のうち前記前列席側のみを対象とした前列対象処理と、前記後列席を対象に含む後列対象処理とがあり、
前記制御部は、前記後列対象処理が行われる場合は前記前列対象処理が行われる場合よりも１フレームあたりの発光量を増大させるように前記発光パターンの切り替え制御を行う
前記（９）又は（１０）に記載の制御装置。
（１２）
発光部と、前記発光部より発せられ対象物で反射された光についてインダイレクトＴｏＦ方式に対応した受光動作が可能に構成されたセンサ部とを有するセンシングモジュールにおける前記発光部の発光パターンについて、少なくとも二種以上の発光パターン間での切り替え制御を行う
制御方法。

１ センサ装置
２ 情報処理装置
３ 制御対象機器
Ｆｖ 視野
ＳＭ センシングモジュール
Ｏｂ 対象物
Ｌｉ 照射光
Ｌｒ 反射光
１０ センサ部
１１ 発光部
１１ａ 発光素子
１２ 画像生成部
１３ 画像メモリ
１４ 制御部
１５ 不揮発性メモリ
１５ａ 設定情報
１６ 通信Ｉ／Ｆ（インタフェース）
Ｐｘ 画素
１１１ 画素アレイ部
１２０ 行駆動線
１２１，１２１－Ａ，１２１－Ｂ ゲート駆動線
１２２，１２２－Ａ，１２２－Ｂ 垂直信号線
ＰＤ フォトダイオード
ＦＤ，ＦＤ－Ａ，ＦＤ－Ｂ フローティングディフュージョン
ＴＧ，ＴＧ－Ａ，ＴＧ－Ｂ 転送トランジスタ
ＳＴＧ，ＳＴＧ－Ａ，ＳＴＧ－Ｂ 転送駆動信号
ＳＳＥＬ 選択信号
Ｄｓ，Ｄｍ 期間

Claims (13)

1. 発光部と、前記発光部より発せられ対象物で反射された光についてインダイレクトＴｏＦ方式に対応した受光動作が可能に構成されたセンサ部とを有するセンシングモジュールにおける前記発光部の発光パターンについて、少なくとも二種以上の発光パターン間での切り替え制御を行う制御部を備えた
   制御装置。
2. 前記制御部は、前記センサ部により得られる画像を用いて行われる画像使用処理の処理種別に応じて前記発光パターンの切り替え制御を行う
   請求項１に記載の制御装置。
3. 前記センサ部は、階調画像の取得が可能に構成され、
   前記制御部は、前記画像使用処理が距離画像を用いる処理である場合と階調画像を用いる処理である場合とで前記発光パターンの切り替えが行われるように制御する
   請求項２に記載の制御装置。
4. 前記制御部は、前記画像使用処理が距離画像を用いる処理である場合には、ＯＮデューティが５０％以下の繰り返し発光による発光パターンにより前記発光部を発光させ、前記画像使用処理が階調画像を用いる処理である場合にはＯＮデューティを１００％とした発光パターンにより前記発光部を発光させる
   請求項３に記載の制御装置。
5. 前記制御部は、前記処理種別に応じて、前記センサ部の１フレームあたりの受光量を変化させるように前記発光パターンの切り替え制御を行う
   請求項２に記載の制御装置。
6. 前記制御部は、測距のための繰り返し発光を行う期間である繰り返し発光期間の長さが距離画像を用いる前記画像使用処理の処理種別に応じて変化されるように前記発光パターンの切り替え制御を行う
   請求項２に記載の制御装置。
7. 前記制御部は、合成対象となる複数の距離画像を得る際の前記距離画像ごとの前記発光パターンの切り替え制御として、前記距離画像ごとに測距のための繰り返し発光期間の長さを異ならせる制御を行う
   請求項１に記載の制御装置。
8. 前記制御部は、合成対象となる複数の階調画像を得る際の前記階調画像ごとの前記発光パターンの切り替え制御として、前記階調画像ごとに前記発光部の発光量を異ならせる制御を行う
   請求項１に記載の制御装置。
9. 車両に搭載された前記センシングモジュールにおける前記発光部について発光パターンの切り替え制御を行う車載装置とされた
   請求項１に記載の制御装置。
10. 前記センサ部により得られる画像を用いて行われる画像使用処理として、前記車両が停車中であることを条件に行われる停車中処理と、前記車両が走行中に行われる走行中処理とがあり、
    前記制御部は、前記停車中処理が行われる場合と前記走行中処理が行われる場合とで、前記センサ部の１フレームあたりの受光量を変化させるように前記発光パターンの切り替え制御を行う
    請求項９に記載の制御装置。
11. 前記車両は座席として運転席を含む前列席と該前列席よりも後側の後列席とを有し、
    前記センサ部により得られる画像を用いて行われる画像使用処理として、前記前列席と前記後列席のうち前記前列席側のみを対象とした前列対象処理と、前記後列席を対象に含む後列対象処理とがあり、
    前記制御部は、前記後列対象処理が行われる場合は前記前列対象処理が行われる場合よりも１フレームあたりの発光量を増大させるように前記発光パターンの切り替え制御を行う
    請求項９に記載の制御装置。
12. 発光部と、前記発光部より発せられ対象物で反射された光についてインダイレクトＴｏＦ方式に対応した受光動作が可能に構成されたセンサ部とを有するセンシングモジュールにおける前記発光部の発光パターンについて、少なくとも二種以上の発光パターン間での切り替え制御を行う
    制御方法。
13. 発光部と、前記発光部より発せられ対象物で反射された光を受光するセンサ部とを有するセンシングモジュールにおける前記発光部の発光パターンの切り替え制御を行う制御部を備え、
    前記制御部は、
    合成対象となる複数の画像を得る際の前記画像ごとの前記発光パターンの切り替え制御として、前記画像ごとに、前記センサ部の１フレームあたりの受光量を変化させる制御を行う
    制御装置。

Images