JP2019110518A - 撮像装置および撮像システム - Google Patents

Abstract

【課題】広い画角を実現しつつ、センシングに重要な部分の解像度を高める。【解決手段】画像センサと、光学系と、を備え、前記画像センサの撮像面は、第１の領域と、前記第１の領域と異なる第２の領域とを含む。前記光学系は、前記第１の領域における像の解像度が、前記第２の領域における像の解像度よりも高くなるように前記撮像面上に前記被写体像を結像する。前記第１の領域は、前記撮像面において人の顔の像が結像される領域を含むように配置される。【選択図】図７

Description

本開示は、画像を撮像する撮像装置および撮像システムに関する。

特許文献１は、画像取得手段と、車両情報取得手段と、乗員検出手段と、を有する乗員検出装置を開示する。画像取得手段は、車両の車室内を撮像するカメラから、車室内の撮像画像を取得する。車両情報取得手段は、車両の動きに関する車両情報であって、車両において検出された車両情報を取得する。乗員検出手段は、撮像画像に基づいて検出された、物体の像が結像された画像領域の経時的な画像変化量と、当該物体の動きが検出されたタイミングにおける車両情報とに基づいて、車室内に存在する物体が乗員であるか否かを判断して乗員を検出する。

この構成によれば、車両の動きと車室内の物体の動きとの関係に基づいて車室内の物体が乗員であることを検出するので、荷物または外乱光による虚像と乗員とを判別できるため、車室内の乗員を精度よく検知することができる。

特開２０１４−２１０４７７号公報

車室内の画像を撮像する場合、できるだけ多くの情報を得るために広角で撮影することが望まれる。しかしながら、画角を広くすると画像の単位面積当たりの画素数が減少し、被写体（例えば、乗員の顔）の画質は低下する。このため、広角で撮像された画像を用いて画像解析を行った場合、解析のための画素数が不足し、解析精度が低下する。

本開示は、広い画角を実現しつつ、画像解析に重要な部分（例えば、人の顔）の領域について高い解像度の画像を得ることができる撮像装置を提供する。

本開示の撮像装置は、複数の画素が二次元的に配置された撮像面を含み、前記撮像面上に結像された被写体像から画像データを生成する画像センサと、所定の垂直画角と所定の水平画角の範囲にある前記被写体像を前記撮像面上に結像させる光学系と、を備える。

単位画角に含まれる前記被写体像を撮像する画素の数を解像度とする。前記撮像面は、第１の領域と、前記第１の領域と異なる第２の領域とを含む。

前記光学系は、前記被写体像のうち前記第１の領域における第１被写体像の解像度が、前記被写体像のうち前記第２の領域における第２被写体像の解像度よりも高くなるように前記撮像面上に前記被写体像を結像する。前記第１の領域は、前記撮像面において人の顔の像が結像される領域を含むように配置される。

本開示の撮像システムは、前記撮像装置と、前記撮像装置により生成された前記画像データを解析する制御装置と、を備える。前記制御装置は、前記画像データが示す画像において、前記第１の領域に結像された画像を解析する。

本開示は、広い画角を実現しつつ、画像解析に重要な部分（例えば、人の顔）の領域について高い解像度の画像を得ることができる撮像装置を提供できる。

自動車の車両に搭載された本開示の実施の形態における撮像システムの構成を示す図 撮像システムにおける制御装置の構成を示す図 撮像システムにおける撮像装置の構成を示す図 撮像装置の撮像範囲を説明するための図 撮像装置により撮像される車室の範囲を説明するための図 車室内の被写体のうち、拡大して撮像される領域の例を説明した図 撮像装置で撮像された画像の解像度（拡大率）の分布を説明するための図 撮像装置の光学系の構成を模式的に示した図 撮像装置の光学系により画像センサ上に結像される像の解像度を説明するための図 撮像装置の光学系に使用される自由曲面レンズの解像度（角度分解能）特性を示した図 実施の形態１の撮像装置における光学系と画像センサとを例示した図 実施の形態２の撮像装置における光学系と画像センサとを例示した図 実施の形態２の撮像装置における光学系の解像度特性を示した図 実施の形態２の撮像装置における画像センサの画素密度を示した図 実施の形態１の撮像装置をバスに適用した場合の拡大領域を説明した図 実施の形態１の撮像装置を鉄道車両に適用した場合の拡大領域を説明した図 実施の形態１の撮像装置を航空機に適用した場合の拡大領域を説明した図 実施の形態１の撮像装置を航空機のコックピット内に適用した場合を説明した図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
［１−１．全体構成］
図１は、本開示に係る撮像装置を、移動体の一例である自動車の室内のカメラに適用した例を示した図である。図１の例では、自動車の車両１００内に、車内の乗員の様子を撮像できるように撮像装置１０が取り付けられている。

車両１００は、撮像装置１０と、制御装置２０と、表示装置３０と、制御対象６０とを備える。撮像装置１０は、被写体を撮像して画像データを生成する。制御装置２０は、撮像装置１０からの画像データを処理する。表示装置３０は、制御装置２０により処理された画像データに基づき画像を表示する。制御対象６０は、制御装置２０により制御される。撮像装置１０と制御装置２０は撮像システムを構成する。

表示装置３０は、液晶表示パネルまたは有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示デバイスと、表示デバイスを駆動する駆動回路とを備える。表示装置３０は、電子ルームミラーまたは車載ディスプレイ等であり、種々の情報（地図、ルート案内、ラジオ選局、および各種設定等）を表示できる。表示装置３０は、撮像装置１０により撮像された車内の画像を表示することもできる。

制御装置２０は、撮像装置１０から画像データを受信し、画像解析を行って所定の条件を検出し、検出した結果に応じて制御対象６０を制御する。制御対象６０は、例えば、ブレーキ、アクセル、ステアリング、および警告装置の少なくとも一つである。また、制御装置２０は、撮像装置１０からの画像データに対して所定の画像処理を施し、表示装置３０に表示させる画像データを生成する。

以下、撮像装置１０及び制御装置２０それぞれの具体的な構成を説明する。

［１−１−１．制御装置］
図２は、制御装置２０の構成を示すブロック図である。制御装置２０は、第１インタフェース２３と、コントローラ２１と、データ記憶部２９とを備える。第１インタフェース２３は、撮像装置１０から画像データを入力する。コントローラ２１は、入力した画像データに対して画像処理及び画像解析を行う。データ記憶部２９は、データ等を格納する。さらに、制御装置２０は、第２インタフェース２５と、第３インタフェース２７と、移動体通信システム２８と、を備える。第２インタフェース２５は、コントローラ２１が生成した画像データを表示装置３０へ送信する。第３インタフェース２７は、制御対象６０を制御するための制御信号を制御対象６０へ送信する。移動体通信システム２８は、テレマティクスのための情報をクラウド上のサーバへ送受信する。

コントローラ２１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含み、データ記憶部２９に格納されたプログラムを実行することで種々の機能を実現する。コントローラ２１は、所望の機能を実現するように設計された専用のハードウェア回路を含んでも良い。すなわち、コントローラ２１は、ＣＰＵ、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等を含んでもよい。

データ記憶部２９は、ハードディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または半導体メモリなどの記録媒体である。データ記憶部２９は、コントローラ２１で実行されるプログラムおよびコントローラ２１で生成されたデータ等を格納する。第１〜第３インタフェース２３、２５、２７は、通信を行うための回路である。移動体通信システム２８は、車両１００の走行に関する運転情報（走行距離、運転速度、急発進、および急ブレーキ等の情報の少なくともいずれか一つ）を取得し、テレマティクス用のサーバへ送信する通信装置である。移動体通信システム２８は、さらに、撮像装置１０により撮像された画像の解析結果も運転情報としてサーバへ送信し、情報を利活用した各種サービスを受信する。

［１−１−２．撮像装置］
図３は、撮像装置１０の構成を示すブロック図である。図３に示すように、撮像装置１０は、光学系１１と、画像センサ１２と、信号処理回路１３と、インタフェース１４と、を備える。画像センサ１２は、光学系１１を介して受光した被写体像を撮像し、画像信号を生成する。信号処理回路１３は、画像信号に対して所定の画像処理（ガンマ補正、および歪曲補正等）を施す。インタフェース１４は、信号処理回路１３で信号処理された画像信号を外部機器へ出力する。

光学系１１は、画像センサ１２の撮像面に像を結像させる光学素子である。光学系１１は、レンズ、絞り、およびフィルタ等を含む。光学系１１の詳細は後述する。

画像センサ１２は、光学信号を電気信号に変換する撮像素子である。画像センサ１２は、複数の画素が等間隔で二次元的に配置されている撮像面を含む。画像センサ１２は、可視光領域のみならず非可視光領域（例えば、０．７〜２．５μｍの波長を有する近赤外線光の領域）においても感度を有するように構成されていてもよい。すなわち、画像センサ１２は、ＲＧＢ各色の光を受光する画素群に加えて、非可視光領域の光を受光する画素群を有する。画像センサ１２の各画素で受光する光の波長は、各画素に対して配置される光学フィルタの特性により選択される。画像センサ１２は例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、またはＮＭＯＳ（ｎ‐Ｃｈａｎｎｅｌ Ｍｅｔａｌ‐Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。

信号処理回路１３は、画像センサ１２で生成された画像信号に対して、ガンマ補正、および歪曲補正等の所定の画像処理を施す。

インタフェース１４は、撮像装置１０から制御装置２０へ画像データを送信するための回路である。

図４及び図５は、撮像装置１０の撮影可能範囲（被写体領域）を模式的に示した図である。図４及び図５に示すように、撮像装置１０は、車内の状況を撮影できるように、車内の上方に、例えば、天井またはルームミラーに取り付けられる。撮像装置１０は、乗員の顔の画像が撮影されるように後ろ向きに取り付けられる。撮像装置１０は、全被写体領域の一部の領域を拡大して撮影するように構成されている。具体的には、撮像装置１０は、乗員の顔を含む可能性のある領域については、他の領域よりも高い拡大率で画像を撮像できるように構成されている。例えば、図５に示すように、撮像装置１０は、ドライバの顔が含まれる領域Ｒ１１０と、助手席の乗員の顔が含まれる領域Ｒ１２０と、後部座席の乗員の顔が含まれる領域Ｒ１３０とをそれぞれ拡大して撮像できる。領域Ｒ１１０は、特にドライバの目が含まれることが好ましい。なお、ドライバが乗車していない場合は、領域Ｒ１１０は運転席のヘッドレスト４１が含まれる領域である。助手席の乗員が乗車していない場合は、領域Ｒ１２０は助手席のヘッドレスト４１が含まれる領域である。後部座席の乗員が乗車していない場合は、領域Ｒ１３０は後部座席のヘッドレスト４１および背もたれ４２の少なくとも一方が含まれる領域である。

図６は、撮像装置１０が撮影可能な被写体の例を具体的に説明した図である。図６に示すように、撮像装置１０が撮影可能な被写体領域２００において運転席のドライバの顔を含む領域Ｒ１１０と、助手席の乗員の顔を含む領域Ｒ１２０と、後部座席の乗員の顔を含む領域Ｒ１３０とが、それら以外の領域Ｒ２００よりも高い拡大率で撮像されるように撮像装置１０が構成されている。

このため、撮像装置１０の光学系１１は、領域Ｒ１１０〜Ｒ１３０の拡大率が他の領域Ｒ２００の拡大率よりも高くなるような光学特性を有する。なお、領域Ｒ１１０〜Ｒ１３０及びそれ以外の領域Ｒ２００においては、拡大率が不連続とならないように連続的かつ単調に変化するように光学系１１が設計されている。

図７は、撮像装置１０の光学系１１を介して画像センサ１２の撮像面に結像される撮像画像における像の拡大率（すなわち、像の解像度）の分布を説明した図である。撮像画像３００において、領域Ｒ１１（第１の領域の一例）は被写体領域Ｒ１１０に対応し、領域Ｒ２０（第２の領域の一例）は被写体領域Ｒ２００に対応する。すなわち、領域Ｒ１１は比較的高い拡大率で被写体領域Ｒ１１０の像を結像し、領域Ｒ２０は比較的低い拡大率で被写体領域Ｒ２００の像を結像する。このため、領域Ｒ１１の像の拡大率は、領域Ｒ２０の拡大率に対して比較的高くなる。同様に、領域Ｒ１２、Ｒ１３（第1または第３の領域の一例）は、比較的高い拡大率で、被写体領域Ｒ１２０、Ｒ１３０の像をそれぞれ結像する。よって、領域Ｒ１２及び領域Ｒ１３のそれぞれの像の拡大率も、領域Ｒ２０の拡大率に対して比較的高くなる。以下、このような光学特性を実現する光学系１１の構成についてより具体的に説明する。

［１−１−２−１．光学系］
図８は、撮像装置１０の光学系１１の構成を示した図である。図８は、光軸Ｚを含む垂直面（画像センサの水平方向を法線とする平面）で光学系１１を仮想的に切断したときの断面を示す。ここで、光軸Ｚは、画像センサ１２の撮像面の中心を通過し、撮像面と直交する仮想線である。なお、光学系１１が光を反射するミラーまたはプリズムなどを備えている場合は、光軸は反射によって屈曲する。図８に示すように、光学系１１は、複数のレンズ及び絞り１１５を含む。特に光学系１１は前述した光学特性を実現するため自由曲面レンズ１１１を含んでいる。

自由曲面レンズとは、結像のために光を屈折させる面が、非円弧状で、且つ回転対称ではないレンズである。なお、本開示は、シリンドリカルレンズも円弧状レンズの一種と定義する。つまり本開示は、シリンドリカルレンズを自由曲面レンズとは異なるレンズと定義する。自由曲面レンズは、真円の一部ではない非円弧状の形状を有する。自由曲面レンズの材質は、特に限定されるものではないが、ガラスまたは樹脂などが例示される。自由曲面レンズの製造方法も特に限定されるものではないが、例えば金型などの型を用いて自由曲面レンズを成形する製造方法が例示される。

自由曲面レンズ１１１は、結像する像の拡大率を、水平方向の画角及び垂直方向の画角の少なくとも一方に応じて自由に異ならせることが可能なレンズである。自由曲面レンズ１１１は、図７に示すように、撮像画像３００において、一部の領域Ｒ１１〜Ｒ１３の拡大率が、それら以外の領域Ｒ２０の拡大率よりも高くなるように設計される。高い拡大率を有する領域Ｒ１１〜Ｒ１３は、画像解析したい対象が含まれる領域に応じて適宜配置される。本実施の形態では、一例として、領域Ｒ１〜Ｒ１３の位置は車内の乗員の顔が存在すると考えられる位置に対応するように設定されている。

本実施の形態の画像センサ１２は、水平方向及び垂直方向において均一な画素分布を有している。このため、撮像装置１０の光学系１１により画像センサ１２の撮像面に結像される像の解像度は、図７に示すようになる。すなわち、撮像画像３００において、像の拡大率が高い領域Ｒ１１〜Ｒ１３における像の解像度は高く（密）、領域Ｒ１１〜Ｒ１３の以外の領域Ｒ２０の像の解像度は、相対的に小さく（疎）なる。本実施の形態では、高い解像度を有する領域Ｒ１１〜Ｒ１３の画像が画像解析に使用されることにより、解析精度が高まる。

ここで、像の解像度について説明する。本実施の形態では、像の解像度は、光学系１１を介して画像センサ１２上に形成される、単位画角の像を撮像するために使用される画像センサ１２の画素の数（単位画角当たりの画素の数）とする。解像度は下記式で定義される。

解像度＝所定画角の像を撮像するのに要する画素の数／所定画角 （１）
図９を参照し、光学系１１により結像される像の解像度について、より具体的に説明する。図９は、所定の切断面で仮想的に切断したときの画像センサ１２上の結像状態を模式的に説明した図である。所定の切断面とは、光軸Ｚを含む水平面を、垂直方向であって下方向に画角Ｗ°だけ傾けた面である。ここで、画角Ｗ°は、切断面に領域Ｒ１１、領域Ｒ１２および領域Ｒ２０が含まれるように設定される（図７参照）。図９に示すように、画角θｘの範囲の第一領域ｒ１の被写体像と、同じ画角θｘを有する第二領域ｒ２の被写体像とを光学系１１を介して画像センサ１２上に結像する場合を検討する。領域ｒ１は被写体領域Ｒ１１０の一部であり、撮像画像において領域Ｒ１１の一部に対応する。領域ｒ２は被写体領域Ｒ２００の一部であり、撮像画像において領域Ｒ２０の一部に対応する。

光学系１１は、撮像画像３００において領域Ｒ１１の拡大率Ｍ１が比較的高く、領域Ｒ２０の拡大率Ｍ２が比較的低くなるように設計されている。光学系１１を介して画像センサ１２により、第一領域ｒ１の被写体を撮像した場合、図９に示すように、第一領域ｒ１の像は拡大率Ｍ１で拡大されて画像センサ１２の撮像面に結像される。一方、第二領域ｒ２の被写体を撮像した場合、拡大率Ｍ１よりも低い拡大率Ｍ２で像が拡大されて画像センサ１２の撮像面に結像される。このため、撮像面上の第二領域ｒ２の像の長さＬ２は第一領域ｒ１の像の長さＬ１よりも小さくなる。

画像センサ１２上では画素が二次元的に等間隔で配置されているため、水平方向の像の長さが大きいほど、その像の撮像に要する画素の数は多くなる。つまり、長さＬ１の範囲に含まれる第一領域ｒ１の像を撮像するのに要する画素の数Ｎ１は、長さＬ２（＜Ｌ１）の範囲に含まれる第二領域ｒ２の像を撮像するのに要する画素の数Ｎ２よりも大きくなる。第一領域ｒ１の画角（θｘ）と第二領域ｒ２の画角（θｘ）は同じである。したがって、第一領域ｒ１に対する像の解像度（＝Ｎ１／θｘ）は、第二領域ｒ２に対する像の解像度（＝Ｎ２／θｘ）よりも高くなる。第一領域ｒ１に対する像は、画像センサ１２の撮像面において領域Ｒ１１に対応する位置に結像される。第二領域ｒ２に対する像は、画像センサ１２の撮像面において領域Ｒ２０に対応する位置に結像される。このように、領域Ｒ１１内の像の解像度は領域Ｒ２０内の像の解像度よりも高くなる。同様に、領域Ｒ１２及び領域Ｒ１３内の像の解像度も領域Ｒ２０内の像の解像度よりも高くなる。

図１０の（Ａ）〜（Ｃ）は、撮像装置１０の光学系１１について、垂直方向および水平方向それぞれの画角に対する解像度（角度分解能）特性を示した図である。図１０の（Ａ）に示すように、垂直方向及び水平方向の画角の中心を０°としている。光軸Ｚは画角の中心を通過する。水平画角の範囲は−８０°から＋８０°であり、垂直画角の範囲は−６０°から＋６０である。図１０の（Ｂ）は、垂直方向における画角がＶ１、Ｖ２、Ｖ３のそれぞれの場合の、水平画角に対する解像度特性を示している。図１０の（Ｃ）は、水平方向における画角がＨ１、Ｈ２、Ｈ３のそれぞれの場合の、垂直画角に対する解像度特性を示している。

例えば、図１０の（Ｂ）を参照し、垂直画角がＶ１のときの水平画角に対する解像度特性を見ると、水平画角が−５０°から＋５０°における領域Ｒ１３の解像度が、その他の領域Ｒ２０の解像度に比べて高くなっているのが分かる。垂直画角がＶ２の場合、解像度が高い領域Ｒ１１〜Ｒ１３が現れないので、水平画角によらず一定の低い解像度となっている。垂直画角がＶ３の場合、水平画角が−６０°から−２０°における領域Ｒ１１と、水平画角が２０°から６０°における領域Ｒ１２とにおいて、解像度が高くなっている。

図１０の（Ｃ）を参照し、水平画角Ｈ１及びＨ３での垂直画角に対する解像度特性を見ると、垂直画角が−５０°から−１０°における領域Ｒ１３と、垂直画角が１０°から５０°における領域Ｒ１１またはＲ１２とにおいて、解像度が高くなっている。また、水平画角Ｈ２での垂直画角に対する解像度特性を見ると、垂直画角が−５０°から−１０°における領域Ｒ１３の解像度が高くなっており、それ以外の領域Ｒ２０の解像度は低くなっている。

［１−２．動作］
以上のように構成された撮像装置１０及び制御装置２０の動作を以下に説明する。

図１の撮像装置１０は、車両１００の走行中または停車中に車内の画像を撮像し、画像データを生成して制御装置２０に送信する。撮像装置１０は、可視光による画像と、非可視光（例えば、近赤外線光）による画像とを生成する。

図２の制御装置２０は、第１インタフェース２３を介して画像データを受信する。制御装置２０のコントローラ２１は、撮像装置１０から受信した画像データを画像解析（センシング）して、車内の状況に関する様々な情報を取得する。具体的には、コントローラ２１は、撮像画像３００において図７の領域Ｒ１１、Ｒ１２及びＲ１３の少なくともいずれか一つの画像を解析する。領域Ｒ１１〜Ｒ１３は高い解像度を有することから、コントローラ２１は、これらの画像を使用することで精度良く解析を行うことができる。例えば、車両走行中に領域Ｒ１１の画像を解析することにより、コントローラ２１は、ドライバの状態、例えば、覚醒状態を判断することができる。たとえばコントローラ２１は、ドライバが覚醒していない場合に、所定の信号を出力できる。また、コントローラ２１は、領域Ｒ１２〜Ｒ１３の画像を画像解析することで、車内に人がいるか否かを判断することができる。この判定結果は、例えば、車内での子供の置き去り等を防止するために有用である。たとえばコントローラは、車内に置き去りの子供が存在する場合に、所定の信号を出力できる。

なお、可視光だけでは車内の光量が十分に得られない状況、または外光の外乱影響を受けやすい状況など周囲環境によりセンシング精度の悪化が想定される場合、コントローラ２１は、非可視光を受光して生成された画像を利用して画像解析できる。すなわち、コントローラ２１は、非可視光を受光して生成された画像を利用して画像解析できる。可視光による撮像画像と、非可視光による撮像画像とは、撮像装置１０で同時に生成されてもよく、独立して生成されてもよい。これにより、コントローラ２１は、可視光による車内の光量が十分に得られない状況など周囲環境の影響を抑えて、精度よく画像解析を行うことが可能となる。また近赤外領域の波長を用いることで、コントローラ２１は、血流または脈拍などのバイタルサインのセンシングを行うことができ、より検知対象の情報を正確に得ることが可能となる。

コントローラ２１は、画像解析の結果に基づき制御対象６０に対する制御信号を生成し、第３インタフェース２７を介して制御対象６０に送信する。これにより、車内の状況に応じて制御対象６０が制御される。

例えば、コントローラ２１は、撮像画像における領域Ｒ１１の画像解析により、ドライバの覚醒状態または健康状態を判定し、手動運転から自動運転への切替えの要否を判断し、判断結果にしたがい切替を制御することができる。より具体的には、コントローラ２１は、領域Ｒ１１の画像のうち、目の画像を解析する。たとえばコントローラ２１は、目の画像データの変化から、瞬きの回数、または黒目の軌跡等を示す情報を検出できる。その結果、コントローラ２１は、ドライバの覚醒状態または健康状態が、運転に適した所定の基準状態よりも低い場合に、手動運転から自動運転に切り替えることができる。本実施の形態では、目が結像される領域Ｒ１１の解像度は、他の領域Ｒ２０と比べて高いため、コントローラ２１は高精度に目の画像を解析できる。

なお、制御装置２０のコントローラ２１は、受信した画像データに対して所定の画像処理を施し、表示用画像データを生成し、第２インタフェース２５を介して表示装置３０へ送信してもよい。例えば、コントローラ２１は、高い解像度を有する領域Ｒ１１〜Ｒ１３の画像を切り出し、表示に適切なサイズにリサイズして表示用画像データを生成してもよい。表示装置３０は、制御装置２０から受信した画像データに基づき画像を表示する。車両１００のドライバは、表示装置３０に表示された画像を確認することで、車内の状況を把握することができる。

また、コントローラ２１は、画像解析の結果を移動体通信システム２８に送信してもよい。移動体通信システム２８は、画像解析の結果をクラウド上のテレマティクス用のサーバに送信してもよい。サーバにおいてドライバ情報をテレマティクスとして蓄積し共有することができる。そして、サーバは、ドライバの行動予測を行い、その分析結果を事故の未然防止またはテレマティクス保険にも利用できる。すなわち、長距離移動トラックまたはバスにおいて運転手の画像を高精度に解析し、その解析結果をサーバからドライバの管理部門へ提供することができる。これにより、ドライバの管理部門はドライバの覚醒状態または健康状態などを把握でき、事故の未然防止策に役立てることができる。その結果、ドライバまたは雇用企業が負担する事故費用を抑え、社会からの信用の低下を防ぐことができる。また、これらの情報を使用することで、実際に事故が発生していなくとも、危険運転に繋がるドライバの特性を管理することが可能となり、これらの情報はドライバ教育にも活用される。

このように、本実施の形態の撮像装置１０によれば、車内を広い画角範囲で撮影できるとともに、センシングに重要な一部の領域において高い解像度で画像を撮影することができ、解析精度を向上できる。

［１−３．効果等］
以上のように、図３に示す本実施の形態の撮像装置１０（撮像装置の一例）は、画像センサ１２と光学系１１とを備える。画像センサ１２は、複数の画素が二次元的に配置された撮像面を含む。画像センサ１２は、撮像面上に結像された被写体像から画像データを生成する。ここで、単位画角に含まれる被写体像を撮像する画素の数を解像度とする。また、撮像面は、第１の領域（たとえば図７の領域Ｒ１１、Ｒ１２、およびＲ１３の少なくともいずれか一つ）と、第１の領域と異なる第２の領域（たとえば図７の領域Ｒ２０）と、を含む。光学系１１は、被写体像のうち、第１の領域における第１被写体像の解像度が、被写体像のうち第２の領域における第２被写体像の解像度よりも高くなるように撮像面上に被写体像を結像する。高い解像度を有する領域Ｒ１１〜Ｒ１３は、撮像面において人の顔の像が結像される領域を含むように配置される。

上記構成により、撮像画像において領域Ｒ１１〜Ｒ１３の解像度を他の領域Ｒ２０の解像度よりも高くできる。これにより、全体として広い画角を確保できる。その一方で、撮像装置１０は、画像解析に必要な領域の解像度が高い画像を撮像できる。その結果、撮像画像の解析精度が向上する。特に、本実施の形態では、高い解像度を有する領域Ｒ１１〜Ｒ１３が、人の顔の像が結像される領域を含むように配置される。したがって、人の顔の部分の画像に基づく解析精度が向上する。

また、光学系１１は、自由曲面レンズ１１１を含んでいてもよい。これにより、光学系１１は、画角に応じて拡大率が変化するように、自由に設計される。

また、撮像面は、第１の領域および第２の領域と異なる第３の領域を含んでいてもよい。光学系１１は、被写体像のうち第３の領域における第３被写体像の解像度が、第２被写体像の解像度よりも高くなるように撮像面上に被写体像を結像してもよい。第１の領域は、領域Ｒ１１、Ｒ１２、Ｒ１３のうち少なくともいずれか一つであり、たとえば領域Ｒ１１でもよい。第３の領域は、領域Ｒ１１、Ｒ１２、Ｒ１３のうち少なくともいずれか一つであり、たとえば領域Ｒ１３でもよい。この場合、たとえば第１被写体像はドライバの顔を含み、第３被写体像は後部座席の子供の顔を含む。撮像面において、高解像度の領域は複数あってもよい。これにより、車内の複数の領域の画像解析を精度よく行うことができる。

なお、高解像度の領域の数を複数とする場合に、それぞれの領域の解像度は異なっていてもよい。つまり、光学系１１は、結像する領域に応じて、拡大率が設計されていればよい。たとえばユーザがドライバの覚醒状態または健康状態を高精度に分析したい一方で、後部座席に子供が存在しているか否かを検出したいケースを想定すると、領域Ｒ１３の解像度は領域Ｒ１１よりも低くてもよい場合がある。このような場合、領域Ｒ１３の解像度は、領域Ｒ２０の解像度より高く、領域Ｒ１１の解像度より低く設計されてもよい。

また、複数の高解像度の領域が存在する場合に、それぞれの領域の大きさは異なっていてもよい。たとえば領域Ｒ１１の大きさは、領域Ｒ１３の大きさよりも小さくてもよい。画像解析したい被写体像に応じて領域の大きさが設定されることで、合理的な画像解析が実現できる。

また、撮像面の水平方向および垂直方向の少なくとも一方に複数の高解像度の領域が配列される場合、複数の高解像度の領域間の解像度は、低い解像度の領域の解像度よりも高くてもよい。つまり、領域Ｒ１１と領域Ｒ１２の間の領域の解像度は、領域Ｒ２０の平均の解像度よりも高くてもよい。光学系１１の拡大率変化を緩和させることにより、光学系１１の歪みを低減できる。

また、撮像装置１０が車内に配置される場合、高解像度の領域は、ドライバの顔を撮像する領域Ｒ１１と、助手席の乗員の顔を撮像する領域Ｒ１２の両方を含んでいてもよい。これにより、車が右ハンドルおよび左ハンドルのいずれの場合でも、同じ撮像装置１０を利用できる。

また、車内に人がいない場合に、領域Ｒ１１は運転席のヘッドレスト４１、領域Ｒ１２は助手席のヘッドレスト４１、領域Ｒ１３は後部座席の背もたれ４２が撮像される領域であってもよい。これにより、領域Ｒ１１および領域Ｒ１２では、たとえば乗員の目の像が高精度に結像する。また領域Ｒ１３では、子供の像が結像されやすくなる。

また、画像センサ１２は可視光領域の光と非可視光領域の光を受光出来てもよい。これにより、撮像装置１０が暗い環境下に配置されていても、非可視光領域の光を結像させることにより、高精度な画像解析が実現される。

また、撮像装置１０は、制御装置２０とともに、撮像システムを構成してもよい。制御装置は、撮像装置１０により生成された画像データを解析する。制御装置２０は、画像データが示す画像において、高解像度の領域（たとえば領域Ｒ１１、Ｒ１２、Ｒ１３の少なくともいずれか一つ）に結像された画像を解析する。

（実施の形態２）
実施の形態１では、一部の領域Ｒ１１〜Ｒ１３における解像度を高くした撮像画像を生成するために、光学系１１は、自由曲面レンズを用いて構成された。しかし、そのような撮像画像を生成するために、必ずしも光学系１１は自由曲面レンズを含まなくてもよい。そのような撮像画像は、画像センサ１２の画素分布を工夫することで、通常の回転対称な光学系を用いても実現することができる。以下、自由曲面レンズを含まない光学系を備えた撮像装置１０の構成を説明する。

図１１は、実施の形態１の撮像装置１０における画像センサ１２の画素分布と、光学系１１と画像センサ１２の組み合わせにより撮像される撮像画像３００の解像度分布とを説明した図である。図１２は、実施の形態２の撮像装置１０ｂにおける画像センサ１２ｂの画素分布と、光学系１１ｂと画像センサ１２ｂの組み合わせにより撮像される撮像画像３００ｂの解像度分布とを説明した図である。

図１１に示すように、実施の形態１においては、画像センサ１２の撮像面では、複数の画素が二次元的に等間隔に配置されている。このような画像センサ１２の撮像面に対して、光学系１１の自由曲面レンズ１１１により、一部の領域（たとえば領域Ｒ１）の解像度が高い像が形成される。その結果、領域Ｒ１の解像度が高く、それ以外の領域の解像度が低くなる撮像画像を得ることができる。

これに対して、本実施の形態では、図１２に示すように、撮像装置１０ｂは、回転対称なレンズである光学系１１ｂと、特定の画素分布を有する画像センサ１２ｂとを備える。光学系１１ｂは、均一な画素分布を有する画像センサ上に像を結像したときの垂直方向及び水平方向の解像度に関して、図１３に示すような解像度（角度分解能）特性を有するようなレンズである。すなわち、光学系１１ｂは、垂直方向及び水平方向における画角に対して均一な拡大率を有する。

図１４の（Ａ）〜（Ｃ）は、実施の形態２の画像センサ１２ｂに対する、垂直方向および水平方向それぞれにおける画角に対する画素密度分布を説明するための図である。図１４の（Ａ）に示すように、垂直方向及び水平方向の画角の中心を０°とする。光軸Ｚは画角の中心位置を通過する。水平画角の範囲は−８０°から＋８０°であり、垂直画角の範囲は−６０°から＋６０である。図１４の（Ｂ）は、垂直方向における画角がＶ１、Ｖ２、Ｖ３における水平画角に対する画像センサ１２ｂの画素密度分布を示している。図１４の（Ｃ）は、水平方向における画角がＨ１、Ｈ２、Ｈ３における垂直画角に対する画像センサ１２ｂの画素密度分布を示している。

画像センサ１２ｂは、図１４の（Ｂ）、（Ｃ）に示すように、領域Ｒ１１〜Ｒ１３に対応する領域の画素密度が高く、それ以外の領域（領域Ｒ２０に対応する部分）の画素密度が低くなるような画素密度分布を有する。

以上のような特性を有する光学系１１ｂと画像センサ１２ｂの組み合わせにより、実施の形態１の場合と同様の解像度分布を有する撮像画像３００ｂを生成することができる。

以上のように、本実施の形態の撮像装置１０ｂは、複数の画素が二次元的に配置された撮像面を含み、撮像面上に結像された被写体像から画像データを生成する画像センサ１２ｂと、所定の垂直画角と所定の水平画角の範囲にある被写体を画像センサ１２ｂの撮像面上に結像させる光学系１１ｂと、を備える。撮像面は、第１の領域（たとえば、少なくとも領域Ｒ１１、Ｒ１２及びＲ１３のいずれか一つに対応する領域）と、第１の領域と異なる第２の領域（たとえば領域Ｒ２０）、を含む。単位画角に含まれる被写体像を撮像する画素の数を解像度とする。光学系１１ｂは、撮像面上に均一な拡大率で像を結像する。画像センサ１２ｂは、少なくとも１つの第１の領域の画素密度が、少なくとも１つの第２の領域の画素密度よりも高くなるような画素分布を有する。高い画素密度を有する領域は、人の顔の像が結像される領域を含むように配置される。

上記の構成によっても、実施の形態１と同様に、撮像画像において領域Ｒ１１、Ｒ１２、Ｒ１３の解像度をそれ以外の領域Ｒ２０の解像度よりも高くできる。これにより、全体として広い画角を確保しつつ、画像解析に必要な部分の解像度を高くできる。その結果、撮像画像の解析精度を向上できる。特に、高い解像度を有する領域Ｒ１１〜Ｒ１３を、人の顔の像が結像される領域を含むように配置することで、人の顔の部分の画像に基づく解析精度を向上できる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、または省略などを行った実施の形態にも適用可能である。また、上記実施の形態１、２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上記の実施の形態では、表示装置として、電子ルームミラーと車載ディスプレイを例示したが、表示装置の種類はこれらに限定されない。本開示の思想は、用途に応じて種々のタイプの表示装置（例えば、ヘッドアップディスプレイ）を用いた表示システムに適応できる。

上記の実施の形態では、解像度または画素密度が高い領域（領域Ｒ１１〜Ｒ１３）を人の顔が結像される像の位置に基づき設定したが、領域の設定方法はこれに限定されない。解像度または画素密度が高い領域のサイズ、位置及び数は、解析したい対象（物、事象）に応じて適宜設定される。

上記の実施の形態では、信号処理回路１３が、画像に対するガンマ補正、および歪曲補正等を行ったが、これらの画像処理を制御装置２０が行ってもよい。

上記の実施の形態では、移動体の一例として、二列の座席を有する自動車の車両１００を説明したが、移動体はこれに限定されない。上記の実施の形態の撮像装置を他の移動体に適用してもよい。

例えば、移動体は、複数の座席列を有するバスのような大型車両であってもよい。この場合、例えば、図１５に示すように、車内の撮像画像３００において、前方から後方に続く座席列を含む領域Ｒ３１の部分の解像度（すなわち、拡大率）が、それ以外の領域Ｒ３２の解像度よりも高くなるように光学系または画像センサが設計されればよい。

また、移動体は鉄道車両であってもよい。この場合、例えば、図１６に示すように、撮像画像３００において、出入口を含む領域Ｒ３１の解像度をそれ以外の領域Ｒ３２の解像度よりも高くしてもよい。これにより、撮像システムは、車両に乗降する乗客の画像を精度よく解析できる。

また、移動体は航空機であってもよい。この場合、例えば、図１７に示すように、撮像画像３００において、機内の客室の座席列を含む領域Ｒ５１の解像度をそれ以外の領域Ｒ５２の解像度よりも高くしてもよい。これにより、撮像システムは、機内の乗客の画像を精度よく解析できる。また、図１８に示すように、コックピット内に撮像装置１０を設け、パイロットの前方から、パイロットの顔を含む領域を撮影するようにしてもよい。この場合、撮像画像において、パイロットを含む被写体領域Ｒ６１０に対応した領域の解像度（すなわち、拡大率）を、被写体領域Ｒ６１０以外の被写体領域６２０に対応した領域の解像度よりも高くすればよい。これにより、パイロットの画像を含む部分を精度よく解析できる。その結果、解析者は、パイロットの状態を精度よく認識することが可能となる。

また、移動体は船舶であってもよい。撮像装置は、船舶の客室および操縦室の少なくとも一方の状態を撮像してもよい。さらには、移動体は建設用機械（例えば、クレーン）または農業用機械（例えば、コンバイン）であってもよい。

上記の実施の形態において比較的高い解像度（すなわち、拡大率）を有する領域のサイズ、位置は例示である。比較的高い解像度（すなわち、拡大率）を有する領域のサイズおよび位置は、画像解析または表示の目的に応じて適宜決定することができる。

上記の実施の形態で示した画角、画素数等の数値は一例である。

上記の実施の形態では、光学系において自由曲面レンズが用いられたが、自由曲面レンズに代えて、画角に応じて拡大率（解像度）を自由に設計できるレンズであれば、他の種類のレンズが用いられても良い。

上記の実施の形態では、撮像装置は、移動体（例えば、自動車）の内部の状況の撮影の用途に利用されたが、本開示の撮像装置の用途はこれに限定されない。例えば、本開示の撮像装置は監視カメラに適用されてもよい。

本開示の撮像装置を適用した監視カメラは、店舗内に設置されてもよい。その際、監視カメラの光学系は、撮像画像において顧客の移動範囲に対応する領域が高解像度になるように設計される。これにより、顧客の移動範囲を高解像度に撮影でき、監視カメラの画像を用いた同一顧客の動線解析を精度よく行える。よって、効率的な販売促進と、売り逃がしの削減とを期待できる。

また、本開示の撮像装置は、万引き防止や徘徊防止を目的として、顔認証システムの監視カメラに適用されてもよい。監視カメラの光学系は、撮像画像における商品棚を含む領域が高解像度になるように設計される。本開示の撮像装置を適用した監視カメラは、例えば店舗に設置される。監視カメラで撮像した画像から抽出した顔画情報と、予め登録済の顔情報とを照合し、店舗の関係者にアラートを出力するようにしてもよい。この場合、監視カメラで捉えた人物の画像の解像度を高められるので、照合精度が高まる。

さらに、本開示の撮像装置は、動線解析システムの監視カメラに適用されてもよい。監視カメラの光学系は、撮像画像において、プラントまたは物流倉庫の従業員の作業範囲の領域が高解像度になるように設計される。監視カメラは、プラントまたは物流倉庫内に設置される。従業員の作業範囲の部分の画像の解像度が高いため、撮像システムは、同一従業員の動線情報を収集し、同一人物の作業時間または移動距離を精度よく分析できる。その結果、作業効率を向上することができる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示の撮像装置は、全体として広い画角を確保しつつ、画像解析に必要な部分（例えば、人の顔）の画像の解像度を高くした画像の撮像が可能になり、撮像画像の解析精度を向上できる。よって、本開示の撮像装置は、移動体（例えば、自動車、鉄道車両、航空機、船舶）の内部を撮像する装置または監視カメラに適用することができる。

１０ 撮像装置
１１、１１ｂ 光学系
１２、１２ｂ 画像センサ
１３ 信号処理回路
１４ インタフェース
２０ 制御装置
２１ コントローラ
２３、２５、２７ インタフェース
２９ データ記憶部
３０ 表示装置
４１ ヘッドレスト
４２ 背もたれ
６０ 制御対象
１００ 自動車の車両
１１１ 自由曲面レンズ
Ｒ１１〜Ｒ１３ 撮像画像における像の解像度（拡大率）が比較的高い領域
Ｒ２０ 撮像画像における像の解像度（拡大率）が比較的低い領域
ｒ１、ｒ２ 被写体の領域
Ｚ 光軸

Claims (10)

1. 複数の画素が二次元的に配置された撮像面を含み、前記撮像面上に結像された被写体像から画像データを生成する画像センサと、
   所定の垂直画角と所定の水平画角の範囲にある前記被写体像を前記撮像面上に結像させる光学系と、を備え、
   単位画角に含まれる前記被写体像を撮像する画素の数を解像度とし、
   前記撮像面は、第１の領域と、前記第１の領域と異なる第２の領域とを含み、
   前記光学系は、前記被写体像のうち前記第１の領域における第１被写体像の解像度が、前記被写体像のうち前記第２の領域における第２被写体像の解像度よりも高くなるように前記撮像面上に前記被写体像を結像し、
   前記第１の領域は、前記撮像面において人の顔の像が結像される領域を含むように配置される撮像装置。
2. 前記光学系は自由曲面レンズを含む、請求項１に記載の撮像装置。
3. 前記撮像面は、前記第１の領域および前記第２の領域と異なる第３の領域を含み、
   前記光学系は、前記被写体像のうち前記第３の領域における第３被写体像の解像度が、前記第２被写体像の前記解像度よりも高くなるように前記撮像面上に前記被写体像を結像する、請求項１に記載の撮像装置。
4. 前記画像センサは移動体の内部の前記被写体像を撮像する、請求項１から３のいずれか一つに記載の撮像装置。
5. 前記移動体は、自動車、鉄道、船舶、航空機、農業用機械及び建設用機械のいずれか一つである、請求項４に記載の撮像装置。
6. 前記移動体は、ヘッドレストを含む座席を有し、
   前記第１の領域は、前記座席に前記人が座っていない場合に、前記ヘッドレストの像が結像される領域に配置される、請求項４に記載の撮像装置。
7. 前記画像センサは可視光領域の光と非可視光領域の光を受光する、請求項１から６のいずれか一つに記載の撮像装置。
8. 請求項１から６のいずれか一つに記載の撮像装置と、
   前記撮像装置により生成された前記画像データを解析する制御装置と、を備え、
   前記制御装置は、前記画像データが示す画像において、前記第１の領域に結像された画像を解析する、
   撮像システム。
9. 前記画像センサは可視光領域の光と非可視光領域の光を受光し、
   前記制御装置は前記非可視光領域の前記光を受光して生成された前記画像データを用いて解析を行う、請求項８に記載の撮像システム。
10. 前記第１の領域で生成される前記画像データには、前記人の目の画像データが含まれ、
    前記制御装置は、前記人の前記目の前記画像データの変化を解析する、
    請求項８に記載の撮像システム。