JP2005318569A - 撮像装置、撮像方法、及び撮像プログラム - Google Patents

Abstract

【課題】移動している場合であっても、ブレの無い鮮明な画像を撮像する。
【解決手段】移動体に設けられる撮像装置であって、画像を撮像する撮像部と、移動体の速度を計測する速度計測部と、速度に基づいて、撮像部の露光時間中における、撮像部により撮像される画像内での、撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出部と、変位を補償する、撮像部における撮像倍率の変化率を算出する撮像倍率変化率算出部と、撮像倍率を変化率で変化させるべく制御する撮像倍率制御部と、撮像倍率が変化率で変化している時に、撮像部により画像を撮像させる撮像タイミング制御部とを備える撮像装置を提供する。
【選択図】図１

Description

本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。特に本発明は、車両に設けられる撮像装置、当該撮像装置による撮像方法、及び当該撮像装置を機能させる撮像プログラムに関する。

従来、自動車等の車両に搭載され、車両の周囲の画像を撮像する車載カメラが知られている（例えば、特許文献１参照。）。
こういった車載カメラにより撮像された画像は、運転者等に対して表示されるだけでなく、当該画像から周囲に存在する物体を認識し、認識した結果を運転者等に通知することにより、運転における安全性を向上させるべく利用される。

特開平８−１６１６９８

しかしながら、従来の車載カメラにおいては、露光時間中に車両が移動することにより、被写体像にブレの有る不鮮明な画像しか撮像することができず、運転者にとって非常に見づらいものとなっていた。また、こういった不鮮明な画像を利用して車両の周囲に存在する物体の認識を行った場合、認識率が低く、運転における安全性を十分に向上させることができていなかった。

そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

本発明の第１の形態によると、移動体に設けられる撮像装置であって、画像を撮像する撮像部と、移動体の速度を計測する速度計測部と、速度に基づいて、撮像部の露光時間中における、撮像部により撮像される画像内での、撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出部と、変位を補償する、撮像部における撮像倍率の変化率を算出する撮像倍率変化率算出部と、撮像倍率を変化率で変化させるべく制御する撮像倍率制御部と、撮像倍率が変化率で変化している時に、撮像部により画像を撮像させる撮像タイミング制御部とを備える。

移動体から、被写体までの距離を取得する距離取得部を更に備え、変位算出部は、距離に更に基づいて、撮像部の露光時間中における、撮像部により撮像される画像内での被写体を示す領域の変位を算出してよい。

撮像倍率制御部は、撮像倍率を、撮像される画像におけるフレームレートの整数倍の周波数で振動させ、撮像タイミング制御部は、撮像倍率が変化率で変化する位相で、撮像部により画像を撮像させてよい。

移動体は、車両であってよい。車両における舵角を計測する舵角計測部を更に備え、変位算出部は、舵角に更に基づいて、撮像部の露光時間中における、撮像部により撮像される画像内での被写体を示す領域の変位を算出してよい。

車両における舵角を計測する舵角計測部と、撮像部により撮像される画像における消失点、及び撮像部における光学中心が略一致するべく、舵角に基づいて、撮像部の撮像方向を制御する撮像方向制御部とを更に備えてよい。

撮像部は、被写体の光学像を結像する光学系と、撮像する領域の中心が、光学系の光軸に対して下方に位置するべく設けられるＣＣＤとを有してよい。

撮像部は、複数の画像を撮像し、変位算出部は、計測された速度に基づき、撮像部により撮像される複数の画像のそれぞれについて、撮像部の露光時間中における、当該画像内での、撮像部の画角内に存在する被写体を示す領域の変位を算出し、撮像倍率変化率算出部は、撮像部により撮像される複数の画像のそれぞれについて、当該画像において算出された変位を補償する、撮像部における撮像倍率の変化率を算出し、撮像倍率制御部は、撮像部により撮像される複数の画像のそれぞれについて、当該画像において算出された変化率で変化させるべく撮像倍率を制御し、撮像タイミング制御部は、撮像部により撮像される複数の画像のそれぞれについて、当該画像において算出された変化率で撮像倍率が変化している時に、撮像部により当該画像を撮像させ、当該撮像装置は、撮像部により撮像された複数の画像を合成して、より解像度の高い画像を生成する画像処理部を更に備えてよい。

変位算出部は、撮像部により撮像される複数の画像のうち、少なくとも一部の画像について、互いに異なる被写体を示す領域の変位を算出してよい。画像処理部は、撮像部により撮像された複数の画像のそれぞれにおける、変位算出部によって変位が算出された領域の画像のそれぞれを合成してよい。

本発明の第２の形態によれば、移動体に設けられる撮像装置による撮像方法であって、撮像装置が備える撮像部により画像を撮像する撮像段階と、移動体の速度を計測する速度計測段階と、速度に基づいて、撮像段階の露光時間中における、撮像段階において撮像される画像内での、撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出段階と、変位を補償する、撮像段階における撮像倍率の変化率を算出する撮像倍率変化率算出段階と、撮像倍率を変化率で変化させるべく制御する撮像倍率制御段階と、撮像倍率が変化率で変化している時に、撮像部により画像を撮像させる撮像タイミング制御段階とを備える。

本発明の第３の形態によると、移動体に設けられる撮像装置を機能させる撮像プログラムであって、撮像装置を、画像を撮像する撮像部と、移動体の速度を計測する速度計測部と、速度に基づいて、撮像部の露光時間中における、撮像部により撮像される画像内での、撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出部と、変位を補償する、撮像部における撮像倍率の変化率を算出する撮像倍率変化率算出部と、撮像倍率を変化率で変化させるべく制御する撮像倍率制御部と、撮像倍率が変化率で変化している時に、撮像部により画像を撮像させる撮像タイミング制御部とを備える撮像装置として機能させる。

本発明の第４の形態における画像認識システムは、移動体に設けられ、画像を撮像する撮像部と、移動体の速度を計測する速度計測部と、速度に基づいて、撮像部の露光時間中における、撮像部により撮像される画像内での、撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出部と、変位を補償する、撮像部における撮像倍率の変化率を算出する撮像倍率変化率算出部と、撮像倍率を変化率で変化させるべく制御する撮像倍率制御部と、撮像倍率が変化率で変化している時に、撮像部により画像を撮像させる撮像タイミング制御部と、撮像タイミング制御部が撮像部に撮像させた画像に含まれる被写体を認識する画像認識部とを備える。

移動体は、車両であり、当該画像認識システムは、画像認識部によって認識された被写体に基づいて、車両の速度及び舵角を制御する車両制御部を更に備える。

本発明の第５の形態における画像認識方法は、移動体に設けられる撮像部が、画像を撮像する撮像段階と、移動体の速度を計測する速度計測段階と、速度に基づいて、撮像段階の露光時間中における、撮像段階において撮像される画像内での、撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出段階と、変位を補償する、撮像段階における撮像倍率の変化率を算出する撮像倍率変化率算出段階と、撮像倍率を変化率で変化させるべく制御する撮像倍率制御段階と、撮像倍率が変化率で変化している時に、撮像部により画像を撮像させる撮像タイミング制御段階と、撮像タイミング制御段階において撮像部に撮像させた画像に含まれる被写体を認識する画像認識段階とを備える。

本発明の第６の形態によると、画像認識システムとしてコンピュータを機能させる画像認識プログラムであって、コンピュータを、移動体に設けられ、画像を撮像する撮像部と、移動体の速度を計測する速度計測部と、速度に基づいて、撮像部の露光時間中における、撮像部により撮像される画像内での、撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出部と、変位を補償する、撮像部における撮像倍率の変化率を算出する撮像倍率変化率算出部と、撮像倍率を変化率で変化させるべく制御する撮像倍率制御部と、撮像倍率が変化率で変化している時に、撮像部により画像を撮像させる撮像タイミング制御部と、撮像タイミング制御部が撮像部に撮像させた画像に含まれる被写体を認識する画像認識部とを備える画像認識システムとして機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、車両が移動している場合であっても、ブレの無い鮮明な画像を撮像することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の第１の実施形態に係る撮像装置１０の構成の一例を示すブロック図である。撮像装置１０は、例えば自動車等の車両の周囲を撮像するべく当該車両に設けられる、所謂車載カメラ装置である。撮像装置１０により撮像された車両の周囲の画像は、運転者等に提供されるだけでなく、例えば、周囲に存在する物体の認識に用いられてもよい。この場合、撮像装置１０により撮像された画像に基づいて認識された、車両の周囲に存在する物体の情報は、例えば、車両の近傍に人物が存在する場合に警告を発するという様にして運転者等に提供されることによって、運転における安全性の向上に用いられる。

ここで、撮像装置１０により撮像された画像は、運転者等にとって見やすいという点、及び画像認識において高い認識率で被写体を認識するという点で、鮮明な画像であることが好ましい。しかし、一般に、撮像装置１０が設けられた車両が移動している場合、撮像装置１０の露光時間中に、撮像装置１０に入射する被写体の光学像が変化することによって、撮像された画像にはブレが発生し、鮮明な画像を得ることは困難である。

そこで、本実施形態に係る撮像装置１０は、車両が移動している場合であっても、被写体像のブレを補償すべく撮像倍率を制御することにより、ブレの無い鮮明な画像を撮像することを目的とする。

撮像装置１０は、距離取得部１００、速度計測部１１０、舵角計測部１２０、変位算出部１３０、撮像倍率変化率算出部１４０、撮像制御部１５０、撮像部１６０、一時メモリ１７０、画像処理部１８０、及び表示部１９０を備える。撮像部１６０は、車両の周囲の画像を撮像する。例えば、撮像部１６０は、光軸を車両の前方に向けて設けられ、車両の前方の画像を撮像する。ここで、撮像部１６０は、静止画像を撮像してもよく、また動画像を撮像してもよい。撮像部１６０は、光学系１６２、ＣＣＤ１６４、及び撮像信号処理部１６６を有する。光学系１６２は、被写体の光学像をＣＣＤ１６４の受光面上に結像する。ＣＣＤ１６４は、複数の受光素子を含み、光学系１６２により結像された被写体の光学像によってそれぞれの受光素子に蓄積された電荷を、アナログの電気信号として撮像信号処理部１６６に出力する。撮像信号処理部１６６は、ＣＣＤ１６４から受け取った、被写体像を示すアナログの電気信号を、Ｒ、Ｇ、Ｂの各成分に分解する。そして、撮像信号処理部１６６は、Ｒ、Ｇ、Ｂの各成分に分解されたアナログの電気信号をＡ／Ｄ変換し、その結果として得られた被写体像を示すデジタルの画像データを一時メモリ１７０に出力する。一時メモリ１７０は、例えばＤＲＡＭ等の揮発性メモリであり、撮像信号処理部１６６が出力した画像データを格納する。

距離取得部１００は、車両から、撮像部１６０の画角内に存在する被写体までの距離を取得し、取得した距離を変位算出部１３０に出力する。速度計測部１１０は、車両の速度を計測し、計測した速度を変位算出部１３０に出力する。舵角計測部１２０は、車両における舵角を計測し、計測した舵角を変位算出部１３０及び撮像制御部１５０に出力する。変位算出部１３０は、距離取得部１００により取得された、車両から被写体までの距離、及び速度計測部１１０により計測された車両の速度に基づいて、撮像部１６０の露光時間中における、撮像部１６０により撮像される画像内での被写体を示す領域の変位を算出する。また、変位算出部１３０は、舵角計測部１２０により計測された、車両における舵角に更に基づいて、被写体を示す領域の変位を算出してもよい。そして、変位算出部１３０は、算出した被写体を示す領域の変位を、撮像倍率変化率算出部１４０に出力する。

撮像倍率変化率算出部１４０は、変位算出部１３０により算出された、撮像部１６０により撮像される画像内での被写体を示す領域の露光時間中における変位を補償する、撮像部１６０における撮像倍率の変化率を算出する。そして、撮像倍率変化率算出部１４０は、算出した撮像倍率の変化率を撮像制御部１５０に出力する。撮像制御部１５０は、撮像倍率制御部１５２、撮像タイミング制御部１５４、及び撮像方向制御部１５６を有し、撮像部１６０における機構部材を制御することにより、撮像部１６０の動作を制御する。撮像倍率制御部１５２は、撮像部１６０の撮像倍率を、撮像倍率変化率算出部１４０により算出された変化率で変化させるべく制御する。例えば、撮像倍率制御部１５２は、光学系１６２に含まれるズームレンズを制御するべく撮像部１６０に設けられたアクチュエータを駆動することにより、撮像部１６０の撮像倍率を変化させてよい。撮像タイミング制御部１５４は、撮像倍率制御部１５２により制御された撮像部１６０の撮像倍率が、撮像倍率変化率算出部１４０により算出された変化率で変化している時に、撮像部１６０により画像を撮像させる。撮像方向制御部１５６は、車両の舵角を舵角計測部１２０から受け取る。そして、撮像方向制御部１５６は、撮像部１６０により撮像される画像における消失点と、撮像部１６０における光学中心とが略一致するべく、受け取った舵角に基づいて、撮像部１６０の撮像方向を制御する。ここで、撮像方向制御部１５６は、例えば、撮像部１６０が設けられた雲台を制御することにより、撮像部１６０の撮像方向を制御してよい。

画像処理部１８０は、撮像部１６０により撮像され、一時メモリ１７０に格納された画像データに対して画像処理を行う。ここで、画像処理とは、例えば、ＮＴＳＣやＰＡＬといったビデオ信号への変換処理であってよい。そして、画像処理部１８０は、画像処理を行った画像データを、表示部１９０に出力する。表示部１９０は、例えばＬＣＤパネル等の表示装置を含み、画像処理部１８０から受け取った画像データを表示して、運転者等に提供する。

本実施形態に係る撮像装置１０によれば、車両が移動することにより、撮像された画像内での被写体を示す領域の位置が露光時間中に変化する場合であっても、被写体を示す領域の位置の変化を補償すべく撮像倍率を変化させることにより、当該被写体の画像にブレの無い、鮮明な画像を撮像することができる。

また、本実施形態に係る撮像装置１０によれば、車両が直進していない場合であっても、消失点と光学中心とが略一致するべく画像の撮像方向を制御することにより、車両が直進している場合に撮像した画像と略同一の画像を撮像することができる。これにより、車両が直進していない場合であっても、被写体を示す領域の変位を容易に算出することができる。

なお、撮像方向制御部１５６は、例えば、撮像部１６０が設置される位置、撮像部１６０の撮像方向、及び車両の進行方向に基づいて、撮像される画像における消失点を算出してよい。また、撮像方向制御部１５６は、これに代えて、例えば、予め撮像された複数の画像における、被写体の位置の変化に基づいて、オプティカルフローを算出すると共に、算出した複数のオプティカルフローの交点として、撮像される画像における消失点を算出してもよい。なお、車両が直進していない場合に、撮像装置１０は、撮像する画像における被写体を示す領域の変位を車両の舵角に基づいて算出する処理と、画像の撮像方向を車両の舵角に基づいて制御する処理との、何れか一方のみを行ってよい。

なお、本実施形態に係る撮像装置１０の構成は、本図に示した構成に限定されず、本図に示した構成に多様な変更を加えてもよい。例えば、撮像装置１０は、距離取得部１００を備えていなくともよい。この場合、変位算出部１３０は、車両から被写体までの距離として予め定められた値を用いることにより、撮像部１６０の露光時間中における被写体を示す領域の変位を算出してよい。ここで、予め定められた値とは、例えば、道路標識、路面に表示された文字や図形、信号機、及び道路に飛び出してきた人物等の、ブレの無い画像を所望する被写体に対して運転者が注意を払う場合の、車両から被写体までの距離の概算値であってよく、また、当該概算値を、車両の速度が大きいほど大きくするべく補正した値であってもよい。これにより、車両から被写体までの距離を計測することなく、露光時間中における被写体を示す領域の変位を補償して、ブレの無い鮮明な画像を撮像することができる。従って、測距センサやレンジファインダといった、車両から被写体までの距離を計測する機器を含めることなく撮像装置１０を構成することができるので、撮像装置１０の製造コストを低減させることができる。

図２は、本発明の第１の実施形態に係る撮像倍率変化率算出部１４０における処理の一例を示す。本図では、撮像装置１０が、撮像部１６０の撮像倍率を制御することにより、ブレの無い鮮明な画像を撮像する点について詳しく説明する。図２（ａ）は、車両を上方から俯瞰した場合の、撮像部１６０における画角の変化の一例を示す。本例において、撮像部１６０は、車両の前方を撮像するべく設けられており、点線ＡＯは、車両の進行方向を示すと共に、撮像部１６０の光軸も示している。まず、撮像装置１０が設けられた車両が、Ａに存在しているとする。ここで、Ａにおける撮像部１６０の画角は、画角２００により示される。続いて、車両がＡからＢに移動したとする。ここで、車両の位置の変化に伴って撮像倍率が変化していない場合、Ｂにおける撮像部１６０の画角は、画角２１０により示される。

続いて、Ａ及びＢにおける撮像部１６０の画角内の、Ｃに存在する被写体について述べる。なお、本例では、説明を簡潔にするため、Ｃに存在する被写体は、撮像装置１０の光軸と同一の水平面上に存在しているとするが、実際の撮像装置１０の動作においては、Ｃが何れの位置であってもよいことは言うまでもない。本図では、車両がＡに存在する場合、ＡからＣへの方向と光軸ＡＯとのなす角は、光軸ＡＯと画角の左端ＡＤとのなす角の２分の１である。つまり、Ａで撮像された画像において、Ｃに存在する被写体を示す領域の重心は、光学中心と画像の左端との中間に位置する。一方、車両がＢに存在する場合、ＢからＣへの方向と光軸ＢＯとのなす角は、光軸ＢＯと画角の左端ＢＥとのなす角の２分の１ではない。従って、Ｂで撮像された画像における、Ｃに存在する被写体を示す領域の重心位置は、Ａで撮像された画像における重心位置とは異なる。このため、撮像部１６０が撮像する画像において、車両が露光時間中にＡからＢに移動する場合、Ｃに存在する被写体を示す画像にはブレが生じる。

図２（ｂ）は、車両を上方から俯瞰した場合の、撮像部１６０における画角の変化の他の例を示す。本図において、撮像装置１０は、Ｂにおける撮像部１６０の画角を、画角２１０とは異なる画角２２０としている。すると、車両がＢに存在する場合に、ＢからＣへの方向と光軸ＢＯとのなす角は、光軸ＢＯと画角の左端ＢＦとのなす角の２分の１となる。つまり、Ｂで撮像された画像において、Ｃに存在する被写体を示す領域の重心は、光学中心と画像の左端との中間に位置し、車両がＡに存在する場合とＢに存在する場合とで、撮像された画像におけるＣに存在する被写体を示す領域の重心位置は変化しない。従って、車両が露光時間中にＡからＢに移動するタイミングで、撮像装置１０が画像を撮像する場合に、撮像倍率制御部１５２が、撮像部１６０における撮像倍率を、Ａにおける画角が画角２００であり、Ｂにおける画角が画角２２０であるように、露光時間中に順次変化させることにより、撮像装置１０は、Ｃに存在する被写体の画像にブレの無い、鮮明な画像を撮像することができる。

図３は、本発明の第１の実施形態に係る撮像制御部１５０における処理の一例を示す。撮像倍率制御部１５２は、露光時間中における被写体像の位置の変化を補償するべく、撮像部１６０の撮像倍率を制御する。ここで、撮像が行われない場合には、撮像部１６０の撮像倍率は一定であり、撮像が行われる際に、撮像倍率制御部１５２が、撮像部１６０に設けられたアクチュエータ等を駆動させて撮像倍率を変化させ、撮像倍率変化率算出部１４０により算出された変化率で撮像倍率が変化している時に、撮像タイミング制御部１５４が撮像部１６０により画像を撮像させてよい。しかし、これに変えて、撮像倍率制御部１５２が、撮像部１６０の撮像倍率を常に変化させており、撮像倍率変化率算出部１４０により算出された変化率で撮像倍率が変化している時に、撮像タイミング制御部１５４が撮像部１６０により画像を撮像させてもよい。

本図では、後者のような、撮像倍率が常に変化している場合の撮像制御部１５０の処理について説明する。このような撮像倍率の制御方法は、撮像装置１０が動画像を撮像するといった、周期的に画像を撮像する場合に、より有効に機能する。そこで、本図の説明においても、撮像装置１０が動画像を撮像する場合を例として説明する。

本図において、横軸は時間を示し、縦軸は撮像部１６０の撮像倍率を示す。撮像倍率制御部１５２は、撮像部１６０の撮像倍率を、撮像される画像におけるフレームレートの整数倍の周波数で振動させる。例えば、撮像倍率制御部１５２は、撮像部１６０の撮像倍率を、１周期を１／３０秒として正弦振動させる。ここで、撮像タイミング制御部１５４は、撮像倍率変化率算出部１４０により算出された変化率で撮像部１６０の撮像倍率が変化する位相で、撮像部１６０により画像を撮像させる。例えば、撮像タイミング制御部１５４は、算出された単位時間あたりの変化率が（Ｖ２−Ｖ１）／（Ｔ２−Ｔ１）に略同一である場合には、Ｔ１からＴ２の間で露光を行うべく、撮像部１６０を制御し、また、算出された単位時間あたりの変化率が（Ｖ４−Ｖ３）／（Ｔ４−Ｔ３）に略同一である場合には、Ｔ３からＴ４の間で露光を行うべく、撮像部１６０を制御する。

また、撮像部１６０が動画像を撮像する場合、連続する複数のフレームの撮像時における車両の速度が一定であれば、それらのフレームの撮像時における撮像倍率の変化率も一定となる。従って、車両の速度が一定の場合、撮像倍率制御部１５２は、撮像部１６０により画像を撮像させるタイミングを、一定の位相で制御してよい。例えば、撮像タイミング制御部１５４は、あるフレームにおいてＴ１からＴ２の間で画像を撮像させ、続くフレームにおいて、同じ位相であるＴ１’からＴ２’の間で画像を撮像させる。

本実施形態に係る撮像装置１０によれば、動画像の様に、周期的に画像を撮像する場合に、撮像倍率を周期的に変化させる。これにより、車両の速度が一定の場合に、撮像倍率変化率算出部１４０により算出された変化率に基づいて決定される位相で撮像タイミングを制御するのみで、ブレの無い画像を高い精度で撮像し続けて、鮮明な動画像を撮像することができる。

一方、車両の速度が変化するといった、撮像倍率の変化率を変化させる必要がある場合であっても、撮像倍率の周期的変化を変更することなく、撮像タイミングを制御する位相を変更するのみでブレの無い画像を撮像することができるので、撮像倍率の変化率を変化させる必要がある都度、アクチュエータ等の制御機構の動作を変更する場合に比べて、より素早くブレの補償を行うことができ、利用者にとっての利便性が向上する。

また、一定の周期で撮像倍率を振動させ、撮像タイミングを制御する位相の変化のみで多様な変化率の撮像倍率を用いて画像を撮像することができるので、非撮像時には一定である撮像倍率を、必要になる都度、所定の変化率まで変化させる場合に比べて、アクチュエータ等の制御機構にかかる負担を少なくすることができ、当該制御機構における損耗や不慮の動作不良等の発生を低減させることができる。

図４は、本発明の第１の実施形態に係る光学系１６２により結像される光学像３００の一例を示す。例えば、撮像装置１０が、車両の前方を撮像するべく設けられている場合、車両が前進すると、制止している被写体の像は、消失点を中心とした放射線状に、中心から周辺部に向かって移動する。露光時間中に発生する、このような被写体像の移動は、撮像された画像においてはブレとなって現れる。また、露光時間中に撮像倍率を減少させた場合、被写体像は、光学中心を中心とした放射線状に、周辺部から中心に向かって移動する。本実施形態に係る撮像装置１０によれば、上記のような、車両の移動による被写体像の移動を、撮像倍率の変化による被写体像の移動で打ち消すことにより、ブレの無い画像を撮像することができる。一方、車両が後退する場合には、撮像装置１０は、撮像倍率を増加させることにより、ブレの無い画像を撮像することができる。

ここで、何れの場合も、より高い精度でブレの無い画像を撮像するためには、消失点と光学中心とが一致していることが好ましい。つまり、本実施形態に係る撮像装置１０においては、本図に示した光学像３００のように、消失点が光学像３００の中心に位置するべく、撮像部１６０の光軸の方向が制御されることが好ましい。ここで、撮像装置１０により撮像された画像が、車両の周囲環境を認識する目的で利用される場合、光学像３００の上部の、例えば空を示す領域の像は不要であることが多い。そこで、本実施形態に係るＣＣＤ１６４は、撮像する領域の中心が、光学系１６２の光軸に対して下方に位置するべく設けられる。例えば、本図に示したように、ＣＣＤ１６４は、光学系１６２が結像する被写体の光学像３００において、下方に偏った領域３１０を撮像する。このように、結像された光学像のうち、より重要度の高い領域についてのみ撮像することにより、ＣＣＤ１６４の限られた画素を有効に利用することができる。

図５は、本発明の第１の実施形態に係る撮像装置１０における処理の流れの一例を示すフローチャートである。まず、距離取得部１００は、例えば測距センサやレンジファインダ等を用いることにより、車両から、撮像部１６０の画角内に存在する被写体までの距離を取得する（Ｓ１０００）。ここで、距離取得部１００は、撮像部１６０の画角内に存在する複数の被写体のうち、予め定められた方向に存在する被写体について、車両から当該被写体までの距離を取得し、取得した距離を変位算出部１３０に出力してよい。また、これに代えて、距離取得部１００は、撮像部１６０の画角内に存在する複数の被写体のうち、画像内での被写体を示す領域の重心位置毎に予め定められた重み、及び車両から被写体までの距離毎に予め定められた重みに基づいて、被写体毎の重みを算出し、最も大きな重みを示す被写体について、車両から当該被写体までの距離、及び画角内での当該被写体の位置を示す情報を変位算出部１３０に出力してもよい。これにより、撮像装置１０は、複数の被写体が存在する場合であっても、最も注目すべき被写体について、ブレの無い鮮明な画像を撮像することができる。また、ここで、画角内での被写体の位置を示す情報とは、例えば、予め定められた座標系における、光学系１６２の光学中心から当該被写体への方向を示すベクトルであってよい。

続いて、速度計測部１１０は、例えばエンジンの回転数等に基づいて、車両の速度を計測する（Ｓ１０１０）。続いて、舵角計測部１２０は、例えばステアリングの回転角等に基づいて、車両における舵角を計測する（Ｓ１０２０）。続いて、変位算出部１３０は、距離取得部１００により車両からの距離が取得された被写体について、当該距離、車両の速度、及び車両における舵角に基づいて、撮像部１６０により撮像される画像内での当該被写体を示す領域の、露光時間中における変位を算出する（Ｓ１０３０）。ここで、被写体との距離及び車両の速度だけでなく、車両における舵角に更に基づいて変位を算出することにより、車両が直進していない場合であっても、車両の移動による被写体像のブレの無い画像を撮像することができる。

続いて、撮像倍率変化率算出部１４０は、算出された被写体を示す領域の変位に基づいて、当該変位を補償して、露光時間中における当該被写体を示す領域の位置が略一定となる撮像倍率の変化率を算出する（Ｓ１０４０）。続いて、撮像倍率制御部１５２は、撮像部１６０の撮像倍率を、算出された変化率で変化させるべく制御する（Ｓ１０５０）。続いて、撮像タイミング制御部１５４は、撮像部１６０の撮像倍率が、算出された変化率で変化している時に、撮像部１６０により画像を撮像させる（Ｓ１０６０）。続いて、表示部１９０は、撮像された画像を表示して、運転者等に提供する（Ｓ１０７０）。

なお、本実施形態に係る撮像装置１０は、複数の画像を撮像すると共に、当該複数の画像を合成して、合成した画像を運転者等の利用者に提供してもよい。以降、撮像装置１０が、撮像した複数の画像を合成する処理について説明する。

この場合、変位算出部１３０は、速度計測部１１０により計測された速度に基づき、撮像部１６０により撮像される複数の画像のそれぞれについて、撮像部１６０の露光時間中における、当該画像内での、撮像部１６０の画角内に存在する被写体を示す領域の変位を算出する。そして、撮像倍率変化率算出部１４０は、撮像部１６０により撮像される複数の画像のそれぞれについて、当該画像において変位算出部１３０によって算出された変位を補償する、撮像部１６０における撮像倍率の変化率を算出する。そして、撮像倍率制御部１５２は、撮像部１６０により撮像される複数の画像のそれぞれについて、当該画像において変位算出部１３０により算出された変化率で変化させるべく撮像部１６０の撮像倍率を制御する。そして、撮像タイミング制御部１５４は、撮像部１６０により撮像される複数の画像のそれぞれについて、当該画像において変位算出部１３０により算出された変化率で撮像倍率が変化している時に、撮像部１６０により当該画像を撮像させる。以上のようにして、撮像装置１０は、画像内に存在する被写体についてブレの無い複数の画像を、撮像部１６０を用いて撮像することができる。そして、画像処理部１８０は、撮像部１６０により撮像された複数の画像を合成して、新たな画像を生成し、表示部１９０に表示させる。

例えば、画像処理部１８０は、ＳＲ（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）処理と呼ばれる公知の画像処理を行うことにより、撮像された複数の画像を合成して、より解像度の高い画像を生成してよい。具体的には、画像処理部１８０は、複数の画像のそれぞれに含まれる、対応する画素のそれぞれを、互いに近傍に配置することにより、当該複数の画像を合成して、より解像度の高い画像を生成してよい。

ここで、変位算出部１３０は、撮像部１６０により撮像される複数の画像のうち、少なくとも一部の画像について、互いに異なる被写体を示す領域の変位を算出してよい。これにより、撮像する画像に複数の被写体が含まれている場合に、それぞれの被写体についてブレのない画像を合成することができるので、運転者等の利用者に、品質の高い画像を提供することができる。

また、この場合、画像処理部１８０は、撮像部１６０により撮像された複数の画像のそれぞれにおける、変位算出部１３０によって変位が算出された領域の画像のそれぞれを合成して、より解像度の高い画像を生成してよい。例えば、画像処理部１８０は、複数の画像のそれぞれについて、当該画像が撮像された時の撮像倍率の変化率によって変位が補償される被写体を示す領域の情報を、変位算出部１３０から受け取り、受け取った情報に基づいて、当該領域の画像のそれぞれを合成してよい。また、例えば、画像処理部１８０は、複数の画像のそれぞれについて、輪郭抽出処理を行うことにより、当該画像に含まれる被写体を抽出すると共に、他の被写体に比べて、輪郭の濃淡の差がより大きい被写体を、ブレの無い被写体であると検出し、当該被写体を示す画像のそれぞれを合成してもよい。これにより、撮像する画像に複数の被写体が含まれている場合に、それぞれの被写体について、ブレの無い画像のみを選択して、画像を合成することができるので、更に品質の高い画像を利用者に提供することができる。

また、画像処理部１８０は、撮像された複数の画像のそれぞれについて、当該画像と、複数の画像のうち、当該画像の前または後に撮像された他の画像とを、画像を複数に分割した領域毎に比較した場合において、当該領域におけるそれぞれの画像の差異が予め定められた基準値より小さい場合に、それぞれの画像に含まれる当該領域の画像を合成してよい。

複数の画像を、ＳＲ処理を用いて合成して、新たな画像を生成する場合、それぞれの画像が全く同一の画像であると、合成された画像は、元の画像と同じ解像度になってしまう。このため、複数の画像のそれぞれは、異なる内容を示すことが好ましい。しかし、複数の画像における差異が大きい場合には、却って合成画像の品質が低下してしまう。本実施形態に係る撮像装置１０において、複数の画像を撮像して合成する場合、当該複数の画像は、例えば１００ミリ秒以内といった、十分に短い時間内に撮像されることが好ましい。しかし、複数の画像を十分に短い時間内に撮像している場合であっても、被写体の動きが大きい場合等には、それぞれの画像間における当該被写体を示す画像の差異が大きくなる場合がある。しかしながら、このような場合であっても、画像を複数に分割した領域毎における画像の差異が基準値より小さい場合に、当該領域の画像を合成することによって、品質の高い合成画像を生成することができる。

以上のようにして、撮像した複数の画像を合成して、より解像度の高い画像を生成することにより、より品質の高い画像を利用者に提供することができる。

なお、以上の説明において、撮像装置１０は車両に設けられていたが、これに代えて、撮像装置１０は、他の移動体に設けられ、当該他の移動体の周囲を撮像してよい。例えば、撮像装置１０は、内視鏡に設けられてもよい。これにより、内視鏡を用いて体内の器官や組織を検査する場合に、内視鏡を動かしている場合であっても、ブレの無い画像を撮像することができる。

図６は、本発明の第２の実施形態に係る画像認識システム２０の構成の一例を示すブロック図である。画像認識システム２０は、例えば自動車等の車両に設けられ、車両の周囲の画像を撮像すると共に、撮像した画像に対して画像認識を行った結果に基づいて車両を制御する。本実施形態に係る画像認識システム２０は、ブレの無い画像を撮像することによって、精度よく画像認識を行うと共に、精度よく車両を制御することを目的とする。

画像認識システム２０は、距離取得部１００、速度計測部１１０、舵角計測部１２０、変位算出部１３０、撮像倍率変化率算出部１４０、撮像制御部１５０、撮像部１６０、一時メモリ１７０、画像認識部５００、及び車両制御部５１０を備える。なお、本図に示した画像認識システム２０が備える要素のうち、図１に示した撮像装置１０が備える要素と同一の符号を付した要素は、図１から図５にかけて説明した、対応する要素と略同一の機能及び構成を有するので、相違点を除き、説明を省略する。

画像認識部５００は、撮像タイミング制御部１５４が撮像部１６０に撮像させた画像を、一時メモリ１７０を介して受け取り、受け取った画像に含まれる被写体を公知の画像認識技術を用いて認識する。そして、画像認識部５００は、撮像された画像に含まれる被写体の認識結果を、車両制御部５１０に出力する。ここで、認識結果とは、例えば、画像における被写体を示す領域の位置及び大きさ、被写体と車両との間の距離、車両から見た被写体の方向、並びに被写体の種類等を示す情報を含んでいてよい。車両制御部５１０は、画像認識部５００によって認識された、撮像部１６０が撮像した画像に含まれる被写体に基づいて、車両の速度及び舵角を制御する。

本実施形態に係る画像認識システム２０によれば、車両が移動することにより、撮像された画像内での被写体を示す領域の位置が露光時間中に変化する場合であっても、被写体を示す領域の位置の変化を補償すべく撮像倍率を変化させることにより、当該被写体の画像にブレの無い、鮮明な画像を撮像することができる。従って、撮像した画像に含まれる被写体を、精度よく認識することができる。そして、画像認識システム２０によれば、ブレの無い画像における画像認識結果を用いることにより、例えば自動運転等を行う場合において、高い精度で車両を制御することができる。

図７は、本発明の第２の実施形態に係る画像認識システム２０における処理の流れの一例を示すフローチャートである。まず、距離取得部１００は、車両から、撮像部１６０の画角内に存在する被写体までの距離を取得する（Ｓ１１００）。続いて、速度計測部１１０は、車両の速度を計測する（Ｓ１１１０）。続いて、舵角計測部１２０は、車両における舵角を計測する（Ｓ１１２０）。続いて、変位算出部１３０は、距離取得部１００により車両からの距離が取得された被写体について、当該距離、車両の速度、及び車両における舵角に基づいて、撮像部１６０により撮像される画像内での当該被写体を示す領域の、露光時間中における変位を算出する（Ｓ１１３０）。

続いて、撮像倍率変化率算出部１４０は、算出された被写体を示す領域の変位に基づいて、当該変位を補償して、露光時間中における当該被写体を示す領域の位置が略一定となる撮像倍率の変化率を算出する（Ｓ１１４０）。続いて、撮像倍率制御部１５２は、撮像部１６０の撮像倍率を、算出された変化率で変化させるべく制御する（Ｓ１１５０）。続いて、撮像タイミング制御部１５４は、撮像部１６０の撮像倍率が、算出された変化率で変化している時に、撮像部１６０により画像を撮像させる（Ｓ１１６０）。

続いて、画像認識部５００は、撮像部１６０により撮像された画像に含まれる被写体を認識する（Ｓ１１７０）。例えば、画像認識部５００は、撮像された画像に対して輪郭抽出処理を行うことにより、撮像された画像に含まれる、被写体を示す画像を抽出してよい。そして、画像認識部５００は、抽出した被写体を示す画像を、被写体の種類毎に予め定められたパターンデータと比較することにより、被写体の種類を検出してよい。

続いて、車両制御部５１０は、画像認識部５００によって認識された、撮像部１６０が撮像した画像に含まれる被写体に基づいて、車両の速度及び舵角を制御する（Ｓ１１８０）。例えば、当該画像認識システム２０が設けられた車両が、自動操縦によって走行する場合に、車両制御部５１０は、画像認識部５００によって、進行方向に人物が存在していると認識された場合には、車両の速度を低下させると共に、当該人物を避けるべく、車両の進行方向を変更してよい。

なお、以上の説明において、画像認識システム２０は車両に設けられていたが、これに代えて、画像認識システム２０は、他の移動体に設けられ、当該他の移動体の周囲を撮像してもよい。

図８は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して撮像装置１０と通信し、撮像装置１０にプログラム及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０及び通信インターフェイス１５３０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供される撮像プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。撮像プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して撮像装置１０に送信される。撮像装置１０に送信された撮像プログラムは、撮像装置１０においてインストールされて実行される。撮像装置１０にインストールされて実行される撮像プログラムは、撮像装置１０を、図１から図５にかけて説明した撮像装置１０として機能させる。

また、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される画像認識プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。画像認識プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される画像認識プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図６から図７にかけて説明した画像認識システム２０として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本発明の第１の実施形態に係る撮像装置１０の構成の一例を示すブロック図である。 本発明の第１の実施形態に係る撮像倍率変化率算出部１４０における処理の一例を示す図である。 本発明の第１の実施形態に係る撮像制御部１５０における処理の一例を示す図である。 本発明の第１の実施形態に係る光学系１６２により結像される光学像３００の一例を示す図である。 本発明の第１の実施形態に係る撮像装置１０における処理の流れの一例を示すフローチャートである。 本発明の第２の実施形態に係る画像認識システム２０の構成の一例を示すブロック図である。 本発明の第２の実施形態に係る画像認識システム２０における処理の流れの一例を示すフローチャートである。 本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。

符号の説明

１０ 撮像装置、２０ 画像認識システム、１００ 距離取得部、１１０ 速度計測部、１２０ 舵角計測部、１３０ 変位算出部、１４０ 撮像倍率変化率算出部、１５０ 撮像制御部、１５２ 撮像倍率制御部、１５４ 撮像タイミング制御部、１５６ 撮像方向制御部、１６０ 撮像部、１６２ 光学系、１６４ ＣＣＤ、１６６ 撮像信号処理部、１７０ 一時メモリ、１８０ 画像処理部、１９０ 表示部、５００ 画像認識部、５１０ 車両制御部

Claims (16)

1. 移動体に設けられる撮像装置であって、
   画像を撮像する撮像部と、
   前記移動体の速度を計測する速度計測部と、
   前記速度に基づいて、前記撮像部の露光時間中における、前記撮像部により撮像される画像内での、前記撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出部と、
   前記変位を補償する、前記撮像部における撮像倍率の変化率を算出する撮像倍率変化率算出部と、
   前記撮像倍率を前記変化率で変化させるべく制御する撮像倍率制御部と、
   前記撮像倍率が前記変化率で変化している時に、前記撮像部により画像を撮像させる撮像タイミング制御部と
   を備える撮像装置。
2. 前記移動体から、前記被写体までの距離を取得する距離取得部を更に備え、
   前記変位算出部は、前記距離に更に基づいて、前記撮像部の露光時間中における、前記撮像部により撮像される画像内での前記被写体を示す領域の変位を算出する
   請求項１に記載の撮像装置。
3. 前記撮像倍率制御部は、前記撮像倍率を、撮像される画像におけるフレームレートの整数倍の周波数で振動させ、
   前記撮像タイミング制御部は、前記撮像倍率が前記変化率で変化する位相で、前記撮像部により画像を撮像させる
   請求項１に記載の撮像装置。
4. 前記移動体は、車両である請求項１に記載の撮像装置。
5. 前記車両における舵角を計測する舵角計測部
   を更に備え、
   前記変位算出部は、前記舵角に更に基づいて、前記撮像部の露光時間中における、前記撮像部により撮像される画像内での前記被写体を示す領域の変位を算出する
   請求項４に記載の撮像装置。
6. 前記車両における舵角を計測する舵角計測部と、
   前記撮像部により撮像される画像における消失点、及び前記撮像部における光学中心が略一致するべく、前記舵角に基づいて、前記撮像部の撮像方向を制御する撮像方向制御部と
   を更に備える請求項４に記載の撮像装置。
7. 前記撮像部は、
   前記被写体の光学像を結像する光学系と、
   撮像する領域の中心が、前記光学系の光軸に対して下方に位置するべく設けられるＣＣＤと
   を有する請求項１に記載の撮像装置。
8. 前記撮像部は、複数の画像を撮像し、
   前記変位算出部は、計測された前記速度に基づき、前記撮像部により撮像される前記複数の画像のそれぞれについて、前記撮像部の露光時間中における、当該画像内での、前記撮像部の画角内に存在する被写体を示す領域の前記変位を算出し、
   前記撮像倍率変化率算出部は、前記撮像部により撮像される前記複数の画像のそれぞれについて、当該画像において算出された前記変位を補償する、前記撮像部における前記撮像倍率の前記変化率を算出し、
   前記撮像倍率制御部は、前記撮像部により撮像される前記複数の画像のそれぞれについて、当該画像において算出された前記変化率で変化させるべく前記撮像倍率を制御し、
   前記撮像タイミング制御部は、前記撮像部により撮像される前記複数の画像のそれぞれについて、当該画像において算出された前記変化率で前記撮像倍率が変化している時に、前記撮像部により当該画像を撮像させ、
   当該撮像装置は、
   前記撮像部により撮像された前記複数の画像を合成して、より解像度の高い画像を生成する画像処理部
   を更に備える
   請求項１に記載の撮像装置。
9. 前記変位算出部は、前記撮像部により撮像される前記複数の画像のうち、少なくとも一部の画像について、互いに異なる被写体を示す領域の前記変位を算出する請求項８に記載の撮像装置。
10. 前記画像処理部は、前記撮像部により撮像された前記複数の画像のそれぞれにおける、前記変位算出部によって前記変位が算出された領域の画像のそれぞれを合成する請求項９に記載の撮像装置。
11. 移動体に設けられる撮像装置による撮像方法であって、
    前記撮像装置が備える撮像部により画像を撮像する撮像段階と、
    前記移動体の速度を計測する速度計測段階と、
    前記速度に基づいて、前記撮像段階の露光時間中における、前記撮像段階において撮像される画像内での、前記撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出段階と、
    前記変位を補償する、前記撮像段階における撮像倍率の変化率を算出する撮像倍率変化率算出段階と、
    前記撮像倍率を前記変化率で変化させるべく制御する撮像倍率制御段階と、
    前記撮像倍率が前記変化率で変化している時に、前記撮像部により画像を撮像させる撮像タイミング制御段階と
    を備える撮像方法。
12. 移動体に設けられる撮像装置を機能させる撮像プログラムであって、
    前記撮像装置を、
    画像を撮像する撮像部と、
    前記移動体の速度を計測する速度計測部と、
    前記速度に基づいて、前記撮像部の露光時間中における、前記撮像部により撮像される画像内での、前記撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出部と、
    前記変位を補償する、前記撮像部における撮像倍率の変化率を算出する撮像倍率変化率算出部と、
    前記撮像倍率を前記変化率で変化させるべく制御する撮像倍率制御部と、
    前記撮像倍率が前記変化率で変化している時に、前記撮像部により画像を撮像させる撮像タイミング制御部と
    を備える撮像装置として機能させる撮像プログラム。
13. 移動体に設けられ、画像を撮像する撮像部と、
    前記移動体の速度を計測する速度計測部と、
    前記速度に基づいて、前記撮像部の露光時間中における、前記撮像部により撮像される画像内での、前記撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出部と、
    前記変位を補償する、前記撮像部における撮像倍率の変化率を算出する撮像倍率変化率算出部と、
    前記撮像倍率を前記変化率で変化させるべく制御する撮像倍率制御部と、
    前記撮像倍率が前記変化率で変化している時に、前記撮像部により画像を撮像させる撮像タイミング制御部と、
    前記撮像タイミング制御部が前記撮像部に撮像させた画像に含まれる前記被写体を認識する画像認識部と
    を備える画像認識システム。
14. 前記移動体は、車両であり、
    当該画像認識システムは、
    前記画像認識部によって認識された前記被写体に基づいて、前記車両の速度及び舵角を制御する車両制御部
    を更に備える請求項１３に記載の画像認識システム。
15. 移動体に設けられる撮像部が、画像を撮像する撮像段階と、
    前記移動体の速度を計測する速度計測段階と、
    前記速度に基づいて、前記撮像段階の露光時間中における、前記撮像段階において撮像される画像内での、前記撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出段階と、
    前記変位を補償する、前記撮像段階における撮像倍率の変化率を算出する撮像倍率変化率算出段階と、
    前記撮像倍率を前記変化率で変化させるべく制御する撮像倍率制御段階と、
    前記撮像倍率が前記変化率で変化している時に、前記撮像部により画像を撮像させる撮像タイミング制御段階と、
    前記撮像タイミング制御段階において前記撮像部に撮像させた画像に含まれる前記被写体を認識する画像認識段階と
    を備える画像認識方法。
16. 画像認識システムとしてコンピュータを機能させる画像認識プログラムであって、
    前記コンピュータを、
    移動体に設けられ、画像を撮像する撮像部と、
    前記移動体の速度を計測する速度計測部と、
    前記速度に基づいて、前記撮像部の露光時間中における、前記撮像部により撮像される画像内での、前記撮像部の画角内に存在する被写体を示す領域の変位を算出する変位算出部と、
    前記変位を補償する、前記撮像部における撮像倍率の変化率を算出する撮像倍率変化率算出部と、
    前記撮像倍率を前記変化率で変化させるべく制御する撮像倍率制御部と、
    前記撮像倍率が前記変化率で変化している時に、前記撮像部により画像を撮像させる撮像タイミング制御部と、
    前記撮像タイミング制御部が前記撮像部に撮像させた画像に含まれる前記被写体を認識する画像認識部と
    を備える画像認識システムとして機能させる画像認識プログラム。

Images