JP2013020584A

JP2013020584A - 画像処理装置および方法、プログラム、並びに記録媒体

Info

Publication number: JP2013020584A
Application number: JP2011155713A
Authority: JP
Inventors: Noriaki Takahashi; 紀晃高橋; Takahiro Nagano; 隆浩永野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-07-14
Filing date: 2011-07-14
Publication date: 2013-01-31

Abstract

【課題】露光時間の異なる撮像素子を用いて撮像された画像の動きを、より精度よく検出することができるようにする。
【解決手段】複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成し、注目画素の値、並びに、注目画素と露光時間が異なる画素を含む周辺画素であって、注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得し、注目画素および周辺画素のそれぞれの露光時間を取得し、注目画素と周辺画素との間の距離である画素間距離、取得された画素値、取得された露光時間に基づいて撮像画素像の被写体の注目画素における移動速度を算出し、移動速度に基づいて、被写体の単位時間当たりの動き量を特定する。
【選択図】図３

Description

本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、露光時間の異なる撮像素子を用いて撮像された画像の動きを、より精度よく検出することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。

ビデオカメラ等の撮像装置に用いられる撮像素子としては、ＣＣＤ等の固体撮像素子が使用されている。しかし、固体撮像素子を用いた撮像装置では、銀塩方式の撮像装置の場合に比べて、入射光量に対するダイナミックレンジが狭い。撮像装置のダイナミックレンジが狭いと、撮影した画像に黒つぶれや白とびが発生するという問題がある。

そこで、従来より、ダイナミックレンジを拡大することができる撮像装置として、異なる露光量の複数の画像信号を用いてダイナミックレンジの広い画像を合成するものが知られている。従来の撮像装置では、撮像素子の１フレーム目の撮影で得られる画像信号とその時の露光量に基づいて、適正露光量を求める。そして、これに基づいて２フレーム目の撮像素子による撮影を、適正露光量またはオーバー露光、アンダー露光によって行う。そして、１フレーム目と２フレーム目の画像信号をメモリに記憶し、メモリに記憶した１フレーム目と２フレーム目の画像信号を合成することによって、１枚のダイナミックレンジの拡大された画像を生成する。

全画素が２つの画素グループに分割され、２つの画素グループごとに１フレームで異なる露光時間の映像信号を読み出し可能であり、２つの画素グループの露光時間が１フレームごとに入れ替えられるようにした撮像素子を用いる技術も提案されている（例えば、特許文献１参照）。

また、例えば、ビデオカメラ等における手振れ補正機能を実現する場合など、画像の動き量の検出が重要である。従来、動き量は、時間的に連続した２枚の画像を用いて検出されていた。このように動き量を検出する場合、例えば、特許文献１のように２枚の画像で、異なる露光時間が設定されると、検出精度が落ちるなどの弊害がある。

そこで、ダイナミックレンジを拡大することができる撮像装置における動き量の検出精度を高めるために、複数の画素群をひとつの高解像度画素群として一回ごとに異なる撮像条件で連続して複数回撮像することも提案されている（例えば、特許文献２参照）。

特許文献２の技術では、撮像素子の画素群ごとに異なる露光時間にて一回露光で撮像することが可能であり、例えば、Ａ面画素群とＢ面画素群とで同時に露光を開始し、Ｂ面画素群の露光終了後にＡ面画素群の露光を終了することが可能とされている。

特開２００７−２２１４２３号公報特開２０１０−２１９９４０号公報

しかしながら、例えば、特許文献２の技術において動き量を検出する場合、注目画素の動きが露光時間の異なる画素に向かうものである場合、やはり検出精度が落ちるなど問題があった。例えば、ブロックマッチング方式や勾配法を用いた動き検出を行う場合、長時間露光の画素と短時間露光の画素との間での差分抽出が困難である。

本技術はこのような状況に鑑みて開示するものであり、露光時間の異なる撮像素子を用いて撮像された画像の動きを、より精度よく検出することができるようにするものである。

本技術の一側面は、複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成する近似式生成部と、注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得する画素値取得部と、前記注目画素および前記周辺画素のそれぞれの露光時間を取得する露光時間取得部と、前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出する速度算出部と、前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定する動き量特定部とを備える画像処理装置である。

前記周辺画素は、前記近似式に含まれる変数に応じた数の画素であって、前記注目画素と同一のフレームの画像の画素とされるようにすることができる。

前記周辺画素は、前記近似式に含まれる変数に応じた数の画素であって、前記注目画素とは異なるフレームの画像の画素とされるようにすることができる。

前記移動速度算出部は、前記注目画素の値および前記周辺画素の値を、それぞれ前記近似式と前記被写体の移動速度に基づいて定まる値を前記露光時間によって積分する第１の数式により表したとき、前記第１の数式と、前記画素間距離とを用いて定式化された前記被写体の移動速度を表す第２の数式に、前記注目画素および前記周辺画素の観測値を代入することで前記移動速度を算出するようにすることができる。

本技術の一側面は、近似式生成部が、複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成し、画素値取得部が、注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得し、露光時間取得部が、前記注目画素および前記周辺画素のそれぞれの露光時間を取得し、速度算出部が、前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出し、動き量特定部が、前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定するステップを含む画像処理方法である。

本技術の一側面は、コンピュータを、複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成する近似式生成部と、注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得する画素値取得部と、前記注目画素および前記周辺画素のそれぞれの露光時間を取得する露光時間取得部と、前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出する速度算出部と、前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定する動き量特定部とを備える画像処理装置として機能させるプログラムである。

本技術の一側面においては、複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により画像が撮像され、前記撮像された画像の被写体を構成する画素の値を近似する近似式が生成され、注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値が取得され、前記注目画素および前記周辺画素のそれぞれの露光時間が取得され、前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度が算出され、前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量が特定される。

本技術によれば、露光時間の異なる撮像素子を用いて撮像された画像の動きを、より精度よく検出することができる。

本技術を適用した撮像装置の一実施の形態に係る構成例を示すブロック図である。図１の撮像素子の受光面の構成例を示す図である。図１の動き量検出部の詳細な構成例を示すブロック図である。動き量を検出するための画素の例を示す図である。画素位置と露光時間の関係を説明する図である。動き量検出処理の例を説明するフローチャートである。動き量を検出するための画素の別の例を示す図である。画素位置と露光時間の関係の別の例を説明する図である。パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、ここで開示する技術の実施の形態について説明する。

図１は、本技術を適用した撮像装置の一実施の形態に係る構成例を示すブロック図である。この撮像装置１１は、例えば、デジタルカメラ（デジタルスチルカメラ）として構成される。

図１の撮像装置１１は、操作部２１、撮像部４１、ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)５４、動き量検出部５５、補正部５７、表示制御部６０、および表示部６１により構成される。

操作部２１は、例えば、レリーズ・スイッチ３１および後述する表示部６１に重畳されたタッチパネルなどにより構成され、ユーザによって操作される。操作部２１は、ユーザの操作に応じた操作信号を、撮像装置１１の必要なブロックに供給する。

撮像部４１は、そこに入射する光を受光して光電変換することにより被写体を撮像し、その結果得られる撮影画像をＳＤＲＡＭ５４に供給して、（一時的に）記憶させる。

ここで、撮像部４１は、撮像レンズ５１、撮像素子５２、およびカメラ信号処理部５３により構成されており、撮像レンズ５１は、撮像素子５２の受光面に被写体の像を結像させる。

撮像素子５２は、例えば、ＣＣＤ(Charge Coupled Devices)センサ、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサなどで構成される。撮像素子５２は、その受光面に結像された被写体の像（光）を、光電変換することでアナログの画像信号として、カメラ信号処理部５３に供給する。なお、撮像素子５２の詳細な構成例については後述する。

カメラ信号処理部５３は、撮像素子５２から供給されたアナログの画像信号に対して、例えばガンマ補正処理や白バランス処理などを行う。その後、カメラ信号処理部５３は、そのアナログの画像信号をＡ／Ｄ(Analog/Digital)変換し、その結果得られるデジタルの画像信号（撮像画像）をＳＤＲＡＭ５４に供給して記憶させる。

ＳＤＲＡＭ５４は、カメラ信号処理部５３（撮像部４１）から供給された撮像画像を記憶する。

動き量検出部５５は、撮像部４１で撮像された撮像画像を、ＳＤＲＡＭ５４から読み出す。動き量検出部５５は、ＳＤＲＡＭ５４から読み出した撮像画像について、後述するように動き量を検出する。

補正部５７は、動き量検出部５５から供給された撮像画像の動き量に基づいて、同じく、動き量検出部５５から供給されたその撮像画像を補正し、補正後の撮像画像を表示制御部６０に供給する。

表示制御部６０は、補正部５７から供給された撮像画像を表示部６１に供給して表示させる。

表示部６１は、表示制御部６０の制御に従い、撮像画像などを表示する。表示部６１としては、例えば、ＬＣＤ(Liquid Crystal Display)などを採用することができる。

図２は、図１の撮像素子５２の詳細な構成例であり、受光面の構成例を示す図である。同図に示されるように、撮像素子の撮像面には、露光時間が長い画素と、露光時間の短い画素が規則的に配列されている。なお、露光時間が長い画素は、光電変換されて得られた電荷を長時間蓄積することになるので長蓄画素と称することとし、図中「Ｌｘ（ｘは自然数）」の記号で表されている。また、露光時間が短い画素は、光電変換されて得られた電荷を短時間蓄積することになるので短蓄画素と称することとし、図中「Ｓｘ（ｘは自然数）」の記号で表されている。

図２の例では、２５（＝５×５）個の画素が正方形状に配置されており、長蓄画素と短蓄画素がそれぞれ交互に配置されている。この例では、長蓄画素が１３個、短蓄画素が１２個配置されている。

撮像装置１１は、図２に示されるような撮像素子５２を用いることで、ダイナミックレンジの広い画像を撮像することができるようになされている。

図３は、図１の動き量検出部５５の詳細な構成例を示すブロック図である。同図に示されるように、動き量検出部５５は、画素値取得部１０１、露光時間取得部１０２、近似式生成部１０３、速度算出部１１１、動き量特定部１１２を有する構成とされている。

画素値取得部１０１は、撮像素子５２の受光面の複数の画素のそれぞれについて画素値を取得する。

露光時間取得部１０２は、撮像素子５２の受光面の複数の画素のそれぞれについて設定された露光時間を取得する。

近似式生成部１０３は、撮像された画像における被写体の輝度値であって、所定の位置の画素の輝度値（画素値）を近似する数式を生成するようになされている。

速度算出部１１１は、近似式生成部１０３により生成された近似式、画素値取得部１０１により取得された画素値、それらの画素の画素間の距離、露光時間取得部１０２により取得された露光時間に基づいて、被写体が動く速度を算出する。

動き量特定部１１２は、速度算出部１１１により算出された速度に基づいて、単位時間当たりの被写体の動き量を特定する。

次に、動き量検出部５５による動き量の検出の例について詳細に説明する。

いま、動き量を特定すべき画素（以下、適宜、注目画素と称する）として、例えば、図２に示される画素の中の１つの短蓄画素に注目し、注目画素から距離ｌだけはなれた２つの画素を考える。

例えば、図４に示されるように、注目画素をＰ_x0とし、注目画素から距離ｌだけはなれた２つの画素を、Ｐ_x0-l、および、Ｐ_x0+1とする。なお、図４の横軸が画素の位置を表しており、注目画素の位置がｘ₀とされている。ここでは説明を簡単にするために、注目画素から水平方向（ｘ軸方向）に距離ｌだけはなれた２つの画素を想定することとする。ここで、距離ｌは、各画素間の距離に等しいものとすると、画素Ｐ_x0-lは、図２において注目画素の左側に隣接する長蓄画素となり、画素Ｐ_x0+1は、図２において注目画素の右側に隣接する長蓄画素となる。

また、長蓄画素の露光時間をｓ₁とし、短蓄画素の露光時間をｓ₂とし、各フレームにおいて長蓄画素と短蓄画素が同時に露光開始されるものとする。例えば、１フレームの時間をｓ₀で表すと、図５に示されるようになる。

図５は、注目画素と注目画素に隣接する画素の露光のタイミングを説明する図である。なお、同図の横軸は時間を表している。

図５に示されるように、短蓄画素である注目画素Ｐ_x0と、長蓄画素である画素Ｐ_x0-l、および、画素Ｐ_x0-lとは、フレーム開始時刻ｔ₀において、同時に露光開始される。そして、短蓄画素である注目画素Ｐ_x0は時刻ｔ₀から時間ｓ₂が経過したとき、露光終了され、長蓄画素である画素Ｐ_x0-l、および、画素Ｐ_x0-lとは、時刻ｔ₀から時間ｓ₁が経過したとき、露光終了される。次のフレームにおいても各画素が同様に露光開始、露光終了される。

いま撮像画像の被写体を構成する画素の輝度値（画素値）を式（１）に示される一次式で近似できるものとする。

・・・（１）

なお、式（１）におけるｙは輝度値を表しており、ｘは画素位置を表している。すなわち、変数ａが正の数であるとした場合、式（１）により、被写体を構成する画素の輝度が画面の右側に向かって徐々に高くなるような撮像画像が近似されることになる。

また、撮像画像の被写体は、画面内を水平方向に速度ｖ_xで等速移動しているものとすると、時間ｔだけ後の画素値は、式（２）によって近似されることになる。

・・・（２）

撮像素子の画素値は、当該画素が受光した光に対応する輝度値を露光時間で積分したものと考えることができるので、注目画素Ｐ_x0において時刻ｔ₀から時間ｓ₂かけて蓄積された電荷に対応する画素値を、Ｐ_x0，t0，s2と表記すると、式（３）が成立する。

・・・（３）

ここで、時刻ｔにおける位置ｘの画素値を露光時間ｓで割った値を式（４）に示されるように定義する。

・・・（４）

そうすると、式（３）と式（４）より、式（５）が導出される。

・・・（５）

式（５）と同様に、注目画素に隣接する画素Ｐ_x0-l、および、画素Ｐ_x0-lについても、それぞれ式（６）および式（７）が導出される。

・・・（６）

・・・（７）

さらに、式（５）、式（６）、および式（７）から、式（８）および式（９）を導出することができる。

・・・（８）

・・・（９）

式（８）と式（９）を用いて変数ａを消去することで、式（１０）によって被写体の速度ｖ_xを算出することが可能となる。

・・・（１０）

例えば、近似式生成部１０３が式（１）および式（２）を生成する。速度算出部１１１が式（１０）において、画素間の距離ｌ、画素値取得部１０１により取得された画素値（すなわち観測値）、および、露光時間取得部１０２により取得された露光時間に基づいて各値を代入し、被写体の速度ｖ_xを算出する。そして、動き量特定部１１２が、算出された被写体の速度ｖ_xに基づいて、単位時間当たりの被写体の動き量を特定する。

このようにして動き量が検出（特定）される。

次に、図６のフローチャートを参照して、動き量検出部５５による動き量検出処理の例について説明する。

ステップＳ２１において、注目画素が設定される。

ステップＳ２２において、近似式生成部１０３は、撮像された画像における被写体の輝度値であって、所定の位置の画素の輝度値（画素値）を近似する数式（近似式）を生成する。このとき、例えば、式（１）に示されるような近似式が生成される。

ステップＳ２３において、画素値取得部１０１は、撮像素子５２の受光面の複数の画素であって、注目画素を含む複数の画素の画素値を取得する。このとき、例えば、図４を参照して上述したように、３つの画素の画素値が取得される。取得された画素値は、速度算出部１１１に供給される。

ステップＳ２４において、露光時間取得部１０２は、ステップＳ２３で画素値が取得された各画素の露光時間を取得する。このとき、例えば、短蓄画素である注目画素の露光時間をｓ₂と、長蓄画素である他の画素の露光時間をｓ₁とが取得される。取得された露光時間は、速度算出部１１１に供給される。

ステップＳ２５において、ステップＳ２３で画素値が取得された各画素間の距離（例えば、図４の距離ｌ）が取得される。なお、各画素間の距離は、予め設定され、速度算出部１１１によって自動的に取得されるようにしてもよい。

ステップＳ２６において、速度算出部１１１は、ステップＳ２２で生成された近似式、ステップＳ２３で取得された画素値、ステップＳ２４で取得された露光時間、ステップＳ２５で取得された画素間の距離に基づいて被写体の速度ｖ_xを算出する。このとき、例えば、式（１０）に各値が代入され、速度ｖ_xが算出される。

ステップＳ２７において、動き量特定部１１２は、ステップＳ２６の処理で算出された被写体の速度ｖ_xに基づいて、単位時間当たりの被写体の動き量を特定する。

このようにして、動き量検出処理が実行される。

なお、ここでは、同一フレーム内に存在する３つの画素（画素Ｐ_x0、画素Ｐ_x0-l、および、画素Ｐ_x0+1）を用いて被写体の動き量を特定する例について説明したが、２つのフレームにまたがって存在する３つの画素を用いて被写体の動き量を特定することも可能である。

例えば、図７に示されるように、短蓄画素である注目画素をＰ_x0，t0，s2とし、注目画素と同一のフレーム（時刻ｔ₀のフレーム）の長蓄画素であって、注目画素から距離ｌだけはなれた１つの画素を、Ｐ_{x0+1，t0，s1}とする。また、注目画素とは異なるフレーム（時刻ｔ₀＋ｓ₀のフレーム）の短蓄画素であって、注目画素と同じ位置の画素を、Ｐ_{x0，t0+s0，s2}とする。なお、各画素の長蓄画素の露光時間をｓ₁とし、短蓄画素の露光時間をｓ₂とし、各画素には、画素位置、フレームの時刻、露光時間が添え字記号として付されている。

図７の横軸は画素位置を表し、縦軸は時間を表している。また、ここでは説明を簡単にするために、注目画素から水平方向（ｘ軸方向）に距離ｌだけはなれた１つの画素を想定することとする。ここで、距離ｌは、各画素間の距離に等しいものとすると、画素Ｐ_{x0+1，t0，s1}は、図２において注目画素の右側に隣接する長蓄画素となる。また、フレーム長（時間）がｓ₀であるものとすると、画素Ｐ_{x0，t0+s0，s2}は、１フレーム後における注目画素と同一の画素となる。

これらの画素を用いて式（５）乃至式（７）に対応する式を生成する。

すなわち、式（５）に対応して式（１１）が生成される。

・・・（１１）

また、式（６）に対応して式（１２）が生成される。

・・・（１２）

さらに、式（７）に対応して式（１３）が生成される。

・・・（１３）

さらに、式（１１）、式（１２）、および式（１３）から、式（１４）および式（１５）を導出することができる。

・・・（１４）

・・・（１５）

式（１４）と式（１５）を用いて変数ａを消去することで、式（１６）によって被写体の速度ｖ_xを算出することが可能となる。

・・・（１６）

また、以上においては、撮像素子の画素として露光時間の異なる２種類の画素が存在することを前提とした例について説明したが、撮像素子の画素として露光時間の異なる３種類の画素が存在する場合であっても本技術を適用することができる。

例えば、図８に示されるように、露光時間ｓ₁、露光時間ｓ₂、露光時間ｓ₃の３種類の露光時間を有する画素が存在するものとする。図８は、注目画素と注目画素に隣接する画素の露光のタイミングを説明する図である。なお、同図の横軸は時間を表している。

なお、ここでは、注目画素は、Ｐ_x0，s2とされ、注目画素から水平方向に距離ｌだけ離れた画素Ｐ_x0-l，s1、および、画素Ｐ_x0+l，s1を考える。距離ｌが、各画素間の距離に等しいものとすると、画素Ｐ_x0-l，s1は、図２において注目画素の左側に隣接する画素となり、画素Ｐ_x0+l，s1は、図２において注目画素の右側に隣接する画素となる。

図８に示されるように、露光時間がｓ₂である注目画素Ｐ_x0，s2、露光時間がｓ₁である画素Ｐ_x0-l，s1、および、露光時間がｓ₃である画素Ｐ_x0+l，s1は、フレーム開始時刻ｔ₀において、同時に露光開始される。そして、注目画素Ｐ_x0は時刻ｔ₀から時間ｓ₂が経過したとき、露光終了され、画素Ｐ_x0-lは、時刻ｔ₀から時間ｓ₁が経過したとき、露光終了され、画素Ｐ_x0+lは、画素Ｐ_x0-lは、時刻ｔ₀から時間ｓ₃が経過したとき、露光終了される。次のフレームにおいても各画素が同様に露光開始、露光終了される。

すなわち、式（５）に対応して式（１７）が生成される。

・・・（１７）

また、式（６）に対応して式（１８）が生成される。

・・・（１８）

さらに、式（７）に対応して式（１９）が生成される。

・・・（１９）

さらに、式（１７）、式（１８）、および式（１９）から、式（２０）および式（２１）を導出することができる。

・・・（２０）

・・・（２１）

式（２０）と式（２１）を用いて変数ａを消去することで、式（２２）によって被写体の速度ｖ_xを算出することが可能となる。

・・・（２２）

このように、本技術によれば、露光時間の異なる撮像素子を用いて撮像された画像の動きを、より精度よく検出することができる。また、従来の勾配法やブロックマッチングなどとは異なり、１フレーム内の画素を用いた動き量の検出が可能となる。

以上においては、画面内の水平方向の動き量のみを検出する例について説明したが、同様にして画面内の垂直方向の動き量も検出することが可能である。斜め方向の動き量は、水平方向の動きベクトルと垂直方向の動きベクトルに基づいて特定することができるので、本技術により画面内の全ての方向の動き量を検出することが可能である。

また、以上においては、撮像画像の被写体を構成する画素の輝度値（画素値）を一次式（式（１））で近似できる場合の例について説明したが、２次式以上の次数の式で近似されるようにしてもよい。この場合、近似式における変数が増えるので、必要に応じて画素値取得部１０１が取得する画素値の数を増やすようにすればよい。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図９に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図９において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図９に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成する近似式生成部と、
注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得する画素値取得部と、
前記注目画素および前記周辺画素のそれぞれの露光時間を取得する露光時間取得部と、
前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出する速度算出部と、
前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定する動き量特定部と
を備える画像処理装置。
（２）前記周辺画素は、
前記近似式に含まれる変数に応じた数の画素であって、前記注目画素と同一のフレームの画像の画素とされる
（１）に記載の画像処理装置。
（３）前記周辺画素は、
前記近似式に含まれる変数に応じた数の画素であって、前記注目画素とは異なるフレームの画像の画素とされる
（１）に記載の画像処理装置。
（４）前記移動速度算出部は、
前記注目画素の値および前記周辺画素の値を、それぞれ前記近似式と前記被写体の移動速度に基づいて定まる値を前記露光時間によって積分する第１の数式により表したとき、
前記第１の数式と、前記画素間距離とを用いて定式化された前記被写体の移動速度を表す第２の数式に、前記注目画素および前記周辺画素の観測値を代入することで前記移動速度を算出する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）近似式生成部が、複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成し、
画素値取得部が、注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得し、
露光時間取得部が、前記注目画素および前記周辺画素のそれぞれの露光時間を取得し、
速度算出部が、前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出し、
動き量特定部が、前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定するステップ
を含む画像処理方法。
（６）コンピュータを、
複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成する近似式生成部と、
注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得する画素値取得部と、
前記注目画素および前記周辺画素のそれぞれの露光時間を取得する露光時間取得部と、
前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出する速度算出部と、
前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定する動き量特定部とを備える画像処理装置として機能させる
プログラム。
（７）６に記載のプログラムが記録されている記録媒体。

１１デジタルカメラ，４１撮像部，５１撮像レンズ，５２撮像素子，５３カメラ信号処理部，５４ＳＤＲＡＭ，５５動き量検出部，５７補正部，６０表示制御部，６１表示部，１０１画素取得部，１０２露光時間取得部，１０３近似式生成部，１１１速度算出部，１１２動き量特定部

Claims

複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成する近似式生成部と、
注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得する画素値取得部と、
前記注目画素および前記周辺画素のそれぞれの露光時間を取得する露光時間取得部と、
前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出する速度算出部と、
前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定する動き量特定部と
を備える画像処理装置。
前記周辺画素は、
前記近似式に含まれる変数に応じた数の画素であって、前記注目画素と同一のフレームの画像の画素とされる
請求項１に記載の画像処理装置。
前記周辺画素は、
前記近似式に含まれる変数に応じた数の画素であって、前記注目画素とは異なるフレームの画像の画素とされる
請求項１に記載の画像処理装置。
前記移動速度算出部は、
前記注目画素の値および前記周辺画素の値を、それぞれ前記近似式と前記被写体の移動速度に基づいて定まる値を前記露光時間によって積分する第１の数式により表したとき、
前記第１の数式と、前記画素間距離とを用いて定式化された前記被写体の移動速度を表す第２の数式に、前記注目画素および前記周辺画素の観測値を代入することで前記移動速度を算出する
請求項１に記載の画像処理装置。
近似式生成部が、複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成し、
画素値取得部が、注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得し、
露光時間取得部が、前記注目画素および前記周辺画素のそれぞれの露光時間を取得し、
速度算出部が、前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出し、
動き量特定部が、前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定するステップ
を含む画像処理方法。
コンピュータを、
複数の露光時間を有する複数の画素を規則的に配置することにより構成された撮像素子により撮像された画像の被写体を構成する画素の値を近似する近似式を生成する近似式生成部と、
注目画素の値、並びに、前記注目画素と露光時間が異なる画素を含む周辺画素であって、前記注目画素とは時間的または空間的に異なる位置に存在する複数の周辺画素のそれぞれの値を取得する画素値取得部と、
前記注目画素および前記周辺画素のそれぞれの露光時間を取得する露光時間取得部と、
前記注目画素と前記周辺画素との間の距離である画素間距離、前記取得された画素値、前記取得された露光時間に基づいて前記撮像画素像の被写体の注目画素における移動速度を算出する速度算出部と、
前記算出された移動速度に基づいて、前記被写体の単位時間当たりの動き量を特定する動き量特定部とを備える画像処理装置として機能させる
プログラム。
請求項６に記載のプログラムが記録されている記録媒体。