JP2013021636A - 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】露光時間の異なる撮像素子を用いて撮像された画像の動きを、簡単に、かつ精度よく検出することができるようにする。
【解決手段】複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づいて算出する算出部と、前記算出された前記注目画素の予測値と前記注目画素の値に基づいて、前記注目画素の単位時間当たりの動き量を特定する動き量特定部とを備える。
【選択図】図７

Description

本技術は、画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体に関し、特に、露光時間の異なる撮像素子を用いて撮像された画像の動きを、簡単に、かつ精度よく検出することができるようにする画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体に関する。

ビデオカメラ等の撮像装置に用いられる撮像素子としては、ＣＣＤ等の固体撮像素子が使用されている。しかし、固体撮像素子を用いた撮像装置では、銀塩方式の撮像装置の場合に比べて、入射光量に対するダイナミックレンジが狭い。撮像装置のダイナミックレンジが狭いと、撮影した画像に黒つぶれや白とびが発生するという問題がある。

そこで、従来より、ダイナミックレンジを拡大することができる撮像装置として、異なる露光量の複数の画像信号を用いてダイナミックレンジの広い画像を合成するものが知られている。従来の撮像装置では、撮像素子の１フレーム目の撮影で得られる画像信号とその時の露光量に基づいて、適正露光量を求める。そして、これに基づいて２フレーム目の撮像素子による撮影を、適正露光量またはオーバー露光、アンダー露光によって行う。そして、１フレーム目と２フレーム目の画像信号をメモリに記憶し、メモリに記憶した１フレーム目と２フレーム目の画像信号を合成することによって、ダイナミックレンジの拡大された１枚の画像を生成する。

全画素が２つの画素グループに分割され、２つの画素グループごとに１フレームで異なる露光時間の映像信号を読み出し可能であり、２つの画素グループの露光時間が１フレームごとに入れ替えられるようにした撮像素子を用いる技術も提案されている（例えば、特許文献１参照）。

また、例えば、ビデオカメラ等における手振れ補正機能を実現する場合など、画像の動き量の検出が重要である。従来、動き量は、時間的に連続した２枚の画像を用いて検出されていた。このように動き量を検出する場合、例えば、特許文献１のように、２枚の画像において、異なる露光時間が設定されると、検出精度が落ちるなどの弊害がある。

そこで、ダイナミックレンジを拡大することができる撮像装置における動き量の検出精度を高めるために、複数の画素群をひとつの高解像度画素群として１回ごとに異なる撮像条件で連続して複数回撮像することも提案されている（例えば、特許文献２参照）。

特許文献２の技術では、撮像素子の画素群ごとに異なる露光時間にて１回露光で撮像することが可能であり、例えば、Ａ面画素群とＢ面画素群とで同時に露光を開始し、Ｂ面画素群の露光終了後にＡ面画素群の露光を終了することが可能とされている。

特開２００７−２２１４２３号公報 特開２０１０−２１９９４０号公報

しかしながら、例えば、特許文献２の技術において動き量を検出する場合、注目画素の動きが露光時間の異なる画素に向かうものである場合、やはり検出精度が落ちるなど問題があった。例えば、ブロックマッチング方式や勾配法を用いた動き検出を行う場合、長時間露光の画素と短時間露光の画素との間での差分抽出が困難である。

本技術はこのような状況に鑑みて開示するものであり、露光時間の異なる撮像素子を用いて撮像された画像の動きを、簡単に、かつ精度よく検出することができるようにするものである。

本技術の第１の側面は、複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づいて算出する算出部と、前記算出された前記注目画素の予測値と前記注目画素の値に基づいて、前記注目画素の単位時間当たりの動き量を特定する動き量特定部とを備える画像処理装置である。

前記算出部に前記予測係数を供給する係数供給部をさらに備え、前記係数供給部は、予め設定された動きのパターンに対応する予測係数を前記算出部に供給し、前記算出部は、前記複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づく予測式により、前記動きのパターン毎に前記注目画素の予測値を算出するようにすることができる。

前記動き量特定部は、予め設定された動きのパターン毎に算出された前記注目画素の予測値と、前記注目画素の値との予測誤差に基づいて、前記注目画素の単位時間当たりの動き量を特定するようにすることができる。

前記予測係数は、予め学習装置により学習された予測係数であって、前記学習装置は、前記撮像素子により撮像された画像に、予め設定された複数の動きのパターンに対応する動きボケを付加して得られたボケ画像を生成するボケ画像生成部と、前記撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値に基づいて算出するための予測係数を、前記複数の動きのパターンに対応してそれぞれ演算する係数演算部とを備えるようにすることができる。

本技術の第１の側面は、算出部が、複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づいて算出し、動き量特定部が、前記算出された前記注目画素の予測値と前記注目画素の値に基づいて、前記注目画素の単位時間当たりの動き量を特定するステップを含む画像処理方法である。

本技術の第１の側面は、コンピュータを、複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づいて算出する算出部と、前記算出された前記注目画素の予測値と前記注目画素の値に基づいて、前記注目画素の単位時間当たりの動き量を特定する動き量特定部とを備える画像処理装置として機能させるプログラムである。

本技術の第１の側面においては、複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像の中の注目画素の予測値が、前記注目画素と露光時間が異なる複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づいて算出され、前記算出された前記注目画素の予測値と前記注目画素の値に基づいて、前記注目画素の単位時間当たりの動き量が特定される。

本技術の第２の側面は、複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像に、予め設定された複数の動きのパターンに対応する動きボケを付加して得られたボケ画像を生成するボケ画像生成部と、前記撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値に基づいて算出するための予測係数を、前記複数の動きのパターンに対応してそれぞれ演算する係数演算部とを備える学習装置である。

前記ボケ画像のそれぞれにおける前記複数の他の画素の値に基づいて前記注目画素の値を予測する予測式を生成する予測式生成部をさらに備え、前記係数演算部は、前記生成された予測式において前記複数の他の画素の値に乗じられる係数の値を前記予測係数として演算するようにすることができる。

前記演算された予測係数を、前記複数の動きのパターン、および前記複数の他の画素の位置に対応付けて記憶する記憶部をさらに備えるようにすることができる。

本技術の第２の側面は、ボケ画像生成部が、複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像に、予め設定された複数の動きのパターンに対応する動きボケを付加して得られたボケ画像を生成し、係数演算部が、前記撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値に基づいて算出するための予測係数を、前記複数の動きのパターンに対応してそれぞれ演算するステップを含む学習方法である。

本技術の第２の側面は、コンピュータを、複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像に、予め設定された複数の動きのパターンに対応する動きボケを付加して得られたボケ画像を生成するボケ画像生成部と、前記撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値に基づいて算出するための予測係数を、前記複数の動きのパターンに対応してそれぞれ演算する係数演算部とを備える学習装置として機能させるプログラムである。

本技術の第２の側面においては、複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像に、予め設定された複数の動きのパターンに対応する動きボケを付加して得られたボケ画像が生成され、前記撮像された画像の中の注目画素の予測値が、前記注目画素と露光時間が異なる複数の他の画素の値に基づいて算出するための予測係数を、前記複数の動きのパターンに対応してそれぞれ演算される。

本技術によれば、露光時間の異なる撮像素子を用いて撮像された画像の動きを、簡単に、かつ精度よく検出することができる。

本技術を適用した撮像制御システムの一実施の形態に係る構成例を示すブロック図である。 図１の撮像素子の受光面の構成例を示す図である。 注目画素の設定例を示す図である。 注目画素の別の設定例を示す図である。 極座標による表示を説明する図である。 図１の係数算出部の詳細な構成例を示すブロック図である。 図１の動き量検出部の詳細な構成例を示すブロック図である。 図７の最小値選択部による、最小の予測誤差の選択について説明する図である。 係数学習処理の例を説明するフローチャートである。 動き量検出処理の例を説明するフローチャートである。 図１の撮像素子の受光面の別の構成例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、ここで開示する技術の実施の形態について説明する。

図１は、本技術を適用した撮像制御システムの一実施の形態に係る構成例を示すブロック図である。この撮像制御システムは、例えば、デジタルカメラ（デジタルスチルカメラ）などにより構成される撮像装置１１と、学習装置１２により構成されている。

図１の撮像装置１１は、操作部２０、撮像部４１、ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)５４、動き量検出部５５、補正部５７、表示制御部６０、および表示部６１により構成される。

操作部２０は、例えば、レリーズ・スイッチ２１および後述する表示部６１に重畳されたタッチパネルなどにより構成され、ユーザによって操作される。操作部２０は、ユーザの操作に応じた操作信号を、撮像装置１１の必要なブロックに供給する。

撮像部４１は、そこに入射する光を受光して光電変換することにより被写体を撮像し、その結果得られる撮影画像をＳＤＲＡＭ５４に供給して、（一時的に）記憶させる。

ここで、撮像部４１は、撮像レンズ５１、撮像素子５２、およびカメラ信号処理部５３により構成されており、撮像レンズ５１は、撮像素子５２の受光面に被写体の像を結像させる。

撮像素子５２は、例えば、ＣＣＤ(Charge Coupled Devices)センサ、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサなどで構成される。撮像素子５２は、その受光面に結像された被写体の像（光）を、光電変換することでアナログの画像信号として、カメラ信号処理部５３に供給する。なお、撮像素子５２の詳細な構成例については後述する。

カメラ信号処理部５３は、撮像素子５２から供給されたアナログの画像信号に対して、例えばガンマ補正処理や白バランス処理などを行う。その後、カメラ信号処理部５３は、そのアナログの画像信号をＡ／Ｄ(Analog/Digital)変換し、その結果得られるデジタルの画像信号（撮像画像）をＳＤＲＡＭ５４に供給して記憶させる。

ＳＤＲＡＭ５４は、カメラ信号処理部５３（撮像部４１）から供給された撮像画像を記憶する。

動き量検出部５５は、撮像部４１で撮像された撮像画像を、ＳＤＲＡＭ５４から読み出す。動き量検出部５５は、ＳＤＲＡＭ５４から読み出した撮像画像について、動き量を検出する。動き量検出部５５は、注目画素の周辺の画素の値、および、後述する学習装置１２の係数記憶部８３に記憶された係数を用いて注目画素の値を予測する予測式を生成し、予測値と注目画素の観測値との誤差（予測誤差）に基づいて動き量を検出する。

補正部５７は、動き量検出部５５から供給された撮像画像の動き量に基づいて、同じく、動き量検出部５５から供給されたその撮像画像を補正し、補正後の撮像画像を表示制御部６０に供給する。

表示制御部６０は、補正部５７から供給された撮像画像を表示部６１に供給して表示させる。

表示部６１は、表示制御部６０の制御に従い、撮像画像などを表示する。表示部６１としては、例えば、ＬＣＤ(Liquid Crystal Display)などを採用することができる。

図１の学習装置１２は、画素値取得制御部８１、係数算出部８２、および係数記憶部８３を有する構成とされている。

画素値取得制御部８１は、学習装置１２に入力された画像データの中の所定の画素の値の取得を制御する。

係数算出部８２は、後述する動き予測における係数を算出する。

係数記憶部８３は、係数算出部８２により算出された係数を記憶し、必要に応じて撮像装置１１に供給する。

学習装置１２は、例えば、撮像装置１１により撮像された静止画像のデータ（画像データ）の供給を受けて後述するように、画素値を予測する予測式に用いられる係数を学習するようになされている。

学習装置１２に供給された画像データにおける注目画素、および、注目画素の周辺の画素値が画素値取得制御部８１により取得され、後述するように、複数のパターンの動きに対応した動きボケを有する画像が生成される。そして、生成された画像に基づいて、それぞれの動きに対応した予測式が生成され、例えば、最小二乗法などを用いて予測式に用いられる係数の値が演算されるようになされている。これにより、学習装置１２によって係数が学習されたことになる。

学習により得られた係数は、係数記憶部８３に記憶され、撮像装置１１の動き量検出部５５に供給される。

図２は、図１の撮像素子５２の詳細な構成例であり、受光面の構成例を示す図である。同図に示されるように、撮像素子の撮像面には、露光時間が長い画素と、露光時間の短い画素が規則的に配列されている。なお、露光時間が長い画素は、光電変換されて得られた電荷を長時間蓄積することになるので長蓄画素と称することとし、図中「Ｌｘ（サフィックスのｘは自然数）」の記号で表されている。また、露光時間が短い画素は、光電変換されて得られた電荷を短時間蓄積することになるので短蓄画素と称することとし、図中「Ｓｘ（サフィックスのｘは自然数）」の記号で表されている。

図２の例では、２５（＝５×５）個の画素が正方形状に配置されており、長蓄画素と短蓄画素がそれぞれ交互に配置されている。この例では、長蓄画素が１３個、短蓄画素が１２個配置されている。なお、ここでは、説明を簡単にするために、撮像素子５２に配置された画素の数を２５としているが、実際にはもっと多くの画素が配置される。

撮像装置１１は、図２に示されるような撮像素子５２を用いることで、ダイナミックレンジの広い画像を撮像することができるようになされている。

次に、学習装置１２による係数の学習について詳細に説明する。

例えば、学習用の画像データとして、図２に示されるような撮像素子５２により撮像された静止画像の画像データを用意する。そして、画像データの画像における注目画素を設定する。

例えば、図３に示された太枠で示される画素である画素Ｌ１２を注目画素として設定する。なお、いまの場合、画像データの中の注目画素である画素Ｌ１２は、撮像素子５２を構成する長蓄画素である画素Ｌ１２に蓄積された電荷に対応して得られた画素値を有することになる。

いま、例えば、注目画素が水平方向に動き量ｍｘ、垂直方向に動き量ｍｙだけ動いたとした場合、その動き量に対応して得られる動きボケを有する画像（ボケ画像を称することにする）を生成する。ここで、動き量（ｍｘ，ｍｙ）は、被写体が単位時間内に、水平方向（ｘ軸方向））および垂直方向（ｙ軸方向）に動いた距離を画素数により表すベクトルであるものとする。

撮像素子における画素の露光中に被写体が動いた場合、静止画像における被写体の１つの画素に対応する光が、複数の画素に蓄積されることになるため、動きボケが生じることになる。例えば、動き量（ｍｘ，ｍｙ）に応じて静止画像の各画素を、水平または垂直方向にずらし、ずらした画素値ともとの画素値を足し合わせて正規化するなどしてボケ画像の画素値を生成することができる。なお、図３に示される撮像素子には、長蓄画素と短蓄画素が含まれているので、ボケ画像の画素値を生成する際には、動き量に対応して定まる速度と各画素における露光時間が考慮され、画素値が生成されるものとする。

例えば、水平方向に５通り、垂直方向に５通りの動きを想定し、合計２５通り（２５パターン）の動き量（ｍｘ，ｍｙ）を想定する。例えば、（−２，−２）、（−２，−１）、・・・（２，２）のような動き量が想定される。これらの複数のパターンの動きに対応してそれぞれボケ画像が生成される。

学習装置１２による係数の学習においては、このように、まず、複数のパターンの動きに対応したボケ画像が生成される。

上述のようにしてボケ画像を得た上で、長蓄画素である画素Ｌ１２の画素値を、短蓄画素である画素ｓ１、画素ｓ３、・・・画素ｓ２３に基づいて予測する予測式を生成する。いまの場合、画素Ｌ１２の画素値を１２個の短蓄画素の画素値に基づいて予測する予測式である式（１）が生成される。

・・・（１）

ここで、式（１）の係数が式（２）により表されるものとする。

・・・（２）

そうすると、式（１）における係数ωは、動き量（ｍｘ，ｍｙ）が与えられたとき、短蓄画素の画素値に基づいて長蓄画素の画素値を求めるための係数であって、サフィックスが２ｋ＋１（ｋは０乃至１１の整数）である短蓄画素の画素値に乗じられる係数を表している。つまり、式（１）は、画素Ｌ１２の周辺に存在する１２個の短蓄画素の値をタップとし、タップに係数ωを乗じて得られたそれぞれの値の総和である一次式によって、画素Ｌ１２の値を算出して注目画素値を予測するものとされる。

また、式（１）の右辺の最も右側の項が式（３）により表されるものとする。

・・・（３）

そうすると、式（１）における右辺の項ｅは、動き量（ｍｘ，ｍｙ）が与えられたとき、短蓄画素の画素値に基づいて長蓄画素Ｌ１２の画素値を求める（予測する）際の予測誤差とされる。

学習装置１２に複数の画像データを入力して、式（１）および式（３）をサンプルとして多数生成しておくことにより、例えば、最小二乗法を用いて式（１）における予測誤差が最小となる係数を算出することが可能となる。このようにして、画素ｓ１、画素ｓ３、・・・画素ｓ２３に乗じられる係数がそれぞれ算出されるようにすることができる。例えば、１の動き量（ｍｘ，ｍｙ）に対応して１２個の係数が算出されることになる。そして同様に、例えば、２５通りの動き量（ｍｘ，ｍｙ）に対応して、それぞれ１２個の係数が算出されることになる。

このようにすることで、短蓄画素の画素値に基づいて長蓄画素の画素値を求めるための係数であって、例えば、２５通りの動き量（ｍｘ，ｍｙ）に対応した係数が得られることになる。

次に、上述した場合と同様の方式で、長蓄画素の画素値に基づいて短蓄画素の画素値を予測するための係数を求める。

すなわち、例えば、学習用の画像データとして、図４に示されるような撮像素子５２により撮像された静止画像の画像データを用意する。そして、画像データの画像における注目画素を設定する。

例えば、図４に示された太枠で示される画素である画素ｓ１２を注目画素として設定する。なお、いまの場合、画像データの中の注目画素である画素ｓ１２は、撮像素子５２を構成する短蓄画素である画素ｓ１２に蓄積された電荷に対応して得られた画素値を有することになる。

そして、上述した場合と同様に、複数のパターンの動きに対応したボケ画像が生成される。

ボケ画像を得た上で、短蓄画素である画素ｓ１２の画素値を、長蓄画素である画素Ｌ１、画素Ｌ３、・・・画素Ｌ２３に基づいて予測する予測式を生成する。いまの場合、画素ｓ１２の画素値を１２個の長蓄画素の画素値に基づいて予測する予測式である式（４）が生成される。

・・・（４）

ここで、式（４）の係数が式（５）により表されるものとする。

・・・（５）

そうすると、式（４）における係数ωは、動き量（ｍｘ，ｍｙ）が与えられたとき、長蓄画素の画素値に基づいて短蓄画素の画素値を求めるための係数であって、サフィックスが２ｋ＋１（ｋは０乃至１１の整数）である長蓄画素の画素値に乗じられる係数を表している。つまり、式（４）は、画素ｓ１２の周辺に存在する１２個の長蓄画素の値をタップとし、タップに係数ωを乗じて得られたそれぞれの値の総和である一次式によって、画素ｓ１２の値を算出して注目画素値を予測するものとされる。

また、式（４）の右辺の最も右側の項が式（６）により表されるものとする。

・・・（６）

そうすると、式（４）における項ｅは、動き量（ｍｘ，ｍｙ）が与えられたとき、長蓄画素の画素値に基づいて短蓄画素ｓ１２の画素値を求める際の予測誤差とされる。

例えば、最小二乗法を用いて式（４）における予測誤差が最小となる係数を算出することができる。このようにして、画素Ｌ１、画素Ｌ３、・・・画素Ｌ２３に乗じられる係数がそれぞれ算出されるようにすることができる。例えば、１の動き量（ｍｘ，ｍｙ）に対応して１２個の係数が算出されることになる。そして同様に、例えば、２５通りの動き量（ｍｘ，ｍｙ）に対応して、それぞれ１２個の係数が算出されることになる。

このようにすることで、長蓄画素の画素値に基づいて短蓄画素の画素値を求めるための係数であって、例えば、２５通りの動き量（ｍｘ，ｍｙ）に対応した係数が得られることになる。

上述したように、動き量検出部５５における動き量の検出は、学習装置１２により学習された係数（係数記憶部８３に記憶されている係数）を用いて行われる。次に、動き量検出部５５における動き量の検出について詳細に説明する。

例えば、ＳＤＲＡＭ５４から供給された画像データにおいて、動き量を検出すべき画素が注目画素として設定される。そして、学習装置１２により学習された係数を用いて、注目画素の周辺の画素の値に基づいて、注目画素の値を予測する予測式が生成される。ここで予測式は、複数のパターンの動きのそれぞれに対応して生成される。

注目画素が長蓄画素であった場合、予測式として式（７）が、例えば、２５通りの動き量（ｍｘ，ｍｙ）に対応して生成される。

・・・（７）

ＳＤＲＡＭ５４から供給された画像データにおける注目画素の観測値をＬ₁₂で表すと、式（７）における予測誤差を式（８）で表すことができる。

・・・（８）

上述したように、式（７）の予測式は、複数のパターンの動きのそれぞれに対応して生成されるので、式（８）で示される予測誤差も複数のパターンの動きのそれぞれに対応して得られる。例えば、２５通りの予測誤差が得られることになる。

従って、例えば、２５通りの予測誤差のうち、その絶対値が最小のものを選択した場合、選択された予測誤差に対応する動き量は、ＳＤＲＡＭ５４から供給された画像データにおける注目画素の動きにもっとも近いと考えられる。例えば、動き量検出部５５は、２５通りの予測誤差のうち、絶対値が最小のものを選択し、予測誤差に対応する動き量（ｍｘ，ｍｙ）を検出結果として出力する。

あるいはまた、動き量検出部５５は、注目画素に隣接する複数の画素のそれぞれについて同様に動き量を求め、それらの動き量を正規化して得られた動き量、または、多数決により決定された動き量を検出結果として出力するようにしてもよい。

一方、注目画素が短蓄画素であった場合、予測式として式（９）が、２５通りの動き量（ｍｘ，ｍｙ）に対応して生成される。

・・・（９）

そして、長蓄画素の場合における式（８）のときと同様に、式（９）における予測誤差を算出することにより、ＳＤＲＡＭ５４から供給された画像データにおける注目画素の動きにもっとも近いと考えられる動き量を検出することができる。

なお、以上においては、２５通りの動き量（ｍｘ，ｍｙ）を想定した場合の例について説明したが、動きのパターンは、勿論これに限られるものではない。

このようにして動き量が検出される。

以上においては、画素位置を特定するために（ｘ，ｙ）座標系、すなわち直行座標系を用いた場合の例について説明したが、極座標系である（ｒ，θ）座標系を用いることも可能である。

極座標系を用いる場合、所望の画素位置を、図５に示されるように、直行座標系の原点（０，０）を中心とした円の半径ｒ、および当該円周上の１点と原点とを結んだ線がＸ軸との間になす角の角度θによって表すことができる。すなわち、式（１０）、式（１１）によって、直行座標系と極座標系を相互に変換することができる。

・・・（１０）

・・・（１１）

図６は、図１の係数算出部８２の詳細な構成例を示すブロック図である。同図に示されるように、係数算出部８２は、動きボケ画像生成部１０１、予測式生成部１０２、および演算処理部１０３を有する構成とされている。

動きボケ画像生成部１０１は、例えば、注目画素が水平方向に動き量ｍｘ、垂直方向に動き量ｍｙだけ動いたとした場合、その動き量に対応して得られるボケ画像を生成する。ここで、動きボケ画像生成部１０１は、内部に複数の画像生成部を有する構成とされており、この例では、Ｈ０Ｖ０の画像生成部、Ｈ１Ｖ１の画像生成部、・・・Ｈ４Ｖ４の画像生成部を有して構成されている。

動きボケ画像生成部１０１は、上述したように、複数のパターンの動きに対応したボケ画像を生成する。例えば、水平方向に５通り、垂直方向に５通りの動きを想定し、合計２５通り（２５パターン）の動き量（ｍｘ，ｍｙ）を想定してボケ画像を生成する。例えば、（−２，−２）、（−２，−１）、・・・（２，２）のような動き量が想定される。これらの複数のパターンの動きにおける水平方向（Ｈ）の動き、および、垂直方向（Ｖ）の動きに対応して、Ｈ０Ｖ０の画像生成部、Ｈ１Ｖ１の画像生成部、・・・Ｈ４Ｖ４の画像生成部のそれぞれがボケ画像を生成する。

予測式生成部１０２は、例えば、式（１）または式（４）に示されるような予測式を生成する。予測式生成部１０２には、動きボケ画像生成部１０１により生成されたボケ画像のそれぞれに対応する予測式を生成する数式生成部が設けられている。予測式生成部１０２の各数式生成部によって、例えば、２５通りの動き量（ｍｘ，ｍｙ）に対応した予測式がそれぞれ生成される。

演算処理部１０３は、例えば、最小二乗法を用いて式（１）または式（４）における予測誤差が最小となる係数を算出する。これにより、例えば、式（１）において、画素ｓ１、画素ｓ３、・・・画素ｓ２３に乗じられる係数がそれぞれ算出される。すなわち、タップとなる複数の画素の位置に対応する係数がそれぞれ算出される。例えば、１の動き量（ｍｘ，ｍｙ）に対応して１２個の係数が算出される。そして同様に、例えば、２５通りの動き量（ｍｘ，ｍｙ）に対応して、それぞれ１２個の係数が算出される。

このようにして、演算処理部１０３によって算出された係数が、係数記憶部８３に記憶されることになる。すなわち、係数記憶部８３は、演算処理部１０３によって算出された係数を、複数の動きのパターン（例えば、２５通りの動き量）、およびタップとなる画素の位置に対応付けて記憶する。

図７は、図１の動き量検出部５５の詳細な構成例を示すブロック図である。

この例では、動き量検出部５５が、画素値取得制御部２０１、予測誤差算出部２０２、最小値選択部２０３、動き量特定部２０４、および係数供給部２０５を有する構成とされている。

画素値取得制御部２０１は、動き量検出部５５に入力された画像データの中の所定の画素の値の取得を制御する。

予測誤差算出部２０２は、式（６）または式（８）に示されるように予測誤差を演算する。ここで、予測誤差算出部２０２は、内部に複数の算出部を有する構成とされており、この例では、Ｈ０Ｖ０の算出部、Ｈ１Ｖ１の算出部、・・・Ｈ４Ｖ４の算出部を有して構成されている。

予測誤差算出部２０２は、上述したように、複数のパターンの動きのそれぞれに対応して得られる２５通りの予測誤差を算出する。これらの複数のパターンの動きにおける水平方向（Ｈ）の動き、および、垂直方向（Ｖ）の動きに対応して、Ｈ０Ｖ０の算出部、Ｈ１Ｖ１の算出部、・・・Ｈ４Ｖ４の算出部のそれぞれが予測誤差を算出する。

係数供給部２０５は、学習装置１２の係数記憶部８３に記憶された係数を取得し、その係数を必要に応じて予測誤差算出部２０２に供給するようになされている。例えば、動き量が（−２，−２）の場合における予測誤差を演算する場合、その動き量に応じた、例えば、１２個の係数が供給される。また、動き量が（−２，−１）、の場合における予測誤差を演算する場合、その動き量に応じた、例えば、１２個の係数が供給される。このように、例えば、２５通りのパターンのそれぞれに対応する係数が供給される。

最小値選択部２０３は、予測誤差算出部２０２により算出された複数の予測誤差のうち、その絶対値が最小のものを選択する。上述したように、選択された予測誤差に対応する動き量は、ＳＤＲＡＭ５４から供給された画像データにおける注目画素の動きにもっとも近いと考えられる。

動き量特定部２０４は、最小値選択部２０３により選択された予測誤差に対応する動き量を特定し、その動き量を出力する。

図８は、最小値選択部２０３による、最小の予測誤差の選択について説明する図である。同図は、縦軸が予測誤差の逆数（ＰＳＮＲと称する）、横軸がθとされ、５通りのｒの値に対応するＰＳＮＲの値の変化がプロットされている。なお、図中では、ｒの値に応じたそれぞれ異なる記号で、ＰＳＮＲの値の変化がプロットされている。

同図の例では、円３０１で囲まれた点（図中の三角形）において、ＰＳＮＲの値が最も高くなっており、ここで予測誤差は最小値となる。従って、極座標系の（ｒ，θ）で表される動き量であって、ｒの値が図中の三角形でプロットされたものに対応する値であり、θの値が約４５の動き量がＳＤＲＡＭ５４から供給された画像データにおける注目画素の動きにもっとも近いと考えられる。

あるいはまた、注目画素に隣接する複数の画素のそれぞれについて同様に動き量を求め、それらの動き量を正規化して得られた動き量、または、多数決により決定された動き量が検出結果として出力されるようにしてもよい。

例えば、従来の技術において動き量を検出する場合、注目画素の動きが露光時間の異なる画素に向かうものである場合、検出精度が落ちるなど問題があった。また、例えば、ブロックマッチング方式や勾配法を用いた動き検出を行う場合、長時間露光の画素と短時間露光の画素との間での差分抽出が困難である。

これに対して、本技術によれば、注目画素の動きが露光時間の異なる画素に向かうものである場合であっても、検出精度が落ちることはない。また、本技術を用いれば、時間的に前後するフレーム間での差分を抽出する必要などがないため、より簡単かつ高速に動きを検出することが可能となる。

従って、本技術によれば、露光時間の異なる撮像素子を用いて撮像された画像の動きを、簡単に、かつ精度よく検出することができる。

次に、図９のフローチャートを参照して、図１の学習装置１２による係数学習処理の例について説明する。

ステップＳ２１において、画像の入力が受け付けられる。

ステップＳ２２において、ステップＳ２１の処理で入力が受け付けられた画像の中の注目画素が設定される。

ステップＳ２３において、動きボケ画像生成部１０１は、例えば、注目画素が水平方向に動き量ｍｘ、垂直方向に動き量ｍｙだけ動いたとした場合、その動き量に対応して得られるボケ画像を生成する。

このとき、動きボケ画像生成部１０１は、上述したように、複数のパターンの動きに対応したボケ画像を生成する。例えば、水平方向に５通り、垂直方向に５通りの動きを想定し、合計２５通り（２５パターン）の動き量（ｍｘ，ｍｙ）を想定してボケ画像を生成する。例えば、（−２，−２）、（−２，−１）、・・・（２，２）のような動き量が想定される。これらの複数のパターンの動きにおける水平方向（Ｈ）の動き、および、垂直方向（Ｖ）の動きに対応して、Ｈ０Ｖ０の画像生成部、Ｈ１Ｖ１の画像生成部、・・・Ｈ４Ｖ４の画像生成部のそれぞれがボケ画像を生成する。

ステップＳ２４において、予測式生成部１０２は、例えば、式（１）または式（４）に示されるような予測式を生成する。このとき、予測式生成部１０２の各数式生成部によって、例えば、２５通りの動き量（ｍｘ，ｍｙ）に対応した予測式がそれぞれ生成される。

ステップＳ２５において、演算処理部１０３は、ステップＳ２４で生成された予測式における係数を算出する。このとき、演算処理部１０３は、例えば、最小二乗法を用いて式（１）または式（４）における予測誤差が最小となる係数を算出する。これにより、例えば、式（１）において、画素ｓ１、画素ｓ３、・・・画素ｓ２３に乗じられる係数がそれぞれ算出される。例えば、１の動き量（ｍｘ，ｍｙ）に対応して１２個の係数が算出される。そして同様に、例えば、２５通りの動き量（ｍｘ，ｍｙ）に対応して、それぞれ１２個の係数が算出される。

ステップＳ２６において、係数記憶部８３は、ステップＳ２５の処理で算出された係数を記憶する。

このようにして係数学習処理が実行される。

次に、図１０のフローチャートを参照して、図７の動き量検出部５５による動き量検出処理の例について説明する。なお、この処理に先立って、学習装置１２の係数記憶部８３に記憶された係数が、係数供給部２０５によって取得されているものとする。

ステップＳ４１において、画像の入力が受け付けられる。

ステップＳ４２において、ステップＳ４１の処理で入力が受け付けられた画像の中の注目画素が設定される。

ステップＳ４３において、係数供給部２０５は、その係数を必要に応じて予測誤差算出部２０２に供給する。すなわち、後述するステップＳ４４の処理における予測誤差の演算において、例えば、２５通りのパターンのそれぞれに対応する係数が供給される。

ステップＳ４４において、予測誤差算出部２０２は、式（６）または式（８）に示されるように予測誤差を算出する。このとき、予測誤差算出部２０２は、上述したように、複数のパターンの動きのそれぞれに対応して得られる２５通りの予測誤差を算出する。

これらの複数のパターンの動きにおける水平方向（Ｈ）の動き、および、垂直方向（Ｖ）の動きに対応して、Ｈ０Ｖ０の算出部、Ｈ１Ｖ１の算出部、・・・Ｈ４Ｖ４の算出部のそれぞれが予測誤差を算出する。また、この際にステップＳ４３の処理で供給された係数がそれぞれ用いられる。

ステップＳ４５において、最小値選択部２０３は、ステップＳ４４の処理で算出された複数の予測誤差のうち、その絶対値が最小のものを選択する。

ステップＳ４６において、動き量特定部２０４は、ステップＳ４５の処理で選択された予測誤差に対応する動き量を注目誤差の動き量として特定する。

ステップＳ４７において、動き量特定部２０４は、ステップＳ４６の処理で特定された動き量を検出結果として出力する。

このようにして、動き量検出処理が実行される。

ところで、図２乃至図４においては、撮像素子５２の撮像面に長蓄画素と短蓄画素が１つずつ交互に配置されている例について説明したが、長蓄画素と短蓄画素が必ずしも１つずつ交互に配置されている必要はない。

例えば、撮像素子５２の受光面が図１１に示されるように構成される場合でも、勿論、本技術を適用することができる。図１１は、図１の撮像素子５２の詳細な構成例であり、受光面の別の構成例を示す図である。同図の例では、短蓄画素が１行おきに配置されている。なお、同図においても、長蓄画素は、図中「Ｌｘ（サフィックスのｘは自然数）」の記号で表されており、短蓄画素は、図中「Ｓｘ（サフィックスのｘは自然数）」の記号で表されている。

すなわち、図１１の構成の場合、５行５列の画素で構成される撮像素子５２の受光面の上から１行目には短蓄画素が配置されているが、上から２行目には短蓄画素が配置されていない。また、上から３行目には短蓄画素が配置されているが、上から４行目には短蓄画素が配置されておらず、最も下の行には短蓄画素が配置されている。

例えば、図１１における注目画素をｓ１２で示される画素とした場合、式（９）に代えて式（１２）が予測式として用いられるようにすればよい。

・・・（１２）

なお、式（１２）において「ｔ＝１，３，５，・・・，２３」として示されている数値は、タップ番号を表すものとされ、ｔの値によって図１１における各長蓄画素のそれぞれのサフィックスを指定している。

このように、例えば、図１１に示されるように、長蓄画素と短蓄画素が不均等に配置された撮像素子５２を用いる場合であっても、本技術を適用することができる。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図１２において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１２に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１） 複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づいて算出する算出部と、
前記算出された前記注目画素の予測値と前記注目画素の値に基づいて、前記注目画素の単位時間当たりの動き量を特定する動き量特定部と
を備える画像処理装置。
（２） 前記算出部に前記予測係数を供給する係数供給部をさらに備え、
前記係数供給部は、
予め設定された動きのパターンに対応する予測係数を前記算出部に供給し、
前記算出部は、
前記複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づく予測式により、前記動きのパターン毎に前記注目画素の予測値を算出する
（１）に記載の画像処理装置。
（３） 前記動き量特定部は、
予め設定された動きのパターン毎に算出された前記注目画素の予測値と、前記注目画素の値との予測誤差に基づいて、前記注目画素の単位時間当たりの動き量を特定する
（１）または（２）に記載の画像処理装置。
（４） 前記予測係数は、予め学習装置により学習された予測係数であって、
前記学習装置は、
前記撮像素子により撮像された画像に、予め設定された複数の動きのパターンに対応する動きボケを付加して得られたボケ画像を生成するボケ画像生成部と、
前記撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値に基づいて算出するための予測係数を、前記複数の動きのパターンに対応してそれぞれ演算する係数演算部とを備える
（１）乃至（４）のいずれかに記載の画像処理装置。
（５） 算出部が、複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づいて算出し、
動き量特定部が、前記算出された前記注目画素の予測値と前記注目画素の値に基づいて、前記注目画素の単位時間当たりの動き量を特定するステップ
を含む画像処理方法。
（６） コンピュータを、
複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づいて算出する算出部と、
前記算出された前記注目画素の予測値と前記注目画素の値に基づいて、前記注目画素の単位時間当たりの動き量を特定する動き量特定部とを備える画像処理装置として機能させる
プログラム。
（７） （６）に記載のプログラムが記録されている記録媒体。
（８） 複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像に、予め設定された複数の動きのパターンに対応する動きボケを付加して得られたボケ画像を生成するボケ画像生成部と、
前記撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値に基づいて算出するための予測係数を、前記複数の動きのパターンに対応してそれぞれ演算する係数演算部とを備える
学習装置。
（９） 前記ボケ画像のそれぞれにおける前記複数の他の画素の値に基づいて前記注目画素の値を予測する予測式を生成する予測式生成部をさらに備え、
前記係数演算部は、
前記生成された予測式において前記複数の他の画素の値に乗じられる係数の値を前記予測係数として演算する
（８）に記載の学習装置。
（１０） 前記演算された予測係数を、前記複数の動きのパターン、および前記複数の他の画素の位置に対応付けて記憶する記憶部をさらに備える
（８）または（９）に記載の学習装置。
（１１） ボケ画像生成部が、複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像に、予め設定された複数の動きのパターンに対応する動きボケを付加して得られたボケ画像を生成し、
係数演算部が、前記撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値に基づいて算出するための予測係数を、前記複数の動きのパターンに対応してそれぞれ演算するステップ
を含む学習方法。
（１２） コンピュータを、
複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像に、予め設定された複数の動きのパターンに対応する動きボケを付加して得られたボケ画像を生成するボケ画像生成部と、
前記撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値に基づいて算出するための予測係数を、前記複数の動きのパターンに対応してそれぞれ演算する係数演算部とを備える学習装置として機能させる
プログラム。
（１３） （１２）に記載のプログラムが記録されている記録媒体。

１１ 撮像装置， １２ 学習装置， ４１ 撮像部， ５１ 撮像レンズ， ５２ 撮像素子， ５３ カメラ信号処理部， ５４ ＳＤＲＡＭ， ５５ 動き量検出部， ５７ 補正部， ６０ 表示制御部， ６１ 表示部， ８１ 画素値取得制御部， ８２ 係数算出部， ８３ 係数記憶部， １０１ 動きボケ画像生成部， １０２ 予測式生成部， １０３ 演算処理部， ２０１ 画素値取得制御部， ２０２ 予測誤差算出部， ２０３ 最小値選択部， ２０４ 動き量特定部， ２０５ 係数供給部

Claims (13)

1. 複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づいて算出する算出部と、
   前記算出された前記注目画素の予測値と前記注目画素の値に基づいて、前記注目画素の単位時間当たりの動き量を特定する動き量特定部と
   を備える画像処理装置。
2. 前記算出部に前記予測係数を供給する係数供給部をさらに備え、
   前記係数供給部は、
   予め設定された動きのパターンに対応する予測係数を前記算出部に供給し、
   前記算出部は、
   前記複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づく予測式により、前記動きのパターン毎に前記注目画素の予測値を算出する
   請求項１に記載の画像処理装置。
3. 前記動き量特定部は、
   予め設定された動きのパターン毎に算出された前記注目画素の予測値と、前記注目画素の値との予測誤差に基づいて、前記注目画素の単位時間当たりの動き量を特定する
   請求項１に記載の画像処理装置。
4. 前記予測係数は、予め学習装置により学習された予測係数であって、
   前記学習装置は、
   前記撮像素子により撮像された画像に、予め設定された複数の動きのパターンに対応する動きボケを付加して得られたボケ画像を生成するボケ画像生成部と、
   前記撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値に基づいて算出するための予測係数を、前記複数の動きのパターンに対応してそれぞれ演算する係数演算部とを備える
   請求項１に記載の画像処理装置。
5. 算出部が、複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づいて算出し、
   動き量特定部が、前記算出された前記注目画素の予測値と前記注目画素の値に基づいて、前記注目画素の単位時間当たりの動き量を特定するステップ
   を含む画像処理方法。
6. コンピュータを、
   複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値、および、前記他の画素のそれぞれに対応する予測係数に基づいて算出する算出部と、
   前記算出された前記注目画素の予測値と前記注目画素の値に基づいて、前記注目画素の単位時間当たりの動き量を特定する動き量特定部とを備える画像処理装置として機能させる
   プログラム。
7. 請求項６に記載のプログラムが記録されている記録媒体。
8. 複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像に、予め設定された複数の動きのパターンに対応する動きボケを付加して得られたボケ画像を生成するボケ画像生成部と、
   前記撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値に基づいて算出するための予測係数を、前記複数の動きのパターンに対応してそれぞれ演算する係数演算部とを備える
   学習装置。
9. 前記ボケ画像のそれぞれにおける前記複数の他の画素の値に基づいて前記注目画素の値を予測する予測式を生成する予測式生成部をさらに備え、
   前記係数演算部は、
   前記生成された予測式において前記複数の他の画素の値に乗じられる係数の値を前記予測係数として演算する
   請求項８に記載の学習装置。
10. 前記演算された予測係数を、前記複数の動きのパターン、および前記複数の他の画素の位置に対応付けて記憶する記憶部をさらに備える
    請求項８に記載の学習装置。
11. ボケ画像生成部が、複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像に、予め設定された複数の動きのパターンに対応する動きボケを付加して得られたボケ画像を生成し、
    係数演算部が、前記撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値に基づいて算出するための予測係数を、前記複数の動きのパターンに対応してそれぞれ演算するステップ
    を含む学習方法。
12. コンピュータを、
    複数の露光時間を有する複数の画素を規則的に配置して構成された撮像素子を用いて画像を撮像する撮像部によって撮像された画像に、予め設定された複数の動きのパターンに対応する動きボケを付加して得られたボケ画像を生成するボケ画像生成部と、
    前記撮像された画像の中の注目画素の予測値を、前記注目画素と露光時間が異なる複数の他の画素の値に基づいて算出するための予測係数を、前記複数の動きのパターンに対応してそれぞれ演算する係数演算部とを備える学習装置として機能させる
    プログラム。
13. 請求項１２に記載のプログラムが記録されている記録媒体。

Images