JP2007213386A - 画像処理装置、画像処理プログラム、および撮像装置 - Google Patents

Abstract

【課題】２フレームの画像の中間画像を生成して記録すること。
【解決手段】制御回路５は、使用者によって選択された２フレームの画像に基づいて、一方の画像が撮影されてから他方の画像が撮影されるまでの間の画像に相当する少なくとも１枚の中間画像を生成する。そして、生成した中間画像をモニタ１３に順番に表示し、使用者からの指示に基づいて、中間画像を記録媒体１２に記録する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理プログラム、および画像を撮像するための撮像装置に関する。

次のような画像表示制御装置が特許文献１によって知られている。この画像表示制御装置は、画像を切り替えるためのコマ送りスイッチが押下され、被写体がそれぞれ異なるＮコマ目の第1画像からＭコマ目の第２画像に切り替えるときに、第1画像と第２画像とに基づいたモーフィング画像を生成して表示する。

特開２００３−９９７９６号公報

しかしながら、従来の画像表示制御装置によれば、画像に表示効果を付加する目的でモーフィング画像を生成して表示しているに過ぎず、撮影した複数の画像間の中間画像を作成するものではない。

本発明は、２つの画像に基づいて、一の画像から他の画像へ画像を遷移させる途中の中間画像を生成し、中間画像を使用者からの指示に応じて記録することを特徴とする。
このとき、生成した中間画像を表示するようにし、表示手段の表示フレーム周波数、および異なる２つの画像の撮影時間間隔に基づいて、生成する中間画像の枚数を決定することが好ましい。
また、表示手段への表示時間が異なる２つの画像の撮影時間間隔以上になるように、生成する中間画像の枚数を決定するようにしてもよく、異なる２つの画像の撮影時間間隔よりも長い時間をかけて、生成した全ての中間画像を順番に表示するようにしてもよい。
さらに、生成する中間画像の枚数を設定し、異なる２つの画像の撮影時間間隔と中間画像の枚数とから中間画像を作成する時間を算出し、その時間に対応する中間画像を作成するようにしてもよい。また、中間画像を異なる２つの画像と対応付けて記録してもよく、中間画像に当該画像が中間画像であることを示す情報を付加して記録してもよい。
異なる２つの画像が同じ被写体を異なる時刻に撮影した画像である場合には、異なる２つの画像内に含まれる同じ被写体が一の画像から他の画像へ向けて変化するように画像を遷移させて中間画像を生成すればよい。また、異なる２つの画像がそれぞれ共通の特徴点を有する異なる被写体を撮影した画像である場合には、異なる２つの画像内に含まれる共通の特徴点が一の画像から他の画像へ向けて変化するように画像を遷移させて中間画像を生成すればよい。また、異なる２つの画像がそれぞれ異なる画素数の画像である場合には、異なる２つの画像の画素数を一致させてから中間画像を生成すればよい。

本発明によれば、撮影した複数の画像間の中間画像を作成し、指示に応じて記録することができる。

図１は、本実施の形態における画像処理装置を撮像装置（カメラ）に適用した場合の一実施の形態の構成を示すブロック図である。撮像装置１００は、撮像素子１と、撮影レンズ２と、レンズ駆動回路３と、制御回路５と、操作部材７と、撮像素子駆動回路８と、信号処理回路９と、データ処理回路１０と、圧縮／伸張回路１１と、モニタ１３と、表示制御回路１４と、測光回路１５と、振れ検出センサ１６とを有し、さらに記録媒体１２が設けられている。記録媒体１２は、メモリカード、小型ハードディスク、ＤＶＤなどの光ディスクなどで構成される。記録媒体１２は、撮像装置１００に内蔵されるものであっても、着脱可能に装着されるものであってもよい。また、撮像装置１００の外部に設けられるものであってもよい。その場合、記録媒体１２と撮像装置１００とは有線または無線で電気的に接続される。

撮影レンズ２は撮影光学系を構成する複数枚数のレンズ群で構成され、撮像素子１の撮像面上に被写体像を結像させる。撮影レンズ２は不図示のフォーカスレンズを含み、レンズ駆動回路３がフォーカスレンズを光軸方向に進退駆動することにより、撮影レンズ２のフォーカス調節が行われる。また、撮影レンズ２は不図示のズームレンズを含み、レンズ駆動回路３がズームレンズを光軸方向に進退駆動することにより、撮影レンズ２のズーム調節が行われる。レンズ駆動回路３は、制御回路５から出力されるレンズ駆動指令に応じてレンズ駆動信号を発生し、発生したレンズ駆動信号で不図示のレンズ駆動機構を駆動することにより、各レンズを移動させる。

撮像素子１は、静止画像の単写撮像とともに、静止画像の連続撮像、および動画像の撮像が可能である。撮像素子１は、例えばＣＣＤ撮像素子あるいはＣＭＯＳ型撮像素子などによって構成される。

撮像素子駆動回路８は、制御回路５から出力される指令に応じて所定タイミングの駆動信号を発生し、発生した駆動信号を撮像素子１へ供給する。撮像素子１は、供給された駆動信号によって電荷蓄積（撮像）や蓄積電荷の読み出しが制御される。制御回路５は、測光回路１５による被写体の測光データを用いて被写界の明るさの情報を求め、この明るさの情報に基づいて撮像素子１の電荷蓄積時間、撮影レンズ２の絞り、および撮像素子１より出力される画像信号の増幅度などを決定する。なお、被写界の明るさの情報は、撮像素子１から出力される信号から求める構成としてもよい。この場合には、撮像素子１が測光回路１５の機能を司る。

撮像素子１から読み出された画像信号は、信号処理回路９へ入力される。信号処理回路９は、制御回路５からの指令に応じて入力信号に対する増幅、直流再生、Ａ／Ｄ変換、ホワイトバランス、およびガンマ変換等の信号処理を施し、信号処理後のデータを画像データとしてデータ処理回路１０へ出力する。

データ処理回路１０は、制御回路５からの指令に応じて、信号処理回路９より出力された画像データを圧縮／伸張回路１１に出力するとともに、モニタ１３に再生画像を表示させるために必要な解像度変換（画素数変換）処理を画像データに施し、解像度変換処理後の画像データを表示制御回路１４へ出力する。なお、データ処理回路１０は、電子ズーム処理を行う際には、入力される画像データに対して解像度（画素数）変換処理を施して、圧縮／伸張回路１１および表示制御回路１４へそれぞれ出力する。

表示制御回路１４は、制御回路５からの指令に応じて、データ処理回路１０から入力される画像データに所定の信号処理を施してモニタ１３へ出力する。表示制御回路１４はさらに、上記画像データに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、オーバーレイ画像が重畳された被写体画像がモニタ１３に表示される。

圧縮/伸張回路１１は、制御回路５からの指令に応じて、データ処理回路１０から入力される画像データに所定の形式で圧縮処理を施し、圧縮後のデータを記録媒体１２へ記録する。撮影時に記録媒体１２へ画像データを記録する場合、記録する画像データに対応する再生画像がモニタ１３に表示される。なお、操作部材７で画像データの非圧縮での記録が指示された場合、圧縮／伸張回路１１は圧縮処理を行わず、記録媒体１２への記録が行われる。この場合にも、モニタ１３には記録する画像データに対応する再生画像が表示される。

また、本撮像装置１００は、記録媒体１２に記録されている画像データによる再生画像をモニタ１３に表示する（再生モード）ことも可能に構成される。この場合の圧縮/伸張回路１１は、制御回路５からの指令に応じて記録媒体１２に記録されている画像データを読み出し、読み出しデータに対して復号化処理を施した上で復号化後のデータをデータ処理回路１０へ送る。再生時にデータ処理回路１０が復号化データに解像度変換処理を施して表示制御回路１４へ出力することにより、再生画像がモニタ１３に表示される。なお、記録媒体１２に記録されている非圧縮の画像データが読み出された場合には、圧縮処理の逆処理である復号化処理は行われない。圧縮／伸張回路１１は、可逆圧縮（いわゆるロスレス符号化）を行うことも可能な構成となっている。

操作部材７はレリーズ釦を含み、操作内容に応じた操作信号を制御回路５へ出力する。制御回路５は、レリーズ釦の半押し操作に基づくレリーズ操作信号が操作部材７から入力されると、撮像素子１から読み出される画像信号の中で、撮像画面内にあらかじめ設定されているフォーカス検出領域に対応する信号を用いて周知のコントラスト方式のＡＦ（オートフォーカス）動作を行う。

具体的には、信号処理回路９によって信号処理された画像データのうち、フォーカス検出領域に対応するデータについての高周波数成分の積算値（いわゆる焦点評価値）を最大にするように、レンズ駆動指令（フォーカス調節信号）をレンズ駆動回路３へ送る。焦点評価値を最大にするフォーカスレンズの位置は、撮像素子１によって撮像される被写体像のエッジのぼけをなくし、画像のコントラストを最大にする（尖鋭度を高める）合焦位置である。なお、上記コントラスト方式のＡＦ動作に加えて、周知の瞳分割方式による位相差ＡＦ動作を行うように構成してもよい。

操作部材７はズーム操作部材も含む。制御回路５は、ズーム操作に基づくズーム操作信号が操作部材７から入力されると上述したレンズ駆動指令を発生し、レンズ駆動回路３にズームレンズを進退駆動させる。これにより、撮像素子１の撮像面上に結像される被写体像が拡大もしくは縮小し、光学的にズーム調節される。操作部材７には、後述する中間画像を生成する枚数を設定する設定部材が含まれてもよい。

制御回路５はさらに、ズーム操作に基づくズーム操作信号が操作部材７から入力されるとデータ処理回路１０へ指令を出力し、画像データに対する解像度変換処理の変換比率を操作信号に応じて変化させる。これにより、モニタ１３に表示される画像が拡大もしくは縮小し、電気的にズーム調節される（電子ズーム）。解像度変換比率は電子ズーム倍率に対応する。データ処理回路１０が電子ズーム倍率を高める方向に変換比率を変える場合、再生画像の一部が拡大されてモニタ１３に表示される（拡大率が上がる反面、再生画像の表示範囲は狭くなる）。反対に、データ処理回路１０が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ１３に表示される再生画像の拡大率が下がる反面、再生画像の表示範囲は広くなる。撮像素子１による撮影モードに設定されている場合、モニタ１３に表示されている画像に対応する撮影画像データを記録媒体１２に記録することができる。

振れ検出センサ１６は、例えば角速度センサ、ジャイロセンサ等で構成され、本撮像装置１００の筐体内に設けられ、筐体の振れを直交する２方向について検出する。振れセンサ１６は、操作部材７のレリーズ釦の操作に基づいて、筐体に振れが発生したときにこれを検知し、直交する２方向の振れ量データを制御回路５に出力する。制御回路５は、筐体の振れに伴う撮像素子１の撮像面上に結像される被写体像の移動が打ち消されるように、撮影レンズ２に内蔵される手ブレ補正光学系を、レンズ駆動回路３を介して駆動する。これによって手ブレ補正が実現される。

次に、撮像装置１００が撮影モードに設定されている場合に行うスルー画撮影動作と静止画本撮影動作と動画本撮影動作について説明する。スルー画撮影は、静止画本撮影の前段階として行われる予備撮影であり、静止画本撮影は、レリーズ釦の全押し操作信号（撮影指示）に応じて行われる撮影である。また、動画本撮影動作は、ＲＥＣ釦の操作信号（撮影、記録指示）に応じて行われる撮影である。

＜スルー画撮影動作＞
本実施形態の撮像装置１００は、静止画本撮影動作を行う際に、操作部材７からレリーズ釦の半押し操作に基づく半押し操作信号が制御回路５へ入力されると、上述したＡＦ動作を伴ったスルー画撮影動作を行う。スルー画撮影動作は、所定のフレームレートで繰り返し行われており、レリーズ釦の半押し操作中、スルー画撮影動作と並行して、上述したＡＦ動作が行われ、撮影されたスルー画像がモニタ１３に表示される。

制御回路５は、撮像素子駆動回路８へ指示を送り、スルー画撮影動作を実行するための駆動信号を出力させる。撮像素子１は、スルー画撮影動作のための駆動信号を受けて、例えば、３０フレーム／秒の高フレームレートで蓄積電荷を連続的に出力する。スルー画撮影用の露出条件は測光回路１５による測光データに基づいて決定される。信号処理回路９は、入力された信号に上述した信号処理を施すとともに、撮像素子１上において近傍に位置する同色画素(単板カラーの撮像素子の場合)の信号を加算し、後述する静止画本撮影時に比べて低解像度（低画素数）の映像信号としてデータ処理回路１０へ出力する。

データ処理回路１０が解像度変換処理を施した画像データを表示制御回路１４へ出力することにより、スルー画像がモニタ１３に表示される。これにより、撮影者は、これから本撮影しようとする被写界の状態をモニタ１３の画面で観察することができる。すなわち、スルー画撮影動作においては、撮像動作と表示動作が並行して行われる。

＜静止画本撮影動作＞
スルー画撮影動作に続いてレリーズ釦が全押し操作されると、全押し操作信号が制御回路５へ入力される。撮像装置１００は、全押し操作信号に応じて静止画本撮影動作を開始する。

制御回路５は、操作部材７（レリーズ釦）からの全押し操作信号を検出すると撮像素子駆動回路８へ指示を送り、本撮影動作を実行するための駆動信号を出力させる。撮像素子１は、静止画本撮影動作のための駆動信号を受けて、露出演算結果に基づく本撮影用の電荷蓄積を行って蓄積電荷を出力する。本撮影用の露出条件は、直近のスルー画データの信号値から得られる被写界の明るさ情報に基づいて決定される。信号処理回路９は入力された信号に上述した信号処理を施し、スルー画撮影時に比べて高解像度（高画素数）の画像データとしてデータ処理回路１０へ出力する。

データ処理回路１０が解像度変換処理を施した画像データを表示制御回路１４へ出力することにより、静止画本撮影画像がモニタ１３に表示される。また、圧縮／伸張回路１１によって圧縮処理された画像データが記録媒体１２へ記録される。

＜動画本撮影動作＞
次に動画本撮影動作について説明する。動画本撮影動作は、撮像素子１により撮影された動画像をモニタ１３に表示しつつ記録媒体１２に記録を行う撮影動作である。この動画本撮影動作は、操作部材７の一部であり、動画像の撮影を指示するＲＥＣ釦の操作がなされている間実行される。制御回路５は、操作部材７の一部を構成するＲＥＣ釦の押圧操作がなされると、前述の自動合焦動作を連続的に行うとともに、撮像素子１による動画本撮影動作を実行する。

なお、この場合の自動合焦動作は、画面内を移動する特定被写体に合焦動作が行われるように、特定被写体の追尾を行いつつ自動合焦動作を行うものであっても、所定の撮影距離の物体に常に合焦するように制御されるものであってもよい。また、特に合焦動作を行わず、操作部材７の一部を構成するフォーカス操作部材(焦点調整部材)のマニュアル操作によって、撮影者の意図によって合焦状態を変化させるものであってもよい。

制御回路５は、ＲＥＣ釦の押圧操作を検出すると、撮像素子駆動回路８に対して、動画本撮影動作を実行する駆動信号を出力するように指示する。撮像素子１は、動画本撮影動作のための駆動信号を受けて、例えば、３０フレーム／秒の高フレームレートで映像信号を連続的に出力する。このようにして撮像素子１から出力された映像信号は、信号処理回路９およびデータ処理回路１０で所定の処理が施された後、表示制御回路１４を介して順次モニタ１３に供給されるとともに、圧縮／伸張回路１１を介して記録媒体１２に記録される。

なお、操作部材７の操作によって記録媒体１２への非圧縮状態での記録が指示されている場合には、圧縮/伸張回路１１での圧縮処理は行われず、記録媒体１２への記録が行われる。また、記録媒体１２への記録動作を行うにあたり、操作部材７の操作により圧縮率を変更可能な構成としてもよい。

さらに、記録媒体１２には、上述の自動合焦動作において取得した撮影距離情報を、動画像を構成する複数の静止画フレームの各々に対応付けて、画像データとともに記録する。撮影者は、モニタ１３に表示された動画像を目視することにより、これから撮影される被写界の状態を確認するとともに、記録媒体１２に記録される画像を確認することができる。記録媒体１２に記録される動画像の１フレームの画素数は、モニタ１３の画素数より大きい。従って、本実施形態においては、モニタ１３への動画像の表示を行うに際して、モニタ１３の画素数に合わせるように解像度(画素数)の変換処理がデータ処理回路１０で行われる。

本実施の形態においては、制御回路５は、上述した静止画本撮影動作により異なる時間に撮影された２フレームの静止画（２フレームの画像）に基づいて、この２フレームの画像の撮像時間間隔に応じた枚数（フレーム数）の中間画像、すなわち異なる２つの画像に基づいて一の画像から他の画像へ画像を遷移させる途中の中間画像を生成する。具体的には、通常スピードの再生では、静止画本撮影動作により撮影された各々の画像データには、撮影時刻情報が付帯されて記憶されており、制御回路５は、２フレームの画像の撮影時刻情報に基づいて撮影時刻の差分値を算出し、この差分値にモニタ１３の表示フレーム周波数を乗じた値の数−１の中間画像をモーフィング処理によって生成する。

なお、中間画像を生成する対象とする２フレームの画像は、例えば、使用者がモニタ１３上に表示されたサムネイル画像（縮小画像）から選択できるものとする。そして、制御回路５は、使用者によって選択されたサムネイル画像に対応する異なる２つの画像を記録媒体１２から読み込み、これら２フレームの画像に基づいてモーフィング処理を行う。また、ここでは２フレームの画像はそれぞれ同一画素数の画像であり、両画像はそれぞれ同一の被写体を撮影したものであるものとする。

まず、制御回路５によって実行されるモーフィング処理について説明する。本実施の形態では、被写体像の変形を伴う幾何学的なモーフィング処理について説明する。制御回路５は、２フレームの画像から対応する複数の特徴点（画素）を抽出し、それぞれの画像から抽出した対応する特徴点同士を結びつける関数（モーフィング動作における特徴点の移動軌跡）を定義する。なお、特徴点は、使用者がモニタ１０３上で画像を確認しながら設定するようにしてもよく、あるいは制御回路５が画像内から特徴点となり得る点、例えば人物の目や鼻などを自動的に抽出して特徴点として設定するようにしてもよい。

また、特徴点以外の画素については、一方の画像（１フレーム目の画像）における複数の特徴点と特徴点以外の各画素との位置関係、および他方の画像（２フレーム目の画像）における複数の特徴点と特徴点以外の画素との位置関係に基づいて対応付けを行い、上述した１フレーム目の画像と２フレーム目の画像の対応する複数の特徴点同士を結びつける関数を補間演算することによって、両画像間での各画素を対応付ける関数を算出することができる。なお、モーフィング処理では被写体像の変形を伴わない移動のみの場合でも構わない。

中間画像（モーフィング画像）の生成に際しては、特徴点および特徴点以外の各画素の位置を、生成する中間画像の枚数に応じて、定義した関数に基づく移動軌跡に沿って１フレーム目の画像から２フレーム目の画像に向かって移動させていく。すなわち、撮影時刻が前の画像から後の画像に向かって画素の位置を移動させて中間画像を生成する。

例えば、２フレームの画像の撮影時刻の差分値（撮影時間間隔）とモニタ１３の表示フレーム周波数とに基づいて、生成する中間画像が１枚であると算出された場合、例えば撮影時刻の差が２／３０秒で表示フレーム周波数が３０Ｈｚの場合には、各画素を対応付ける関数の中央の部分に中間画像の画素を配置することによって、２フレームの画像の間に１フレームの中間画像を生成することができる。なお、この場合に撮影時刻の差分または表示フレーム周波数が変われば生成する中間画像の枚数が変わることは言うまでもない。

また、２フレームの画像の間に２フレームの中間画像を生成する場合には、各画素を対応付ける関数の１／３、２／３の部分に中間画像の画素を配置すればよい。すなわち、各画素を対応付ける関数（移動軌跡）の内分点の数を変更することによって、生成する中間画像の数を変更することができる。なお、モニタ１３の表示フレーム周波数に基づいて中間画像を生成せずに、操作部材７で中間画像の枚数を設定し、設定した枚数の中間画像を生成しても構わない。

制御回路５は、このように生成された中間画像を、２フレームの画像の間に挿入してモニタ１３上に連続して表示する。例えば、２フレームの画像の間に２フレームの中間画像を生成した場合には、合計４枚の画像をモニタ１３上に順番に表示する。すなわち、撮影時刻が早い１フレーム目の画像→１枚目の中間画像（各画素を対応付ける関数の１フレーム目から１／３の部分に配置した中間画像）→２枚目の中間画像（各画素を対応付ける関数の１フレーム目から２／３の部分に配置した中間画像）→撮影時刻が遅い２フレーム目の画像の順に画像を連続再生する。これによって、これらの画像を通常のスピードで再生することができる。

このように、使用者が異なる時間に撮影した同一被写体が写っている２枚の静止画の間の画像に相当する中間画像を生成して使用者に提示することができる。これによって、例えば、レリーズ釦の押下タイミングのズレにより、２枚の画像が使用者の所望する画像でなかったとしても、使用者が本来望んでいたタイミングの画像を中間画像として生成して提示することができる。

そして、使用者は、モニタ１３上に順番に表示される中間画像を確認し、使用者が望む瞬間の画像（使用者の好みの中間画像）がモニタ１３上に表示された時点でレリーズ釦を押下して、その中間画像を記録媒体１２へ記録することができる。すなわち、制御回路５は、中間画像の再生中に使用者によってレリーズ釦が操作されると、操作の瞬間に表示されていた中間画像をモニタ１３にフリーズ表示する。

制御回路５はさらに、フリーズ表示した中間画像を記録媒体１２に記録するか否かを問う表示を、モニタ１３上に表示する。その結果、使用者によって操作部材７が操作され、フリーズ表示中の中間画像を記録媒体１２に記録するよう指示された場合には、フリーズ表示中の中間画像に対応する画像データを記録媒体１２に記録する。この際に、制御回路５は、記録対象となった中間画像の撮影時刻（撮影日時）を、中間画像生成の元となった２フレームの画像の撮影時刻に基づいて設定する。

例えば、１フレーム目の画像の撮影時刻が１：００で、２フレーム目の画像の撮影時刻が１：０２である場合、選択された中間画像の移動軌跡上の内分比が１：１であれば、当該中間画像の撮影時刻を１：０１に設定する。そして、設定した撮影時刻を記録対象の中間画像に対応付けて記録媒体１２に記録する。例えば、中間画像のＥｘｉｆ情報内に設定した撮影時刻を含めて記録する。これによって、撮影の後に中間画像を生成し記録した場合でも、使用者は記録された中間画像の想定される撮影時刻を把握することができる。

また、制御回路５は、記録対象の中間画像が実際に撮像された画像ではなく、２フレーム画像に基づいてモーフィング処理によって生成された中間画像であることを示す情報をＥｘｉｆ情報内に付加するようにしてもよい。これによって、中間画像を実際に撮影された画像とは区別して記録することが可能となる。なお、ここで、中間画像であることを示す情報としては、Ｅｘｉｆ情報内に撮影日時情報とは別に記録日時情報の項目を設けて記録日時を付加するようにしてもよく、あるいは、Ｅｘｉｆ情報内のメーカノートに、この当該画像が中間画像であることを識別するための情報を付加するようにしてもよい。

フリーズ表示中の中間画像の記録が完了した後に、さらに使用者によって操作部材７が操作された場合、または使用者によってフリーズ表示中の中間画像の記録がキャンセルされた場合には、フリーズ表示された画像から再度中間画像の連続再生を開始し、使用者からの指示に基づいて上述した処理を行う。その後、２フレーム目の画像まで表示が行われると、２フレーム目の画像をモニタ１３に表示して中間画像の再生を終了する。

なお、上述した中間画像の連続再生の方法は使用者が任意に指定することができるものとする。例えば、上述したように、１フレーム目の画像から２フレーム目の画像に向けて中間画像を連続再生（順送り再生）することもでき、その逆に２フレーム目の画像から１フレーム目の画像に向けて中間画像を連続再生（逆送り再生）することもできる。この場合にも、レリーズ釦を操作して再生画像（中間画像）をフリーズ表示させて記録することができる。

また、中間画像生成の元となった２フレームの画像の撮影時間間隔が長い場合には、生成する中間画像の枚数が増加するため、その再生には時間がかかる。従って、使用者は操作部材７を操作して中間画像の早送り再生を指示することもできる。この場合、制御回路５は、生成された中間画像を、フレーム単位で間引いて再生する。さらには、再生の途中で逆送りを行えるようにしてもよい。また、撮影時間間隔×表示フレーム周波数以上の枚数の中間画像を生成することでスロー再生が行われ、所望のタイミングで画像の取得、保存を容易に行うことができる。

図２は、本実施の形態における撮像装置１００の処理を示すフローチャートである。図２に示す処理は、使用者によって撮像装置１００の電源がオンされると起動するプログラムとして、制御回路５によって実行される。

ステップＳ１０において、使用者によって操作部材７が操作され、記録媒体１２に記録されている画像の中から中間画像生成の元となる２フレームの画像が選択されたか否かを判断する。使用者によって２フレームの画像が選択されたと判断した場合には、ステップＳ２０へ進む。ステップＳ２０では、上述したモーフィング処理を行い、２フレームの画像の撮影時間間隔とモニタ１３の表示フレーム周波数とに基づいて中間画像を生成する。その後、ステップＳ３０へ進む。

ステップＳ３０では、生成した中間画像を１フレーム目の画像から２フレーム目の画像に向けて順番に連続再生する。このとき、上述したように、使用者によって指定されたその他の表示方法に基づく再生順序で中間画像を再生してもよい。その後、ステップＳ４０へ進み、使用者によってレリーズ釦が押下されたか否かを判断する。使用者によってレリーズ釦が押下されていないと判断した場合には、後述するステップＳ１００へ進む。これに対して、レリーズ釦が押下されたと判断した場合にはステップＳ５０へ進む。

ステップＳ５０では、使用者によってレリーズ釦が押下された時点でモニタ１３に表示されていた中間画像をモニタ１３上にフリーズ表示し、同時にフリーズ表示中の中間画像を記録媒体１２へ記録するか否かを確認するメッセージを表示して、ステップＳ６０へ進む。ステップＳ６０では、使用者によって操作部材７が操作され、確認メッセージに対する応答として中間画像の記録が指示されたか否かを判断する。中間画像の記録が指示されていないと判断した場合には、後述するステップＳ１００へ進む。これに対して中間画像の記録が指示された場合には、ステップＳ７０へ進む。

ステップＳ７０では、フリーズ表示中の中間画像を記録媒体１２に記録する。このとき、上述したように、算出した中間画像の撮像時刻と、記録する画像は生成された中間画像であることを示す情報を画像データに対応付けて記録する。その後、ステップＳ８０へ進み、使用者によって操作部材７が操作され、画像再生の再開が指示されたか否かを判断する。画像再生の再開が指示されたと判断した場合には、ステップＳ９０へ進み、中間画像の再生を再開してステップＳ１００へ進む。

ステップＳ１００では、２フレームの画像まで中間画像の再生が終了したか否かを判断する。再生が終了していないと判断した場合には、ステップＳ４０へ戻って処理を繰り返す。これに対して、再生が終了したと判断した場合には、ステップＳ１１０へ進む。ステップＳ１１０では、使用者によって操作部材７が操作され、撮像装置１００の電源がオフされたか否かを判断する。電源がオフされていないと判断した場合には、ステップ１０へ戻って処理を繰り返す。これに対して電源がオフされたと判断した場合には、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）使用者によって選択された異なる時刻に撮影され同一被写体が写っている２フレームの画像に基づいて、その中間画像を生成し、生成した中間画像を連続してモニタ１３に表示するようにした。すなわち連続再生するようにした。これによって、レリーズ釦の押下タイミングのズレにより、２枚の画像が使用者の所望する画像でなかったとしても、使用者が本来望んでいたタイミングの画像を中間画像として生成して提示することができる。

（２）さらに、中間画像を再生しているときに使用者によってレリーズ釦が押下された場合には、そのときに表示されていた中間画像を記録媒体１２へ静止画像として記録できるようにした。これによって、使用者が望むタイミングの画像を記録することができる。

（３）中間画像を記録媒体１２に記録するに当たっては、中間画像生成の元となった２フレームの画像の撮影時刻に基づいて中間画像の想定される撮影時刻を算出し、中間画像と関連付けて記録するようにした。これによって、使用者は中間画像内の事象が発生したと想定される推定撮影時刻を把握することができる。

（４）中間画像を記録媒体１２に記録するに当たっては、Ｅｘｉｆ情報内に撮影日時情報とは別に記録日時情報の項目を設けて記録日時を付加したり、Ｅｘｉｆ情報内のメーカノートに、この当該画像が中間画像であることを識別するための情報を付加するようにした。これによって、記録された画像が実際に撮像された画像ではなく、２フレーム画像に基づいてモーフィング処理によって生成された中間画像であることを区別することができる。

（５）使用者は操作部材７を操作して中間画像の早送り再生を指示できるようにした。これによって、中間画像生成の元となった２フレームの画像の撮影時間間隔が長い場合には、生成する中間画像の枚数が増加し、その再生には時間がかかることになるが、これを回避することができる。

―変形例―
なお、上述した実施の形態の撮像装置は、以下のように変形することもできる。
（１）上述した実施の形態では、２フレームの画像に基づいて中間画像を生成するために、被写体像の変形を伴う幾何学的なモーフィング処理を実行する例について説明した。しかしこれに限定されず、その他の方法でモーフィング処理を実行して中間画像を生成してもよい。例えば、次に説明するように、信号のレベルに関するモーフィング処理を実行してもよい。なお、ここでは、説明の簡略化のために、２フレームの画像の被写体位置が同じでレベルのみが異なる場合について説明する。

例えば、１フレーム目の画像のある画素におけるレベルがＡ、２フレーム目の画像の当該画素に対応する画素のレベルがＡ＋Ｂ（Ｂは、正または負）であるときについて考える。この場合、Ｎフレームの中間画像を生成するためには、再生する中間画像の順番に応じて、Ｂ／（Ｎ＋１）毎に画素の信号レベルを増やして（または減らして）中間画像を生成する。これによって、２フレームの画像がカラーの場合には、例えば、赤、青、緑の画像データに対してこの処理を行うことで、１フレーム目の画像から２フレーム目の画像に向けて、徐々に色（または明るさ）が変化するような中間画像を生成することができる。なお、この信号のレベルに関するモーフィング処理は、上述した幾何学的なモーフィング処理と組み合わせて用いることもできる。

（２）また、モーフィング処理の別の方法として、階調（ガンマ）特性に関するモーフィング処理を実行して中間画像を生成してもよい。例えば、１フレーム目の画像のある画素のガンマがγ＝１であり、２フレーム目の画像の対応する画素のガンマがγ＝０．４５である場合には、γ＝１の状態では、ガンマ変換回路の入力画像データと出力画像データは等しい。一方、γ＝０．４５では、γ変換回路の出力画像データは、レベルが０のとき、およびフルスケールのときを除いて、入力画像データと異なった値となる。

このため、γ＝１である１フレーム目の画像のレベルがＡ、γ＝０．４５である２フレーム目の画像のレベルがＡ＋Ｂ（Ｂは、正または負）のときに、Ｎフレームの中間画像を生成する場合には、次のように中間画像を生成すればよい。すなわち、再生する中間画像の順番に応じて、ガンマ変換回路の出力データをＢ／（Ｎ＋１）毎に増やすように（または減らすように）ガンマ特性を順次変更して、中間画像を生成すればよい。なお、この階調（ガンマ）特性に関するモーフィング処理も、上述した幾何学的なモーフィング処理や信号のレベルに関するモーフィング処理と組み合わせて用いることができる。

（３）上述した実施の形態では、２フレームの画像の撮影時刻情報に基づいて撮影時刻の差分値を算出し、この差分値にモニタ１３の表示フレーム周波数を乗じた値の数−１の中間画像をモーフィング処理によって生成する例について説明した。しかしこれに限定されず、中間画像の数を任意に変更できるようにしてもよい。例えば、生成する中間画像のフレーム数を上述した実施の形態における数の２倍にすると、中間画像の再生時に２倍のスロー再生を行うことができる。このようにモニタ１３上で中間画像をスロー再生することによって、使用者による所望の中間画像の選択を容易にすることができる。すなわち、使用者はスロー再生されている中間画像の中から好みの画像を選択すればよいため、レリーズ釦を押すタイミングを容易に所望の中間画像に合わせることができる。なお、生成する中間画像のフレーム数は、２倍に限定されず、例えば１．５倍や３倍などとしてもよい。また、生成する中間画像の枚数は変化させず、中間画像１枚辺りの表示時間を変化させてスルー再生を行ってもよい。

（４）上述した実施の形態では、中間画像の再生中に使用者によってレリーズ釦が押下された場合には、その時点でモニタ１３に表示されていた中間画像を記録媒体１２へ記録するようにした。さらに、中間画像を記録する際に、当該中間画像と中間画像を生成する元となった２フレームの画像とを関連付けて記録媒体に記録するようにしてもよい。

（５）上述した実施の形態では、２フレームの画像はそれぞれ同一画素数の画像である場合の処理について説明した。しかしこれに限定されず、異なる画素数の画像であっても本発明は適用可能である。例えば、上述したように、スルー画撮影動作により撮影されたスルー画像と、静止画本撮影動作で撮影された画像とは画素数が異なるが、この場合でも両画像に基づいて中間画像を生成することができる。この場合には、高画素解像度の画像を間引いて低画素解像度の画素数と同じ画素数にした上で、対応する特徴点（画素）を抽出し、対応点どうしを結びつける関数（モーフィング動作における特徴点の移動軌跡）を定義すればよい。またこの場合、画素数の多い方の画像に合わせた大きさの中間画像を生成することが好ましい。

（６）上述した実施の形態では、２フレームの画像はそれぞれ同一の被写体を撮影したものである場合の処理について説明した。しかしこれに限定されず、２フレームの画像がそれぞれ異なる被写体を撮像したものであっても本発明は適用可能である。この場合、２フレームの画像内に中間画像を生成する上で必要となる特徴点が存在することが好ましい。例えば、２フレームの画像にそれぞれ異なった人物が写っている場合であっても、両画像は人物の目、鼻、口など対応する特徴点を含んでいることから、両画像に基づいて中間画像を生成することができる。また、両画像に異なる建物が写っている場合も、両画像は建物の頂点を特徴点とすることができる。

（７）上述した実施の形態では、生成した中間画像を連続再生して使用者に提示する例について説明した。しかしこれに限定されず、例えば操作部材７にコマ送りスイッチを設け、使用者による当該コマ送りスイッチの操作に基づいて、１コマ（フレーム）ずつ順番に表示する中間画像を切り替えるようにしてもよい。これによって、使用者は所望の画像を十分な時間をかけて選択することができ、使用者の利便性が向上する。

（８）上述した実施の形態では、本発明による画像処理装置を撮像装置（カメラ）に適用した場合について説明した。しかしこれに限定されず、例えばカメラ機能を備えた携帯電話機や、カメラで撮像した画像データを記録することができるパーソナルコンピュータ（パソコン）などのその他の情報端末に適用することできる。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

画像処理装置を撮像装置（カメラ）に適用した場合の一実施の形態の構成を示すブロック図である。 撮像装置１００の処理を示すフローチャート図である。

符号の説明

１００ 撮像装置、１ 撮像素子、２ 撮影レンズ、３ レンズ駆動回路、５ 制御回路、７ 操作部材、８ 撮像素子駆動回路、９ 信号処理回路、１０ データ処理回路、１１ 圧縮／伸張回路、１２ 記録媒体、１３ モニタ、１４ 表示制御回路、１５ 測光回路、１６ 振れ検出センサ

Claims (12)

1. 異なる２つの画像に基づいて、一の画像から他の画像へ画像を遷移させる途中の中間画像を生成する中間画像生成手段と、
   前記中間画像生成手段で生成した前記中間画像を使用者からの指示に応じて記録する記録手段とを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記中間画像を表示する表示手段をさらに備え、
   前記中間画像生成手段は、前記表示手段の表示フレーム周波数、および前記異なる２つの画像の撮影時間間隔に基づいて、生成する前記中間画像の枚数を決定することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記中間画像生成手段は、前記表示手段への表示時間が前記異なる２つの画像の撮影時間間隔以上になるように、生成する前記中間画像の枚数を決定することを特徴とする画像処理装置。
4. 請求項２または３に記載の画像処理装置において、
   前記表示手段は、前記異なる２つの画像の撮影時間間隔よりも長い時間をかけて、前記中間画像を表示することを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記中間画像生成手段で生成する中間画像の枚数を設定する設定手段をさらに備え、
   前記中間画像生成手段は、前記異なる２つの画像の撮影時間間隔と中間画像の枚数とから中間画像を作成する時間を算出し、その時間に対応する中間画像を作成することを特徴とする画像処理装置。
6. 請求項１〜５のいずれか一項に記載の画像処理装置において、
   前記記録手段は、前記中間画像を前記異なる２つの画像と対応付けて記録することを特徴とする画像処理装置。
7. 請求項１〜６のいずれか一項に記載の画像処理装置において、
   前記記録手段は、中間画像であることを示す情報を前記中間画像に付加して記録することを特徴とする画像処理装置。
8. 請求項１〜７のいずれか一項に記載の画像処理装置において、
   前記異なる２つの画像は、同じ被写体を異なる時刻に撮影した画像であり、
   前記中間画像生成手段は、前記異なる２つの画像内に含まれる同じ被写体が一の画像から他の画像へ向けて変化するように画像を遷移させて、前記中間画像を生成することを特徴とする画像処理装置。
9. 請求項１〜７のいずれか一項に記載の画像処理装置において、
   前記異なる２つの画像は、それぞれ共通の特徴点を有する異なる被写体を撮影した画像であり、
   前記中間画像生成手段は、前記異なる２つの画像内に含まれる共通の特徴点が一の画像から他の画像へ向けて変化するように画像を遷移させて、前記中間画像を生成することを特徴とする画像処理装置。
10. 請求項１〜９のいずれか一項に記載の画像処理装置において、
    前記異なる２つの画像は、それぞれ異なる画素数の画像であり、
    前記中間画像生成手段は、前記異なる２つの画像の画素数を一致させてから前記中間画像を生成することを特徴とする画像処理装置。
11. コンピュータに、
    異なる２つの画像に基づいて、一の画像から他の画像へ画像を遷移させる途中の中間画像を生成する中間画像生成手順と、
    使用者からの指示に応じて前記中間画像生成手順で生成した前記中間画像を記録する記録手順とを実行させるための画像処理プログラム。
12. 画像を撮像して取得する画像撮像手段と、
    前記画像撮像手段で取得した画像を画像処理する請求項１〜１０のいずれか一項に記載の画像処理装置とを備えることを特徴とする撮像装置。

Images