JP2014103613A - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Abstract

【課題】動き補償型フレームレート変換を施した画像信号を動画像符号化する際の画像劣化を極力少なくすることができる画像処理装置を提供する。
【解決手段】フレームレート変換部２０は、第１のフレームレートを有する画像信号Ｓ１０の被写体の動きを検出し、画像信号Ｓ１０を構成する実フレームを用いて被写体の動きに基づいて動き補償補間した補間フレームを生成し、実フレーム間に補間フレームを内挿することにより、第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する画像信号Ｓ２０に変換する。動画像符号化部３０は、画像信号Ｓ２０を構成する実フレームのみをＩピクチャのフレームとして動画像符号化する。
【選択図】図１

Description

本発明は、第１のフレームレートを有する第１の画像信号に対して動き補償型フレームレート変換を施して、第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換し、第２の画像信号を動画像符号化する画像処理装置、画像処理方法、画像処理プログラムに関する。

近年、静止画像を撮影するためのデジタルスチルカメラは、動画像を撮影する機能を搭載するのが一般的となっている。動画像撮影機能を搭載したデジタルスチルカメラにおいては、１５〜３０fps（フレーム／秒）程度の低フレームレートのイメージセンサで撮像した画像信号を繰り返し出力して６０fpsに変換する仕様のものが多い。

また、画像信号を６０フィールドのインターレース（いわゆる６０ｉ）で出力する場合には、３０fpsの画像信号のフレームを２−２プルダウンによって２フィールドに分割する仕様のものが多い。このような仕様となっている理由の１つは、デジタルスチルカメラ用のイメージセンサにおける最大フレームレートが制限されているからである。

デジタルスチルカメラは、撮影した画像信号を、イメージセンサによる撮像時のフレームレートが３０fpsである場合には、３０フレームのプログレッシブ（いわゆる３０ｐ）または６０ｉのフォーマットの符号化データ（符号化ストリーム）として記録媒体に記録する。

特開２００３−１５３０５４号公報

動きの比較的速い被写体を例えば３０fpsで撮影し、３０fpsの画像信号を繰り返し出力して６０fpsに変換した動画像を鑑賞すると、モーションジャダと称されるカクカクした動きが視認されてしまう。モーションジャダを低減させる解決策の１つは、動き補償型フレームレート変換を用いることである。具体的には、動き補償型フレームレート変換装置は、３０fpsの画像信号に基づいて被写体の動きベクトルを検出し、予測補間した補間フレームを生成する。動き補償型フレームレート変換装置は、３０fpsの画像信号の隣接する実フレーム間に補間フレームを内挿して６０fpsにフレームレート変換する。

動き補償型フレームレート変換によって６０fpsに変換した動画像では、モーションジャダが低減され、あたかも６０fpsで撮像したような滑らかな動きとなる。動き補償型フレームレート変換によって６０fpsに変換した画像信号を動画像符号化した符号化ストリームを記録媒体に記録しておけば、モーションジャダの少ない滑らかな再生画像を鑑賞することができる。

ところが、いかに精巧に設計された動き補償型フレームレート変換装置であっても、動き補償型フレームレート変換によって６０fpsに変換した動画像は、６０fpsで撮像した動画像とは完全には一致せず、変換誤差を含む。動き補償型フレームレート変換によって６０fpsに変換した画像信号を動画像符号化すると、変換誤差の影響によって画像劣化を招くという問題点があった。

本発明はこのような問題点に鑑み、第１のフレームレートを有する第１の画像信号に対して動き補償型フレームレート変換を施して、第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換し、第２の画像信号を動画像符号化する際の画像劣化を極力少なくすることができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、第１のフレームレートを有する第１の画像信号の被写体の動きを検出し、前記第１の画像信号を構成する実フレームを用いて前記被写体の動きに基づいて動き補償補間した補間フレームを生成し、前記実フレーム間に前記補間フレームを内挿することにより、前記第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換するフレームレート変換部（２０）と、前記第２の画像信号を構成する前記実フレームのみをＩピクチャのフレームとして動画像符号化する動画像符号化部（３０）とを備えることを特徴とする画像処理装置を提供する。

また、本発明は、上述した従来の技術の課題を解決するため、第１のフレームレートを有する第１の画像信号の被写体の動きを検出し、前記第１の画像信号を構成する実フレームを用いて前記被写体の動きに基づいて動き補償補間した補間フレームを生成し、前記実フレーム間に前記補間フレームを内挿することにより、前記第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換し、前記第２の画像信号を構成する前記実フレームのみをＩピクチャのフレームとして動画像符号化することを特徴とする画像処理方法を提供する。

さらに、本発明は、上述した従来の技術の課題を解決するため、コンピュータに、第１のフレームレートを有する第１の画像信号の被写体の動きを検出させる機能と、前記第１の画像信号を構成する実フレームを用いて前記被写体の動きに基づいて動き補償補間した補間フレームを生成させる機能と、前記実フレーム間に前記補間フレームを内挿することにより、前記第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換させる機能と、前記第２の画像信号を構成する前記実フレームのみをＩピクチャのフレームとして動画像符号化させる機能とを実現させることを特徴とする画像処理プログラムを提供する。

本発明の画像処理装置、画像処理方法、画像処理プログラムによれば、第１のフレームレートを有する第１の画像信号に対して動き補償型フレームレート変換を施して、第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換し、第２の画像信号を動画像符号化する際の画像劣化を極力少なくすることができる。

各実施形態の画像処理装置を搭載した撮像記録装置を示すブロック図である。 第１実施形態の画像処理装置におけるフレームレート変換部の具体的構成例を示すブロック図である。 第１実施形態の動作を説明するためのタイミングチャートである。 第２実施形態の画像処理装置におけるフレームレート変換部の具体的構成例を示すブロック図である。 第２実施形態の動作を説明するためのタイミングチャートである。 第３実施形態の画像処理装置におけるフレームレート変換部の具体的構成例を示すブロック図である。 第３実施形態の動作を説明するためのタイミングチャートである。

以下、各実施形態の画像処理装置、画像処理方法、画像処理プログラムについて、添付図面を参照して説明する。図１は、各実施形態の画像処理装置を搭載した撮像記録装置の概略的な全体構成を示している。図１中のフレームレート変換部２０及び動画像符号化部３０は、各実施形態の画像処理装置を構成している。フレームレート変換部２０及び動画像符号化部３０は、各実施形態の画像処理方法を実行する。フレームレート変換部２０及び動画像符号化部３０に各実施形態の画像処理プログラムを搭載してもよい。

＜第１実施形態＞
図１において、イメージセンサ１０は、被写体を３０fpsのフレームレートで撮像した画像信号Ｓ10を出力する。画像信号Ｓ10は、動き補償型フレームレート変換装置であるフレームレート変換部２０に入力される。第１実施形態におけるフレームレート変換部２０はいわゆる倍速変換回路である。

フレームレート変換部２０は、画像信号Ｓ10におけるフレーム間の動きベクトルを検出し、動きベクトルに基づいて予測補間（動き補償補間）した補間フレームを生成する。フレームレート変換部２０は、画像信号Ｓ10における隣接するフレーム間に補間フレームを内挿して６０fpsにフレームレート変換した画像信号Ｓ20を出力する。

フレームレート変換部２０は、画像信号Ｓ20におけるそれぞれのフレームが、画像信号Ｓ10のフレームである実フレームであるか、補間フレームであるかを示すフラグ信号Ｓfgを生成して出力する。

図２を用いて、フレームレート変換部２０の具体的構成及びその動作について説明する。第１実施形態におけるフレームレート変換部２０をフレームレート変換部２０_１とする。図２において、画像信号Ｓ10を構成するそれぞれの画素データは、メモリ２０１，動きベクトル検出部２０２，補間部２０３，メモリ２０４に順次入力される。メモリ２０１は、入力された画素データを１フレーム期間遅延させる。１フレーム遅延の画素データは、動きベクトル検出部２０２及び補間部２０３に入力される。

動きベクトル検出部２０２は、公知の手法によって、それぞれの画素単位または複数の画素よりなるブロック単位で、フレーム間の動きベクトルＭＶを検出する。補間部２０３は、動きベクトルＭＶを参照し、画像信号Ｓ10の画素データとメモリ２０１より出力された１フレーム遅延の画素データとに基づいて、画像信号Ｓ10における隣接するフレーム間に内挿する補間フレームを構成する補間画素データを生成する。補間部２０３によって生成された補間画素データは、メモリ２０４に入力される。

メモリ２０４は、タイミング制御部２５による制御に基づいて、画像信号Ｓ10の画素データと、補間部２０３からの補間画素データとを、１／６０秒毎に交互に読み出して、６０fpsのフレームレートを有する画像信号Ｓ20を出力する。タイミング制御部２５は、メモリ２０４より出力される画像信号Ｓ20のフレームが実フレームであるタイミングでは例えば“０”（ロー）、補間フレームであるタイミングでは例えば“１”（ハイ）のフラグ信号Ｓfgを生成して出力する。

タイミング制御部２５は、実フレームを出力するタイミングと補間フレームを出力するタイミングとを識別するためのフラグ信号Ｓfgを発生するフラグ発生部として動作している。

図１に戻り、フレームレート変換部２０（２０_１）より出力された画像信号Ｓ20とフラグ信号Ｓfgは、動画像符号化部３０に入力される。動画像符号化部３０は、入力された画像信号Ｓ20を符号化する。この際、動画像符号化部３０は、フラグ信号Ｓfgを参照して、画像信号Ｓ20を符号化する方法を決定する。

動画像符号化部３０には、画像信号Ｓ20及びフラグ信号Ｓfgが入力される。動画像符号化部３０は、画像信号Ｓ20を符号化する。動画像符号化部３０は、画像信号Ｓ20を符号化する際の画像フレームのタイプとして、Ｉピクチャ（Intra Coded Picture）、Ｐピクチャ（Predictive Coded Picture）、Ｂピクチャ（Bidirectional Predictive Coded Picture）のいずれかのタイプを用いる。

Ｉピクチャは、フレーム内予測符号化のみを用いたフレームである。Ｐピクチャは、フレーム内予測符号化だけでなく、過去のフレームを参照する前方向フレーム間予測符号化を用いることができるフレームである。Ｂピクチャは、フレーム内予測符号化だけでなく、過去と未来のそれぞれのフレームを参照する双方向フレーム間予測符号化を用いることができるフレームである。

Ｉピクチャは、ＧＯＰ（Group of Picture）と称されるピクチャの集合体の先頭フレームとして割り当てられる。Ｉピクチャは、ＧＯＰ内の参照フレームの基本となる。Ｉピクチャは他のフレームを参照しないため、サーチ等の特殊再生の際に用いるのに好適である。Ｐピクチャ及びＢピクチャを用いると、自身のフレームと参照フレームとの差分だけを符号化するため圧縮効率のよい符号化を行うことができる。

図３を用いて、第１実施形態における動画像符号化部３０がピクチャタイプをどのように決定して画像信号Ｓ20を符号化するかについて説明する。図３の（ａ）は、イメージセンサ１０から出力される画像信号Ｓ10のフレームｆ０，ｆ２，ｆ４，…を示している。ここでは、画像信号Ｓ10のフレームレートは３０fpsである。

図３の（ｂ）は、フレームレート変換部２０（２０_１）より出力される画像信号Ｓ20のフレームｆ０，ｆ１，ｆ２，ｆ３，ｆ４，…を示している。図３の（ａ），（ｂ）を比較すれば分かるように、フレームｆ０，ｆ２，ｆ４，ｆ６，…は実フレームであり、フレームｆ１，ｆ３，ｆ５，ｆ７，…は補間フレームである。

図３の（ｂ）における例えばフレームｆ１は、図３の（ａ）におけるフレームｆ２が入力された後に得られる。従って、実際には、図３の（ｂ）に示す画像信号Ｓ20は、図３の（ｂ）のフレームｆ１の位置が図３の（ａ）のフレームｆ２よりも後ろ側へとタイミングがずれることになる。図３では、理解を容易にするため、フレームレート変換部２０における遅延時間を無視して、画像信号Ｓ10のフレームと画像信号Ｓ20のフレームとのタイミングを合わせるように図示している。

タイミング制御部２０５は、図３の（ｃ）に示すように、フレームレート変換部２０が、画像信号Ｓ20のフレームとして実フレームｆ０，ｆ２，ｆ４，ｆ６，…を出力する場合にはハイ、補間フレームｆ１，ｆ３，ｆ５，ｆ７，…を出力する場合にはローのフラグ信号Ｓfgを出力する。

動画像符号化部３０は、一例として、図３の（ｄ）に示すように、フレームｆ０，ｆ４，…をＩピクチャＩ０，Ｉ４，…のフレームとして符号化し、フレームｆ１〜ｆ３，ｆ５〜ｆ７，…を、ＰピクチャＰ１〜Ｐ３，Ｐ５〜Ｐ７，…のフレームとして符号化した符号化ストリームＳ30を生成する。ここでは簡略化のためＢピクチャを用いていないが、Ｂピクチャのフレームを含むように符号化ストリームＳ30を生成してもよい。

動画像符号化部３０は、図３の（ｃ），（ｄ）より分かるように、フラグ信号Ｓfgがローである実フレームのみにＩピクチャを割り当てる。また、動画像符号化部３０は、ＰピクチャまたはＢピクチャが参照する参照フレームを、フラグ信号Ｓfgがローである実フレームに基づいて生成したＩピクチャ，Ｐピクチャ，Ｂピクチャのフレームのみとして符号化する。さらに、動画像符号化部３０は、フラグ信号Ｓfgがハイである補間フレームに対しては、参照フレームとはならないＰピクチャ，Ｂピクチャのフレームのみとして符号化する。

図３の（ｄ）の場合には、フレームｆ２（ＰピクチャＰ２）がフレームｆ３（ＰピクチャＰ３）の参照フレーム、フレームｆ６（ＰピクチャＰ６）がフレームｆ７（ＰピクチャＰ７）の参照フレームとなっている。フレームｆ１，ｆ２（ＰピクチャＰ１，Ｐ２）はフレームｆ０（ＩピクチャＩ０）を参照し、フレームｆ５，ｆ６はフレームｆ４（ＩピクチャＩ４）を参照している。

通常の撮像記録装置においては、画像信号の性質等に基づいてＩピクチャ，Ｐピクチャ，Ｂピクチャのピクチャタイプを割り当て、Ｉピクチャ，Ｐピクチャ，Ｂピクチャを一定のシーケンスで順に割り当てていくのが一般的である。本実施形態においては、フラグ信号Ｓfgを参照して、符号化しようとするフレームが実フレームであるか補間フレームであるかによって、ピクチャタイプを決定し、参照フレームとするか否かを決定して、符号化ストリームＳ30を生成する。

補間フレームはフレームレート変換部２０（２０_１）において動きベクトル推定して生成したフレームであるため、変換誤差を含む場合がある。補間フレームを、符号化ストリームＳ30を生成する際の参照フレームとして用いると、複数のフレームに変換誤差が蓄積していき、画像劣化を招いてしまう。本実施形態において、動画像符号化部３０は、補間フレームをＩピクチャのフレーム及び他のフレームから参照される参照フレームとして用いないように符号化して符号化ストリームＳ30を生成する。従って、本実施形態の画像処理装置によれば、フレームレート変換部２０における変換誤差の影響による画像劣化を極力少なくすることができる。

動画像符号化部３０より出力された符号化ストリームＳ30は、記録部４０に入力されて記録される。記録部４０は、記録媒体と、記録媒体に符号化ストリームＳ30を記録させ、記録媒体に記録した符号化ストリームＳ30を再生させる記録再生駆動部とを含む。記録媒体は、光ディスク，半導体メモリ，ハードディスク・ドライブ等のいずれでもよく、任意の記録媒体である。

図１の構成によれば、記録部４０に記録された符号化ストリームＳ30を再生すれば、モーションジャダが少なくて滑らかで、変換誤差の影響による画像劣化の少ない高画質な再生画像を鑑賞することができる。

＜第２実施形態＞
第２実施形態においては、図１におけるイメージセンサ１０は、被写体を１５fpsのフレームレートで撮像した画像信号Ｓ10を出力する。第２実施形態におけるフレームレート変換部２０は１５fpsを６０fpsに変換するいわゆる４倍速変換回路である。

図４を用いて、第２実施形態におけるフレームレート変換部２０の具体的構成及び動作について説明する。第２実施形態におけるフレームレート変換部２０をフレームレート変換部２０_２とする。図２に示す第１実施形態のフレームレート変換部２０_１と実質的に同一部分には同一符号を付し、その説明を省略する。

図４において、動きベクトル検出部２０２は、補間部2031，2032，2033にそれぞれ動きベクトルMV1，MV2，MV3を供給する。１５fpsを６０fpsに変換するには、フレームレート変換部２０_２は、画像信号Ｓ10における隣接するフレーム間に３フレーム分の補間フレームを内挿する必要がある。従って、３つの補間部2031，2032，2033が必要となる。

図５を用いて、第２実施形態における動画像符号化部３０がピクチャタイプをどのように決定して画像信号Ｓ20を符号化するかについて説明する。図５の（ａ）は、イメージセンサ１０から出力される画像信号Ｓ10のフレームｆ０，ｆ４，ｆ８，…を示している。ここでは、画像信号Ｓ10のフレームレートは１５fpsである。

図５の（ｂ）は、フレームレート変換部２０より出力される画像信号Ｓ20のフレームｆ０，ｆ１，ｆ２，ｆ３，ｆ４，…を示している。図５の（ａ），（ｂ）を比較すれば分かるように、フレームｆ０，ｆ４，ｆ８，ｆ１２，…は実フレームであり、フレームｆ１〜ｆ３，ｆ５〜ｆ７，ｆ９〜ｆ１１，ｆ１３〜ｆ１５，…は補間フレームである。ここでも、フレームレート変換部２０における遅延時間を無視して、画像信号Ｓ10のフレームと画像信号Ｓ20のフレームとを合わせるように図示している。

フラグ発生部であるタイミング制御部２０５は、図５の（ｃ）に示すように、フレームレート変換部２０が、画像信号Ｓ20のフレームとして実フレームｆ０，ｆ４，ｆ８，ｆ１２，…を出力するタイミングではロー、補間フレームｆ１〜ｆ３，ｆ５〜ｆ７，ｆ９〜ｆ１１，ｆ１３〜ｆ１５，…を出力するタイミングではハイのフラグ信号Ｓfgを出力する。

動画像符号化部３０は、一例として、図５の（ｄ）に示すように、フレームｆ０，ｆ８，…をＩピクチャＩ０，Ｉ８，…のフレームとして符号化し、フレームｆ１〜ｆ７，ｆ９〜ｆ１５，…を、ＰピクチャＰ１〜Ｐ７，Ｐ９〜Ｐ１５，…のフレームとして符号化した符号化ストリームＳ30を生成する。ここでも、Ｂピクチャのフレームを含むように符号化ストリームＳ30を生成してもよい。

第２実施形態においても、動画像符号化部３０は、フラグ信号Ｓfgがローである実フレームのみにＩピクチャを割り当てる。また、動画像符号化部３０は、Ｐピクチャ及びＢピクチャが参照する参照フレームを、フラグ信号Ｓfgがローである実フレームに基づいて生成したＩピクチャ，Ｐピクチャ，Ｂピクチャのフレームのみとして符号化する。さらに、動画像符号化部３０は、フラグ信号Ｓfgがハイである補間フレームに対しては、参照フレームとはならないＰピクチャ，Ｂピクチャのフレームのみとして符号化する。

図５の（ｄ）の場合には、フレームｆ４（ＰピクチャＰ４）がフレームｆ５〜ｆ７（ＰピクチャＰ５〜Ｐ７）の参照フレーム、フレームｆ１２（ＰピクチャＰ１２）がフレームｆ１３〜ｆ１５（ＰピクチャＰ１３〜Ｐ１５）の参照フレームとなっている。フレームｆ１〜ｆ４（ＰピクチャＰ１〜Ｐ４）はフレームｆ０（ＩピクチャＩ０）を参照し、フレームｆ９〜ｆ１２（ＰピクチャＰ９〜Ｐ１２）はフレームｆ８（ＩピクチャＩ８）を参照している。

第２実施形態においても、第１実施形態と同様の効果を奏する。

＜第３実施形態＞
第３実施形態においては、第１実施形態のフレームレート変換部２０_１の代わりに図６に示すフレームレート変換部２０_３を用いる。フレームレート変換部２０_３は、フレームレート変換部２０_１に対して静止画像検出部２０６を追加した構成となっている。図６において、フレームレート変換部２０_１と同一部分には同一符号を付し、その説明を省略する。

静止画像検出部２０６には、画像信号Ｓ10の画素データとメモリ２０１より出力された１フレーム遅延の画素データとが入力される。静止画像検出部２０６は、画像信号Ｓ10が静止画像であるか否かを検出して、静止画像検出信号Ｓｓを出力する。静止画像検出部２０６は、画像信号Ｓ10のそれぞれのフレームが静止画像であるか否かをフレーム単位で検出する。

静止画像検出部２０６は、１フレームの全体で被写体の動きが実質的になければ静止画像であると判断して静止画像検出信号Ｓｓとして例えば“１”（ハイ）を出力し、静止画像でないと判断した場合に静止画像検出信号Ｓｓとして例えば“０”（ロー）を出力する。静止画像検出部２０６は、一例として、１フレーム内の動きの程度のヒストグラムをとり、動きが所定の閾値より小さい場合に静止画像であると判断すればよい。

図６に示す構成例では、静止画像検出部２０６を動きベクトル検出部２０２とは別に設けているが、動きベクトル検出部２０２で検出した動きベクトルＭＶに基づいて静止画像であるか否かを検出してもよい。この場合、動きベクトル検出部２０２が静止画像検出部としても動作していることになる。動きベクトル検出部２０２で検出した動きベクトルＭＶを静止画像検出部２０６に入力して、静止画像検出部２０６が動きベクトルＭＶに基づいて静止画像であるか否かを検出してもよい。

静止画像検出部２０６が生成した静止画像検出信号Ｓｓは、タイミング制御部２０５に入力される。タイミング制御部２０５は、静止画像検出信号Ｓｓが静止画像であることを示す場合には、フレームレート変換部２０_３が補間フレームを出力する場合でも、フラグ信号Ｓfgとしてローを出力する。

補間フレームにおける変換誤差は被写体の動きが大きいときに発生しやすく、被写体が静止しているときには発生しにくい。静止画像では動きベクトルＭＶは常に０ベクトル（静止）となり、補間フレームは２つの実フレームを平均することによって生成されるので、ほとんど変換誤差を含まない。従って、静止画像のフレームに基づいて生成した補間フレームは実フレームと同等に扱っても不都合はない。

図７を用いて、第３実施形態における動画像符号化部３０がピクチャタイプをどのように決定して画像信号Ｓ20を符号化するかについて説明する。図７の（ａ），（ｂ）は、図３の（ａ），（ｂ）と同じである。但し、図７の（ａ）においては、フレームｆ４とフレームｆ６とで動きがなく、フレームｆ４，ｆ６は静止画像であるとする。

図７の（ｂ）における一点鎖線で囲んだフレームｆ５は補間フレームである。図７の（ｃ）に示すように、静止画像検出部２０６は、フレームｆ５の期間に対応させて静止画像検出信号Ｓｓをハイとする。実際には、フレームｆ４，ｆ６が静止画像であることは、フレームｆ６が入力された後に検出される。図７においても、フレームレート変換部２０_３における遅延時間を無視して、画像信号Ｓ10のフレームと画像信号Ｓ20のフレームとのタイミングを合わせ、画像信号Ｓ20のフレームと静止画像検出信号Ｓｓとのタイミングを合わせるように図示している。

タイミング制御部２０５は、図７の（ｄ）に示すように、本来であればフレームレート変換部２０が補間フレームを出力して、フラグ信号Ｓfgとしてハイを出力する場合であっても、静止画像検出信号Ｓｓがハイであれば、フラグ信号Ｓfgとしてローを出力する。第１実施形態のフレームレート変換部２０_１においては、破線で示すように、フラグ信号Ｓfgはフレームｆ５のタイミングでハイとなる。タイミング制御部２０５に入力される静止画像検出信号Ｓｓは、フレームｆ５のタイミングでハイを消滅させるように作用する。

動画像符号化部３０は、一例として、図７の（ｅ）に示すように、フレームｆ０，ｆ４，…をＩピクチャＩ０，Ｉ４，…のフレームとして符号化し、フレームｆ１〜ｆ３，ｆ５〜ｆ７，…を、ＰピクチャＰ１〜Ｐ３，Ｐ５〜Ｐ７，…のフレームとして符号化した符号化ストリームＳ30を生成する。

図７の（ｅ）の場合には、フレームｆ２（ＰピクチャＰ２）がフレームｆ３（ＰピクチャＰ３）の参照フレーム、フレームｆ６（ＰピクチャＰ６）がフレームｆ７（ＰピクチャＰ７）の参照フレームとなっている。フレームｆ５（ＰピクチャＰ５）は補間フレームではあるものの、フレームｆ５（ＰピクチャＰ５）がフレームｆ６（ＰピクチャＰ６）の参照フレームとなっている。フレームｆ１，ｆ２（ＰピクチャＰ１，Ｐ２）はフレームｆ０（ＩピクチャＩ０）を参照し、フレームｆ５はフレームｆ４（ＩピクチャＩ４）を参照している。

図７の（ｅ）においては、フレームｆ５（ＰピクチャＰ５）を他のＰピクチャ（またはＢピクチャ）が参照する参照フレームとしているが、フレームｆ５をＩピクチャとして符号化してもよい。

第３実施形態によれば、ＰピクチャまたはＢピクチャが参照する参照フレームやＩピクチャを増やすことができるので、第１実施形態よりも高画質な符号化ストリームＳ30とすることができる。第３実施形態においても、１５fpsを６０fpsに変換する４倍速変換回路としてもよい。

第１〜第３実施形態において、フレームレート変換部２０及び動画像符号化部３０の部分をマイクロコンピュータによって構成してもよい。マイクロコンピュータに各実施形態のように動作させる画像処理プログラムを搭載して、マイクロコンピュータによって第１〜第３実施形態の画像処理装置と同等の機能を実現させてもよい。

本発明は以上説明した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

１０ イメージセンサ
２０ フレームレート変換部
３０ 動画像符号化部
４０ 記録部
２００１，２０４ メモリ
２０２ 動きベクトル検出部
２０３，2031〜2033 補間部
２０５ タイミング制御部（フラグ発生部）
２０６ 静止画像検出部

Claims (7)

1. 第１のフレームレートを有する第１の画像信号の被写体の動きを検出し、前記第１の画像信号を構成する実フレームを用いて前記被写体の動きに基づいて動き補償補間した補間フレームを生成し、前記実フレーム間に前記補間フレームを内挿することにより、前記第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換するフレームレート変換部と、
   前記第２の画像信号を構成する前記実フレームのみをＩピクチャのフレームとして動画像符号化する動画像符号化部と、
   を備えることを特徴とする画像処理装置。
2. 前記動画像符号化部は、前記第２の画像信号を構成する前記実フレームのみを他のＰピクチャまたはＢピクチャのフレームより参照される参照フレームとして動画像符号化することを特徴とする請求項１記載の画像処理装置。
3. 前記フレームレート変換部は、前記実フレームを出力するタイミングと前記補間フレームを出力するタイミングとを識別するためのフラグ信号を発生するフラグ発生部を有し、
   前記動画像符号化部は、前記フラグ信号に基づいて前記第２の画像信号を構成するそれぞれのフレームを動画像符号化する際のピクチャタイプを決定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記動画像符号化部は、前記フラグ信号に基づいてＰピクチャまたはＢピクチャのフレームを他のＰピクチャまたはＢピクチャのフレームの参照フレームとするか否かを決定する
   ことを特徴とする請求項３記載の画像処理装置。
5. 前記フレームレート変換部は、前記被写体のフレーム内での動きが所定の閾値より小さいとき静止画像であると判断する静止画像検出部を有し、
   前記フラグ発生部は、前記静止画像検出部よって静止画像であることが検出された実フレームを用いて生成された補間フレームを出力するタイミングでは、前記実フレームを示すフラグ信号を発生する
   ことを特徴とする請求項３または４に記載の画像処理装置。
6. 第１のフレームレートを有する第１の画像信号の被写体の動きを検出し、
   前記第１の画像信号を構成する実フレームを用いて前記被写体の動きに基づいて動き補償補間した補間フレームを生成し、
   前記実フレーム間に前記補間フレームを内挿することにより、前記第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換し、
   前記第２の画像信号を構成する前記実フレームのみをＩピクチャのフレームとして動画像符号化する
   ことを特徴とする画像処理方法。
7. コンピュータに、
   第１のフレームレートを有する第１の画像信号の被写体の動きを検出させる機能と、
   前記第１の画像信号を構成する実フレームを用いて前記被写体の動きに基づいて動き補償補間した補間フレームを生成させる機能と、
   前記実フレーム間に前記補間フレームを内挿することにより、前記第１のフレームレートよりもフレームレートの高い第２のフレームレートを有する第２の画像信号に変換させる機能と、
   前記第２の画像信号を構成する前記実フレームのみをＩピクチャのフレームとして動画像符号化させる機能と、
   を実現させることを特徴とする画像処理プログラム。

Images