JP2004289600A - 画像符号化装置、画像符号化方法及びプログラム - Google Patents

Abstract

【課題】従来より精度のよく動き予測が行うことが可能な画像符号化装置、画像符号化方法及びプログラムを提供することを目的とする。
【解決手段】撮像された動画像を画面内でブロックに分割し、分割された画像ブロックを動き補償予測部１０３に入力し、動画像の撮影モードを制御部１１３に入力し、制御部１１３で撮影モードに応じて動き予測のための探索範囲を変更し、動き補償予測部１０３で画像ブロックと相関の高い参照画像ブロックを探索する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は画像符号化装置、画像符号化方法及びプログラムに関し、特に撮影モードに応じて符号化処理を変更することに関するものである。
【０００２】
【従来の技術】
図９は、従来の技術を用いた画像符号化装置を表すブロック図である。図９において、９０１はレンズや撮像素子を含み映像を撮影する撮像部、９０２はガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理を実行する画像信号処理部、９０３はブロック・インターリーブされた入力画像を符号化して符号量を圧縮する画像符号化処理部、９０４は磁気テープやメモリカードなどの記録媒体へ符号化データを記録する記録部、９０５は撮影者により操作され撮影モードを設定するための撮影モード選択部である。
【０００３】
画像符号化処理部９０３から出力される符号化データは、一般的に静止画撮影時と動画撮影時とでは符号化方式が異なる。静止画撮影時には、ＣＤ−ＲＯＭやハードディスク等の蓄積媒体に静止画像を保存・表示するための符号化方式としてＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ ＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ：国際標準化機構）により標準化されたＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が広く用いられている。また、動画撮影時には、同様な蓄積媒体に保存・表示したり、通信路を介して放送、または双方向通信したりするための符号化方式としてＩＳＯにより標準化されたＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が広く用いられている。
【０００４】
前記撮影モード選択部９０５によって選択設定できる撮影モードとしては、高速で移動する被写体を撮影する場合に適したスポーツモード、暗い室内などで強い光が当てられた被写体を撮影する場合に適したスポットライトモード、日差しの強い明るい屋外などでの撮影に適したサーフ＆スノーモード、人物の特に顔を撮影する場合に適したポートレートモードなどがある。
【０００５】
スポーツモードとは、走っている人物など動きの速いスポーツシーンなどで、シャッタ速度を速くすることで、動きの速い被写体をブレなくシャープに撮影することが可能となる撮影モードである。スポットライトモードとは、ステージや結婚式場などスポットライトで照明されたシーンでも、被写体が白とびすることなく適正露出で撮影することが可能となる撮影モードである。サーフ＆スノーモードとは、海辺やゲレンデなど背景が明るい場所でも、被写体が暗く写るのを防ぎ適性露出で撮影することが可能となる撮影モードである。ポートレートモードとは、人物だけが浮き立つように被写体深度を浅くして背景をぼかして撮影することが可能となる撮影モードである。これら撮影モードを撮影者が撮影モード選択部９０５で選択設定することによって、撮影の意図を画像信号処理部９０２から出力される画像データに反映させることが可能となる。
【０００６】
【発明が解決しようとする課題】
前記従来の画像符号化装置においては、撮影モードを選択設定することによって撮影者の意図が画像信号処理部９０２から出力される画像データに反映されるが、画像符号化処理部９０３での符号化処理には反映されず、撮影モードにかかわらず静止画・動画入力データは同じ条件で符号化処理されることになる。
【０００７】
特に、撮影モードが、移動する被写体を撮影するモードであるとき、動き予測が精度よく行えないという問題点があった。
【０００８】
そこで本発明は、従来より精度のよく動き予測が行うことが可能な画像符号化装置、画像符号化方法及びプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために本発明に係る画像符号化装置は、撮像された動画像を画面内でブロックに分割し、分割された画像ブロックを入力する画像入力手段と、前記動画像の撮影モードを入力する撮影モード入力手段と、前記画像ブロックと相関の高い参照画像ブロックを探索する動き予測手段と、前記撮影モードに応じて、動き予測のための探索範囲を変更することを特徴とする。
【００１０】
また、上記の目的を達成するために本発明に係る画像符号化方法は、撮像された動画像を画面内でブロックに分割し、分割された画像ブロックを入力する画像入力工程と、前記動画像の撮影モードを入力する撮影モード入力工程と、前記画像ブロックと相関の高い参照画像ブロックを探索する動き予測工程と、前記撮影モードに応じて、動き予測のための探索範囲を変更することを特徴とする。
【００１１】
【発明の実施の形態】
［実施例１］
以下、本発明の第１の実施形態を図面とともに説明する。図１は、本発明を適用した画像符号化装置の実施形態を表わすブロック図である。図１において、１０１はレンズや撮像素子を含み映像を撮影する撮像部、１０２はガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理を実行する画像信号処理部、１０３は予測対象画像ブロックと最も一致する参照画像ブロックを予測し動きベクトルを生成する動き補償予測部、１０４は離散コサイン変換などの直交変換を行う直交変換部、１０５は直交変換係数を量子化行列などで除算し情報量を削減する量子化部、１０６はハフマン符号などで可変長符号化することにより一層情報量を削減するエントロピー符号化部、１０７は変動する単位時間あたりに発生する符号量を時間軸上で平滑化するバッファ部、１０８は磁気テープやメモリカードなどの記録媒体へ符号化データを記録する記録部、１０９は参照画像を再構成するために量子化部１０５により量子化された直交変換係数を逆量子化する逆量子化部、１１０は逆量子化部１０９により生成された逆量子化後直交変換係数を逆直交変換する逆直交変換部、１１１はバッファ部１０７の占有率を監視し符号化データがあふれたり空になったりしないように制御する符号量制御部、１１２は撮影者により操作され撮影モードを設定するための撮影モード選択部、１１３は撮影モード選択部１１２で選択された撮影モードに応じて動き補償予測部１０３を制御する制御部、１１４は撮影者により操作され静止画または動画を選択する符号化モード選択部である。
【００１２】
図２は、通常、動き補償予測部１０３が行う動き予測方法を表わす図である。
また図３は、撮影モードに応じて制御部１１３が動き補償予測部１０３に行う制御の手順を表すフローチャートである。さらに図４は、撮影モードに応じて変更される制御部１１３の制御により動き補償予測部１０３が行う動き予測方法を表わす図である。上記画像符号化装置の実施形態における動作形態について、その符号化処理に係わる一連の動作、特に撮影モード選択部１１２に設定された撮影モードに応じて制御部１１３が動き補償予測部１０３への制御を変更する方法を中心に図１、図２、図３、図４を用いて説明する。
【００１３】
まず始めに、撮影された画像データが符号化データとして記録されるまでの流れについて、符号化モード選択部１１４で動画符号化モードが選択された場合について図１を用いて簡単に説明する。
【００１４】
撮像部１０１より入力された画像データは、撮影モード選択部１１２に設定された撮影モードに応じて画像信号処理部１０２によりガンマ変換、色空間変換、ラスタ−ブロック変換など一連の画像信号処理を施される。そして撮影モード選択部１１２に設定された撮影モードに応じて動き補償予測部１０３は予測対象画像ブロックと最も一致する参照画像ブロックを予測し動きベクトルを生成する。
その後、直交変換部１０４、量子化部１０５、エントロピー符号化部１０６により一連の符号化処理を施された後、バッファ部１０７に一時蓄えられ、最終的に符号化データは記憶部１０８により磁気テープやメモリカードなどの記録媒体へ記録される。磁気テープへの書き込みは一定のデータレートで行われる一方、エントロピー符号化部１０６から出力される符号化データのレートは一定でないので、符号量制御部１１１は量子化部１０５を制御することにより符号化データがバッファ部１０７からあふれたり逆に空になったりしないようにしている。一方、動き補償予測部１０３で用いられる再構成画像を生成するために、量子化部１０５により量子化された直交変換係数は逆量子化部１０９で逆量子化され、さらに逆直交変換部１１０により逆直交変換される。
【００１５】
次に、通常、動き補償予測部１０３が行う動き予測方法について図２を用いて説明する。
【００１６】
図２（ａ）と（ｂ）は撮影者の前を高速に横切る自動車を撮影した動画シーケンスから抜き出した連続する画像であり、図２（ｂ）は（ａ）よりも時間的に後のものである。図２（ａ）の中央に描かれている四角は、図２（ｂ）の中央に描かれている四角で表される予測対象画像ブロックと最も一致する参照画像ブロックを探索する際の範囲を表している。この例の場合は自動車の速度が速いため、図２（ｂ）の予測対象画像ブロック中多くを閉める「Ａ」とマークされた自動車の後部窓は、図２（ａ）に示される探索範囲には含まれておらず、結果的に精度のよい予測ができない。
【００１７】
次に、撮影モードに応じて変更される制御部１１３の制御により動き補償予測部１０３が行う動き予測方法について図３、図４を用いて説明する。
【００１８】
撮影者により撮影開始が指示されると（Ｓ１０１）、制御部１１３は符号化モード選択部１１４に設定されている符号化モードを調べる（Ｓ１０２）。符号化モードが動画符号化モードであった場合は撮影モード選択部１１２に設定されている撮影モードを調べ、それ以外の場合は終了する（Ｓ１０３）。撮影モードがスポーツモードであった場合は、動き補償予測部１０３に対して動き予測探索範囲を水平方向へ拡張するように制御し（Ｓ１０４）、動き予測をして（Ｓ１０５）終了する。
【００１９】
図４（ａ）と（ｂ）は図２と同じ動画シーケンスに対して異なる動き予測探索範囲を適用したものである。図４（ａ）の中央に描かれている水平方向に拡張された四角は、図４（ｂ）の中央に描かれている四角で表される予測対象画像ブロックと最も一致する参照画像ブロックを探索する際の範囲を表している。この例の場合は自動車の速度が速いにも関わらず、図４（ｂ）の予測対象画像ブロック中多くを閉める「Ａ」とマークされた自動車の後部窓が、図４（ａ）に示される探索範囲に含まれており、結果的に精度のよい予測が可能となっている。
【００２０】
ここで、図４（ａ）で適用した探索範囲は図２（ａ）で適用した探索範囲に対して水平方向へ拡張されてはいるが、その面積は同じであることに注意されたい。すなわち、探索範囲を全探索する場合の計算量には変化が無いにも関わらず、精度のよい予測が行えていることになる。
【００２１】
［実施例２］
以下、本発明の第２の実施形態を図面とともに説明する。本発明を適用した画像符号化装置の実施形態を表わすブロック図は図１と同様である。
【００２２】
図５は、通常、動き補償予測部１０３が行う簡略化した動き予測方法を適用する動画シーケンス中の２つの連続する画像を表した図である。図６は、通常、動き補償予測部１０３が行う簡略化した動き予測方法を表わす図である。また図７は、撮影モードに応じて制御部１１３が動き補償予測部１０３に行う制御の手順を表すフローチャートである。さらに図８は、撮影モードに応じて変更される制御部１１３の制御により動き補償予測部１０３が行う簡略化した動き予測方法を表わす図である。
【００２３】
以後、上記画像符号化装置の実施形態における動作形態について、その符号化処理に係わる一連の動作、特に撮影モード選択部１１２に設定された撮影モードに応じて制御部１１３が動き補償予測部１０３への制御を変更する方法を中心に図１、図５、図６、図７、図８を用いて説明する。
【００２４】
まず始めに、通常、動き補償予測部１０３が行う探索範囲を全探索するよりも簡略化した動き予測方法について図５、図６を用いて説明する。
【００２５】
図５（ａ）と（ｂ）は撮影者の前を高速に横切る自動車を撮影した動画シーケンスから抜き出した連続する画像であり、図５（ｂ）は（ａ）よりも時間的に後のものである。図５（ａ）の中央に描かれている四角は、図５（ｂ）の中央に描かれている四角で表される予測対象画像ブロックと最も一致する参照画像ブロックを探索する際の範囲を表している。この例の場合は、図５（ｂ）の予測対象画像ブロック中多くを閉める「Ｂ」とマークされた自動車の後部窓は、図５（ａ）に示される探索範囲の右最端部に含まれていることに注意されたい。
【００２６】
図６は、Ｋｏｇａらによって発表された三段探索と呼ばれるよく知られた簡略化動き予測方式を水平方向（−８〜＋８）、垂直方向（−８〜＋８）の探索範囲に適用して、図５で示された２つの連続する画像において動きベクトルが決定される様子を表している。動きベクトルの水平、垂直成分の符号は、時間的に前の画像の右側および下側から予測する場合を正とする。図中▲１▼で表現される第一段では、中央をゼロベクトルとして、水平方向４画素、垂直方向４画素おきの解像度で９箇所探索点を設けその中で最も予測対象画像ブロックと一致する参照画像ブロックを探索する。図６では、黒く塗りつぶされた▲１▼が探索の結果選ばれた探索点である。第二段では、第一段で求められた探索点の周囲を水平方向２画素、垂直方向２画素おきの解像度で同様に探索を行う。黒く塗りつぶされた▲２▼が探索結果である。第三段では、第二段で求められた探索点の周囲をさらに水平方向１画素、垂直方向１画素おきの解像度で同様に探索を行い、最も予測対象画像ブロックと一致する参照画像ブロックとして座標（水平７，垂直２）の探索点が選ばれている。この段階で動きベクトルが決定され、図の中央から黒く塗りつぶされた▲３▼へ延びる矢印で表されている。
【００２７】
ここで説明した図５で示された連続する画像に対して通常の動き補償予測部１０３が行う簡略化した動き予測方法では、最終的に得られた動きベクトルはもっとも精度が高い予測結果である探索範囲の右最端部までは達しておらず、その分予測精度が低くなっていることに注意されたい。
【００２８】
次に、撮影モードに応じて変更される制御部１１３の制御により動き補償予測部１０３が行う簡略化した動き予測方法について図７、図８を用いて説明する。
【００２９】
撮影者により撮影開始が指示されると（Ｓ２０１）、制御部１１３は符号化モード選択部１１４に設定されている符号化モードを調べる（Ｓ２０２）。符号化モードが動画符号化モードであった場合は撮影モード選択部１１２に設定されている撮影モードを調べ、それ以外の場合は終了する（Ｓ２０３）。撮影モードがスポーツモードであった場合は、簡略化した動き予測方式で段階的に行われる探索の際に用いられるいくつかの探索点同士の水平方向距離を拡張するように動き補償予測部１０３を制御し（Ｓ２０４）、動き予測をして（Ｓ２０５）終了する。
【００３０】
図８は、図６の例と同様に図５に示された動画シーケンス中の２つの連続する画像に対して、やはりＫｏｇａらの三段探索を水平方向（−８〜＋８）、垂直方向（−８〜＋８）の探索範囲に適用して、動きベクトルが決定される様子を表しているが、第一段での探索点位置が図６とは異なる。図８では第一段で適用される９箇所の探索点の内、６点はその座標が水平方向へ１画素分拡張されていることに注意されたい。図６と図８の各段階での探索結果比較を表１に示す。
【００３１】
【表１】

【００３２】
表１では、垂直成分に関しては各段階で違いは見られないが、水平成分に関しては各段階で異なる探索点が選ばれているのが分かる。この結果より、図５で示された連続する２つの画像に対して、撮影モードに応じて変更される制御部１１３の制御により動き補償予測部１０３が行う簡略化した動き予測方法では、最終的に得られた動きベクトルはもっとも精度が高い予測結果である探索範囲の右最端部に達しており、図６において通常の動き予測方法により得られた動きベクトルよりも精度の高い予測が行われたことに注意されたい。
【００３３】
なお、本実施例では、三段探索中の第一段においてのみ撮影モードに応じて探索点の水平方向への拡張を行ったが、本発明は第二段および第三段において撮影モードに応じて探索点の水平方向への拡張を行ってもよい。
【００３４】
また、本実施例では、簡略化された動き予測方法としてＫｏｇａらの三段探索を用いて、撮影モードに応じて探索点の水平方向への拡張を行うことを説明してきたが、本発明はその他の簡略化された動き予測方法においてもその効果を発揮できる。
【００３５】
［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００３６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３８】
上記実施例では、水平方向に被写体が動いている場合に、水平方向に探索範囲を拡張したが、方向は水平方向に限定されず、例えば、垂直方向、斜め方向であってもよい。垂直方向の例としては、垂直方向に被写体が動いている場合に垂直方向に探索範囲を拡張する。また、探索点間の距離を拡張する方向も同様に、水平方向に限定されず、例えば垂直方向であってもよい。
【００３９】
また、上記実施例では、撮影者の意図が反映された符号化処理を行うために各種撮影モードに応じて符号化処理を変更するので、その結果として画質を向上させたり、記録される符号量を少なくし記録時間の長時間化を図ったりする効果がある。
【００４０】
【発明の効果】
以上説明から明らかなように、本発明では、撮影モードに応じて、動き予測のための探索範囲を変更するので、従来より精度のよい動き予測が行える。
【図面の簡単な説明】
【図１】本発明を適用した画像符号化装置の実施形態を表わすブロック図である。
【図２】通常、動き補償予測部１０３が行う動き予測方法を表わす図である。
【図３】撮影モードに応じて制御部１１３が動き補償予測部１０３に行う制御の手順を表すフローチャートである。
【図４】撮影モードに応じて変更される制御部１１３の制御により動き補償予測部１０３が行う動き予測方法を表わす図である。
【図５】通常、動き補償予測部１０３が行う簡略化した動き予測方法を適用する動画シーケンス中の２つの連続する画像を表した図である。
【図６】通常、動き補償予測部１０３が行う簡略化した動き予測方法を表わす図である。
【図７】撮影モードに応じて制御部１１３が動き補償予測部１０３に行う制御の手順を表すフローチャートである。
【図８】撮影モードに応じて変更される制御部１１３の制御により動き補償予測部１０３が行う簡略化した動き予測方法を表わす図である。
【図９】従来の技術を用いた画像符号化装置を表すブロック図である。

Claims (9)

1. 撮像された動画像を画面内でブロックに分割し、分割された画像ブロックを入力する画像入力手段と、
   前記動画像の撮影モードを入力する撮影モード入力手段と、
   前記画像ブロックと相関の高い参照画像ブロックを探索する動き予測手段と、前記撮影モードに応じて、動き予測のための探索範囲を変更することを特徴とする画像符号化装置。
2. 前記撮影モードは、第１の撮影モードと所定方向に移動する被写体を撮影する第２の撮影モードを有し、
   前記撮影モード入力手段に前記第２の撮影モードが入力された場合、前記第１の撮影モードが入力された場合より、前記動き予測手段の探索範囲を前記所定方向に拡張することを特徴とする請求項１に記載の画像符号化装置。
3. 前記動き予測手段は、所定数の探索点を探索して前記画像ブロックと相関の高い参照画像ブロックを探索するものであり、前記撮影モードに応じて、前記探索点間の距離を変更することを特徴とする請求項１に記載の画像符号化装置。
4. 第１の撮影モードが入力された場合の探索範囲と、第２の撮影モードが入力された場合の探索範囲は同じであることを特徴とする請求項２に記載の画像符号化装置。
5. 撮像された動画像を画面内でブロックに分割し、分割された画像ブロックを入力する画像入力工程と、
   前記動画像の撮影モードを入力する撮影モード入力工程と、
   前記画像ブロックと相関の高い参照画像ブロックを探索する動き予測工程と、前記撮影モードに応じて、動き予測のための探索範囲を変更することを特徴とする画像符号化方法。
6. 前記撮影モードは、第１の撮影モードと所定方向に移動する被写体を撮影する第２の撮影モードを有し、
   前記撮影モード入力手段に前記第２の撮影モードが入力された場合、前記第１の撮影モードが入力された場合より、前記動き予測手段の探索範囲を前記所定方向に拡張することを特徴とする請求項１に記載の画像符号化方法。
7. 前記動き予測工程は、所定数の探索点を探索して前記画像ブロックと相関の高い参照画像ブロックを探索するものであり、前記撮影モードに応じて、前記探索点間の距離を変更することを特徴とする請求項１に記載の画像符号化方法。
8. 第１の撮影モードが入力された場合の探索範囲と、第２の撮影モードが入力された場合の探索範囲は同じであることを特徴とする請求項２に記載の画像符号化方法。
9. 請求項６〜９のいずれか１項に記載の画像符号化方法を実行するコンピュータプログラム。

Images