JP2006197005A - 画像符号化装置および符号化方法 - Google Patents

Abstract

【課題】
従来、画像全体に対して均一に符号量を割り当てた画像符号化などが行われてきたが、この手法においては、良好な画質を保持しつつ、画像の圧縮率を高めることはできない。
【解決手段】
本発明は、かかる実情に鑑み、撮像装置から取得した撮像制御情報に基づいて映像信号の符号化制御を行う画像符号化装置である。撮像制御情報としては、輝度情報の他、焦点制御のために用いる焦点制御情報や、合焦の程度を示す情報である合焦評価情報などを用いる。このとき、映像信号が構成する一画面内の位置情報と、撮像制御情報とを関連付けた情報に基づいて符号化制御を行うことで、観測者が注目する部分を的確に把握し、注目部分は細かく量子化する一方、注目部分以外の箇所は粗く量子化するなどして符号化を行うことにより、見かけの画質を向上させることができる。
【選択図】 図２

Description

本発明は、画像符号化装置および符号化方法に関するものである。

従来、一画面内の全マクロブロックに対して均一に符号量を割り当てた画像符号化や、画面全体で均一の解像度になるように符号量制御を行った上での画像符号化が行われてきた。

一方、符号化画像を復号化した場合に観測者が注目しやすい画像部分の画質を向上させることで、主観的な画質の向上を図る手法が提案されている（特許文献１参照）。当該映像圧縮記録装置は、画像のフレーム内の動きベクトルを算出し、算出された値に基づいて、動きの大きな部分は高周波成分を抑えて符号化し、逆に動きの小さな部分は解像度の確保に備えて高周波成分を削減せず符号化する手法を用いている。
特開２００１−２６８５８０号公報

しかしながら、画像全体に対して均一の処理を行う手法においては、良好な画質を保持しつつ、画像の圧縮率を高めることはできない。

また、画像のフレーム内の動きベクトルに基づいて観測者が注目しやすい画像部分の座標を検出し、画質を向上させる手法においては、必ずしも動きベクトルの大きな箇所が観測者の注目する箇所と一致するとは限らないことから、画質向上効果が得られない可能性がある。

本発明は、かかる実情に鑑み、撮像装置から取得した撮像制御情報に基づいて映像信号の符号化制御を行う画像符号化装置である。撮像制御情報としては、輝度情報の他、焦点制御のために用いる焦点制御情報や、合焦の程度を示す情報である合焦評価情報などを用いる。輝度情報に基づいて映像信号の符号化制御を行う場合、オートフォーカスのピントが合っていないときには画像のコントラストが下がる性質を利用し、隣接する画素の輝度の差異が少ない箇所は、観測者が注目する部分ではないと判断することができる。観測者が注目する部分は細かく量子化する一方、観測者が注目する部分以外の箇所は粗く量子化するなどして符号化を行うことにより、見かけの画質を向上させることができる。このように符号化の柔軟な制御を可能とすることで、結果的に高画質と高効率を両立する良好な符号化を実現できる。

また、撮像装置が映像信号を取得する際に、撮像制御情報として、焦点合わせのために用いるウォブリング制御情報や、撮像制御情報の経時変化情報を取得し、これらに基づいて符号化制御を行うとしてもよい。さらに、映像信号が構成する一画面内の位置情報と、撮像制御情報とを関連付けた位置関連付撮像制御情報に基づいて符号化制御を行うとしてもよい。加えて、位置関連付撮像制御情報に、前記一画面内の位置情報に応じて重み付けを行い、その結果得られる第二位置関連付撮像制御情報に基づいて符号化制御を行うとしてもよい。他方、撮像制御情報に対してフィルタ処理を行い、その結果得られるフィルタ済撮像制御情報に基づいて符号化制御を行うとしてもよい。

以上、説明したように本件発明のいずれか一又は二以上の発明に係る画像符号化装置は、撮像装置から取得した撮像制御情報に基づいて映像信号の符号化制御を行うことで、符号化の柔軟な制御を可能とすることで、結果的に高画質と高効率を両立する良好な符号化を実現できる。撮像制御情報として、焦点制御情報や、合焦評価情報に基づいて映像信号の符号化制御を行う場合には、ピントの合焦の程度を即座に認識でき、観測者が注目する部分かどうかの判断を容易に行うことができる。

また、撮像制御情報として、ウォブリング制御情報に基づいて映像信号の符号化制御を行う場合には、ウォブリング処理結果に基づいてもピントが合っていない箇所は、観測者が注目する部分ではないとの判断ができる。さらに、ウォブリング処理前後における経時変化情報に基づいて映像信号の符号化制御を行う場合には、時間を経ることにより生じた撮像制御情報の差分の大小によって、観測者が注目する部分であるか否かを容易に判断できる。また、位置関連付撮像制御情報に基づいて映像信号の符号化制御を行う場合には、観測者が注目する部分であるか否かについて、画面上の部分ごとに的確に判断することができる。加えて、位置関連付撮像制御情報に、重み付けを行った結果得られる第二位置関連付撮像制御情報に基づいて符号化制御を行う場合には、一般に観測者が注目しがちな画面中央部分について重み付けを行うことにより、的確に符号化制御が行える。他方、撮像制御情報に対してフィルタ処理を行った結果得られるフィルタ済撮像制御情報に基づいて符号化制御を行う場合には、ノイズ等を除去することができ、より正確な符号化制御処理を行うことが期待できる。

以下に、各発明を実施するための最良の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。

実施形態１は、主に請求項１、９、１１などについて説明する。 実施形態２は、主に請求項２、１０などについて説明する。 実施形態３は、主に請求項３などについて説明する。 実施形態４は、主に請求項４などについて説明する。 実施形態５は、主に請求項５などについて説明する。 実施形態６は、主に請求項６などについて説明する。 実施形態７は、主に請求項７などについて説明する。 実施形態８は、主に請求項８などについて説明する。

<<実施形態１>>

<実施形態１：概要> 実施形態１について説明する。本実施形態は、撮像装置から取得した撮像制御情報に基づいて映像信号の符号化制御を行う画像符号化装置である。

図１は、本実施形態の概念の一例を示すものである。本実施形態の画像符号化装置は、映像を撮影、記録、再生等できる。今、画像符号化装置で、猫を撮影している場面を図示した。まず、撮像装置から符号化前の映像信号を取得する（１）。被写体である猫の画像は、レンズを介してＣＣＤなどの撮像素子によって、映像信号に変換される。次に、映像信号と関連付けて撮像装置から撮像制御情報を取得する（２）。撮像制御情報とは、輝度、色差などを制御するための情報が該当する。これらの情報は、映像信号を処理する回路などから出力されることが想定される。最後に、取得した撮像制御情報に基づいて映像信号の符号化制御を行う（３）。映像信号は、離散コサイン変換（ＤＣＴ）処理、量子化処理、可変長符号化処理などを経て符号化される。

<実施形態１：構成> 本実施形態での機能ブロックの一例を図２に示した。 図２に示す本実施形態の「画像符号化装置」（０２００）は、「撮像装置」（０２０１）と、「映像信号取得部」（０２０２）と、「撮像制御情報取得部」（０２０３）と、「符号化制御部」（０２０４）を有する。

本件発明の構成要素である各部は、ハードウエア、ソフトウエア、ハードウエアとソフトウエアの両者、のいずれかによって構成される。たとえば、これらを実現する一例として、コンピュータを利用する場合には、ＣＰＵ、メモリ、バス、インターフェイス、周辺装置などから構成されるハードウエアと、これらのハードウエア上にて実行可能なソフトウエアを挙げることができる。 具体的には、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェイスを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される。（本明細書の全体を通じて同様である。）

「画像符号化装置」（０２００）は、映像を撮影、記録、再生等できる装置であり、具体的には、ビデオカメラ、デジタルカメラ、カメラ機能付携帯電話などが該当する。

「撮像装置」（０２０１）とは、被写体の光学像を電気信号に変換するための一連の処理に用いる装置一般をいう。撮像装置は、具体的には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）などの撮像素子、映像信号処理回路などが該当する。被写体の画像は、撮像素子に記憶され、映像信号（電気信号）に変換される。この映像信号が映像信号処理回路に入力され、後述する撮像制御情報が出力される。

「映像信号取得部」（０２０２）は、撮像装置（０２０１）から符号化前の映像信号を取得する。撮像装置にて被写体の画像が変換されてできた映像信号を取得する。

「撮像制御情報取得部」（０２０３）は、前記映像信号と関連付けて前記撮像装置（０２０１）から撮像制御情報を取得する。「撮像制御情報」とは、撮像制御を行うための情報であり、撮像した映像信号の輝度、色差などを制御するための情報や、ピントを調整制御するための情報、撮影方向を制御するための情報、静止画・動画の別を示す情報、複数の撮像装置を備えている場合に、映像信号をいずれの撮像装置から取得するものであるかを制御するための情報などが該当する。なお、輝度情報は、映像信号の明るさの成分のみに関する情報である。また、色差情報は、ＲＧＢの３つの色の信号の中から輝度信号に含まれる明るさの成分を除いた色の強さや種類を表す情報である。

その他、撮像装置が映像信号を取得する際の焦点制御のために用いる情報や、合焦の程度を示す情報などを含むとしてもよい。なお、これらの情報については、実施形態２以降で詳述する。

「符号化制御部」（０２０４）は、前記撮像制御情報取得部（０２０３）にて取得した撮像制御情報に基づいて前記映像信号の符号化制御を行う。映像信号は、離散コサイン変換（ＤＣＴ）処理、量子化処理、可変長符号化処理などを経て符号化される。離散コサイン変換（ＤＣＴ）処理は、入力である映像信号を、周波数成分を示すＤＣＴ係数に変換する処理である。隣接する画素は、その輝度に類似性があることから、映像信号のうち輝度信号の差分のみをＤＣＴ処理することで、画像の圧縮率を上げることができる。次に、量子化処理は、連続した数値を不連続な代表値に変える処理である。この量子化処理により、ＤＣＴ係数の取りうる状態数を削減することができる。また、可変長符号化処理は、出現頻度の高い量子化値に短い符号を当てることで効率よく符号化を行う処理である。

また、撮像制御情報に基づく映像信号の符号化制御の一例としては、撮像制御情報に含まれる輝度制御情報などに基づいた符号化処理が行われることが想定される。オートフォーカス機構において、ピントが合っていないときには画像のコントラストが下がることから、隣接する画素の輝度の差異が少ない箇所は、ピントが合っていない箇所であり、観測者が注目する部分ではないといえる。したがって、観測者が注目する部分については、ＤＣＴ係数を細かく量子化する一方、観測者が注目する部分以外の箇所はＤＣＴ係数を粗く量子化するなどして符号化を行うことにより、見かけの画質を向上させることができ、効率的である。あるいは、観測者が注目する部分は符号量の割り当てを多くする一方、観測者が注目する部分以外の箇所は符号量の割り当てを少なくするなどして符号化を行うこともできる。また、符号量は撮像制御情報などに応じて段階的に割り当てるとしてもよいし、所定の割り当て関数などに基づいて連続的に増減させるとしてもよい。

また、その他の例として、撮像制御情報に含まれる撮影方向を制御する情報に基づいた符号化処理が行われる場合には、一定期間内において最も撮影頻度の高い被写体については、密な符号化を行う手法などが考えられる。また、複数の撮像装置を備えている状況下において、映像信号をいずれの撮像装置から取得するものであるかを制御するための情報に基づいた符号化処理が行われる場合には、頻度が高い撮像装置からの映像信号については密な符号化を行う手法などが考えられる。

<実施形態１：処理の流れ> 図３は、実施形態１での処理の流れの一例を示したものである。まず、撮像装置から符号化前の映像信号を取得する（映像信号取得ステップ Ｓ０３０１）次に、映像信号取得ステップ（Ｓ０３０１）にて取得された映像信号と関連付けて前記撮像装置から撮像制御情報を取得する（撮像制御情報取得ステップ Ｓ０３０２）。最後に、撮像制御情報取得ステップ（Ｓ０３０２）にて取得した撮像制御情報に基づいて前記映像信号の符号化制御を行う（符号化制御ステップ Ｓ０３０３）。

以上の処理は、計算機に実行させるためのプログラムで実行することができ、また、このプログラムを計算機によって読取り可能な記録媒体に記録することができる。（本明細書の全体を通して同様である。）

<実施形態１：効果> 本実施形態は、撮像装置から取得した撮像制御情報に基づいて映像信号の符号化制御を行う画像符号化装置である。撮像制御情報に含まれる輝度情報などに基づいて映像信号の符号化制御を行う場合、オートフォーカスのピントが合っていないときには画像のコントラストが下がる性質を利用し、隣接する画素の輝度の差異が少ない箇所は、ピントが合っていない箇所であり、観測者が注目する部分ではないと判断することができる。観測者が注目する部分は細かく量子化する一方、観測者が注目する部分以外の箇所は粗く量子化するなどして符号化を行うことにより、見かけの画質を向上させることができる。このように符号化の柔軟な制御を可能とすることで、結果的に高画質と高効率を両立する良好な符号化を実現できる。

<<実施形態２>>

<実施形態２：概要> 実施形態２について説明する。本実施形態は、撮像装置が映像信号を取得する際に、撮像制御情報として、焦点制御のために用いる焦点制御情報を取得することに特徴を有する画像符号化装置である。

<実施形態２：構成> 本実施形態での機能ブロックの一例を図４に示した。 図４に示す本実施形態の「画像符号化装置」（０４００）は、「撮像装置」（０４０１）と、「映像信号取得部」（０４０２）と、「撮像制御情報取得部」（０４０３）と、「符号化制御部」（０４０４）を有し、さらに、撮像制御情報取得部（０４０３）は、「焦点制御情報取得手段」（０４０５）を有する。

「焦点制御情報取得手段」（０４０５）は、前記撮像装置（０４０１）が映像信号を取得する際に焦点制御情報を取得する。このとき、焦点制御情報は映像信号と関連付けて取得される。「焦点制御情報」は、焦点制御のために用いる撮像制御情報である。レンズの駆動制御のための情報や、モータの駆動制御のための情報、焦点合わせ位置の移動制御のための情報などが該当する。その他、映像信号（特に輝度信号）をハイパスフィルタ（ＨＰＦ）に通し、抽出できる所定の空間周波数以上の高周波成分を積算回路に入力して時間的に積分することで算出することができる値も、焦点制御情報を構成する情報の一例である。なお、得られた焦点制御情報に基づいて、ピントが合うようにレンズを前後に微小に移動させる制御がなされた場合には、逐次そのレンズ位置での焦点制御情報が算出される。

「符号化制御部」（０４０４）は、前記焦点制御情報取得手段（０４０５）にて取得した焦点制御情報に基づいて前記映像信号の符号化制御を行う。オートフォーカス機構における焦点合わせを行う手法の一例として、実施形態１にてコントラスト方式について説明したが、その他の手法としては、被写体に焦点が合い画像の輪郭が鮮明になるほど映像信号の微分値（高周波成分）が大きくなるという性質を利用したエッジ検出方式などがある。例えば、ピントが合っていないときには焦点制御情報に含まれる焦点評価値が大きくなることから、隣接する画素の焦点評価値が小さい箇所は、ピントが合っていない箇所であり、観測者が注目する部分ではないといえる。したがって、観測者が注目する部分はＤＣＴ係数を細かく量子化する一方、観測者が注目する部分以外の箇所はＤＣＴ係数を粗く量子化するなどして符号化を行うことにより、見かけの画質を向上させることができる。

その他各部の処理については、実施形態１と同様である。

<実施形態２：処理の流れ> 図５は、実施形態２での処理の流れの一例を示したものである。まず、撮像装置から符号化前の映像信号を取得する（映像信号取得ステップ Ｓ０５０１）次に、映像信号取得ステップ（Ｓ０５０１）にて取得された映像信号と関連付けて前記撮像装置から焦点制御のために用いる撮像制御情報である焦点制御情報を取得する（焦点制御情報取得ステップ Ｓ０５０２）。最後に、焦点制御情報取得ステップ（Ｓ０５０２）にて取得した焦点制御情報に基づいて前記映像信号の符号化制御を行う（符号化制御ステップ Ｓ０５０３）。

<実施形態２：効果> 本実施形態は、撮像装置が映像信号を取得する際に、撮像制御情報として、焦点制御のために用いる焦点制御情報を取得することに特徴を有する画像符号化装置である。焦点制御情報に基づいて映像信号の符号化制御を行う場合、オートフォーカスのピントが合っていないときには、焦点制御情報に含まれる焦点評価値などが下がる性質を利用し、隣接する画素の焦点評価値が小さい箇所はピントが合っていない箇所であり、観測者が注目する部分ではないと判断することができる。観測者が注目する部分は細かく量子化する一方、観測者が注目する部分以外の箇所は粗く量子化するなどして符号化を行うことにより、見かけの画質を向上させることができる。このように様々な符号化制御を可能とすることで、結果的に高画質と高効率を両立する良好な符号化を実現できる。

<<実施形態３>>

<実施形態３：概要> 実施形態３について説明する。本実施形態は、焦点制御情報に合焦の程度を示す情報である合焦評価情報を含むことに特徴を有する画像符号化装置である。

<実施形態３：構成> 本実施形態での機能ブロックは図４と同様である。 図４に示す「画像符号化装置」（０４００）は、「撮像装置」（０４０１）と、「映像信号取得部」（０４０２）と、「撮像制御情報取得部」（０４０３）と、「符号化制御部」（０４０４）を有し、さらに、撮像制御情報取得部（０４０３）は、「焦点制御情報取得手段」（０４０５）を有する。

「焦点制御情報取得手段」（０４０５）は、前記撮像装置（０４０１）が映像信号を取得する際に焦点制御情報を取得する。このとき、焦点制御情報は、合焦の程度を示す情報である合焦評価情報を含む。合焦評価情報は、焦点がずれた程度を複数の段階からなるレベルの大きさと対応させて表すことなどが想定される。合焦評価情報は、画像領域、あるいは、被写体に応じて算出されるとしてもよい。なお、得られた合焦評価情報に基づいて、ピントが合うようにレンズを前後に微小に移動させる制御がなされた場合には、逐次そのレンズ位置での合焦評価情報が算出される。

「符号化制御部」（０４０４）は、前記焦点制御情報取得手段（０４０５）にて取得した焦点制御情報に基づいて前記映像信号の符号化制御を行う。焦点制御情報に含まれる合焦評価情において、例えば、「０」の値の場合にはピントが完全に合っている状態であるとすると、合焦評価情が「０」以外の値、つまり、ピントが合っていないときには、観測者が注目する部分ではないといえる。したがって、観測者が注目する部分はＤＣＴ係数を細かく量子化する一方、観測者が注目する部分以外の箇所はＤＣＴ係数を粗く量子化するなどして符号化を行うことにより、見かけの画質を向上させることができる。

その他各部の処理は、実施形態２と同様である。

<実施形態３：効果> 本実施形態は、焦点制御情報に合焦の程度を示す情報である合焦評価情報を含むことに特徴を有する画像符号化装置である。合焦評価情報により合焦の程度を認識できるため、オートフォーカスのピントが合っていない箇所は、観測者が注目する部分ではないとの判断が容易にできることになる。

<<実施形態４>>

<実施形態４：概要> 実施形態４について説明する。本実施形態は、撮像装置が映像信号を取得する際に、撮像制御情報として、焦点合わせのために用いるウォブリング制御情報を取得することに特徴を有する画像符号化装置である。

<実施形態４：構成> 本実施形態での機能ブロックの一例を図６に示した。 図６に示す本実施形態の「画像符号化装置」（０６００）は、「撮像装置」（０６０１）と、「映像信号取得部」（０６０２）と、「撮像制御情報取得部」（０６０３）と、「符号化制御部」（０６０４）を有し、さらに、撮像制御情報取得部（０６０３）は、「焦点制御情報取得手段」（０６０５）と、「ウォブリング制御情報取得手段」（０６０６）と、を有する。

「ウォブリング制御情報取得手段」（０６０６）は、前記撮像装置（０６０１）が映像信号を取得する際にウォブリング制御情報を取得する。「ウォブリング制御情報」は、焦点合わせのために用いる撮像制御情報である。ウォブリングとは、ピントが合うようにレンズを前後に移動させる制御のことをいう。まずは、焦点制御情報を構成する映像信号の微分値が増加する方向にレンズを高速に動かした後、正確に焦点が合うようにレンズを前後に微小に移動させる。焦点が合うまで、このような処理を繰り返し、レンズ位置を決定する。ウォブリング制御情報は、ウォブリング処理に伴い必要となる情報、例えば、映像信号の微分値が増加する方向や、レンズ位置などの情報や、ウォブリング処理の結果情報などが該当する。被写体の画像自体は幅広い周波数成分を有しているが、レンズが光学的なローパスフィルタ（ＬＰＦ）として作用するため、映像信号にはレンズが合焦点の位置から外れるほど、高周波成分の欠落したぼやけた画像となる。

「符号化制御部」（０６０４）は、前記焦点制御情報取得手段（０６０５）にて取得した焦点制御情報と、前記ウォブリング制御情報取得手段（０６０６）にて取得したウォブリング制御情報と、に基づいて前記映像信号の符号化制御を行う。ウォブリング制御情報に含まれるウォブリング処理の結果などの情報から、ピントが合っていないことが判断されるときには、観測者が注目する部分ではないといえる。したがって、観測者が注目する部分はＤＣＴ係数を細かく量子化する一方、観測者が注目する部分以外の箇所はＤＣＴ係数を粗く量子化するなどして符号化を行うことにより、見かけの画質を向上させることができる。また、先に焦点が合っていた被写体から別の被写体に焦点合わせの対象を変えたとのウォブリング結果がある場合には、後で焦点を合わせた方の被写については、観測者が注目する部分であると判断できる。

その他各部の処理については、実施形態２、３と同様である。

<実施形態４：効果> 本実施形態は、撮像装置が映像信号を取得する際に、撮像制御情報として、焦点合わせのために用いるウォブリング制御情報を取得することに特徴を有する画像符号化装置である。ウォブリング処理結果に基づいてもオートフォーカスのピントが合っていない箇所は、観測者が注目する部分ではないとの判断が容易にできることになる。

<<実施形態５>>

<実施形態５：概要> 実施形態５について説明する。本実施形態は、撮像制御情報の経時変化情報に基づいて符号化制御を行うことに特徴を有する画像符号化装置である。

<実施形態５：構成> 本実施形態での機能ブロックの一例を図７に示した。 図７に示す本実施形態の「画像符号化装置」（０７００）は、「撮像装置」（０７０１）と、「映像信号取得部」（０７０２）と、「撮像制御情報取得部」（０７０３）と、「符号化制御部」（０７０４）を有し、さらに、符号化制御部（０７０４）は「経時変化情報取得手段」（０７０５）と、「経時変化情報依存符号化制御手段」（０７０６）と、を有する。ここでは、実施形態１の機能ブロックを元にした構成を示したが、他の実施形態を基本とする場合には、さらに構成要件が必要となる場合がある。

「経時変化情報取得手段」（０７０５）は、前記撮像制御情報取得部（０７０３）が取得した撮像制御情報に基づいて撮像制御情報の経時変化情報を取得する。経時変化情報は、ウォブリング処理前後における撮像制御情報の差分などが該当する。

「経時変化情報依存符号化制御手段」（０７０６）は、前記経時変化情報に基づいて前記符号化制御を行う。経時変化情報が大きい場合、つまりウォブリング処理前後における撮像制御情報の差分が大きい場合には、ウォブリング処理によってピントの照準が合わせられていることから、観測者が注目する部分であると推定できる。したがって、観測者が注目する部分はＤＣＴ係数を細かく量子化する一方、観測者が注目する部分以外の箇所はＤＣＴ係数を粗く量子化するなどして符号化を行うことにより、見かけの画質を向上させることができる。

その他各部の処理については、実施形態１から４と同様である。

<実施形態５：効果> 本実施形態は、撮像制御情報の経時変化情報に基づいて符号化制御を行うことに特徴を有する画像符号化装置である。経時変化情報、つまりウォブリング処理前後における撮像制御情報の差分の大小によって、観測者が注目する部分であるか否かを容易に判断することができることになる。

<<実施形態６>>

<実施形態６：概要> 実施形態６について説明する。本実施形態は、撮像装置から取得する撮像制御情報を、映像信号が構成する一画面内の位置情報と関連付けた位置関連付撮像制御情報を取得し、この位置関連付撮像制御情報に基づいて符号化制御を行うことに特徴を有する画像符号化装置である。

<実施形態６：構成> 本実施形態での機能ブロックの一例を図８に示した。 図８に示す本実施形態の「画像符号化装置」（０８００）は、「撮像装置」（０８０１）と、「映像信号取得部」（０８０２）と、「撮像制御情報取得部」（０８０３）と、「符号化制御部」（０８０４）を有し、さらに、撮像制御情報取得部（０８０３）は「位置関連付撮像制御情報取得手段」（０８０７）を有し、符号化制御部（０８０４）は「経時変化情報取得手段」（０８０５）と、「経時変化情報依存符号化制御手段」（０８０６）と、「位置関連付撮像制御情報依存符号化制御手段」（０８０８）と、を有する。

「位置関連付撮像制御情報取得手段」（０８０７）は、前記撮像装置から位置関連付撮像制御情報を取得する。「位置関連付撮像制御情報」は、撮像制御情報を、映像信号が構成する一画面内の位置情報と関連付けた情報である。図９は、位置関連付撮像制御情報の一例を示したものである。図では、画面を複数の部分に分割した場合において、各部分の撮像制御情報が、当該部分の位置情報と関連付けられている場面を示した。位置情報は、一画面内における位置を示す情報などが該当し、ここでは１ａから３ｃまでの識別情報で示した。また、位置情報と関連付けられる撮像制御情報として、図では合焦評価情報のみを示したが、焦点制御情報、ウォブリング制御情報などその他の情報が関連付けられることもある。

「位置関連付撮像制御情報依存符号化制御手段」（０８０８）は、前記位置関連付撮像制御情報取得手段（０８０７）にて取得した位置関連付撮像制御情報に基づいて符号化制御を行う。このとき、「経時変化情報取得手段」（０８０５）にて取得した経時変化情報も加味して符号化制御が行われる。位置関連付撮像制御情報から、撮像制御情報に関連付けられた位置情報で示される画面部分の経時変化情報が大きい場合、つまりウォブリング処理前後における撮像制御情報の差分が大きい場合には、ウォブリング処理によってピントの照準が合わせられていることから、観測者が注目する部分であると推定できる。

図９では、９つに分割した撮像画面の下に、前の処理にて取得した位置関連付撮像制御情報を模式的に示した。合焦評価情報は、値が小さいほど焦点が合っているものとすると、例えば、３ａの部分では、処理前後で合焦評価情報は１０のままであり、経時変化情報は０と示される。また、３ｂの部分では、処理前の合焦評価情報が０なのに対し、処理後に２へと変化することから、経時変化情報は＋２と示される。同様に、３ｃの部分は、処理前の合焦評価情報が４なのに対し、処理後に３に減少し、経時変化情報は−１と示される。このように各部分における経時変化情報の値の絶対値が大きい部分を観測者が注目する部分であるとし、ＤＣＴ係数を細かく量子化する一方、観測者が注目する部分以外の箇所はＤＣＴ係数を粗く量子化するなどして符号化を行うことにより、見かけの画質を向上させることができる。このとき、経時変化情報について所定の閾値などを設定しておき、これとの大小を比較して、どのように符号化を行うかを判断するとしてもよい。もちろん、観測者が注目する部分であるとの判断は、画面上の複数の部分について行ってもよい。図９では、９つに等分した例を示したが、分割数はこれに限定されることはなく、分割サイズが異なっていてもよい。

その他各部の処理については実施形態５と同様である。

<実施形態６：処理の流れ> 図１０は、実施形態６での処理の流れの一例を示したものである。まず、撮像装置から符号化前の映像信号を取得する（映像信号取得ステップ Ｓ１００１）。次に、映像信号取得ステップ（Ｓ１００１）にて取得された映像信号と関連付けて前記撮像装置から撮像制御情報を取得する（撮像制御情報取得ステップ Ｓ１００２）。また、前記撮像装置から取得する撮像制御情報を、映像信号が構成する一画面内の位置情報と関連付けた情報である位置関連付撮像制御情報を取得する（位置関連付撮像制御情報取得ステップ Ｓ１００３）。その次に、前記撮像制御情報取得ステップ（Ｓ１００２）にて取得した撮像制御情報に基づいて撮像制御情報の経時変化情報を取得する（経時変化情報取得ステップ Ｓ１００４）。さらに、経時変化情報を所定の値と比較し（経時変化情報比較ステップ Ｓ１００５）、所定の値より大きい場合には、位置関連付撮像制御情報と、経時変化情報とに基づいて、密な量子化、あるいは、多量の符号化量割り当てによる符号化を行う（密符号化制御ステップ Ｓ１００６）。他方、経時変化情報比較ステップ（Ｓ１００５）にて、経時変化情報が所定の値より小さい場合には、位置関連付撮像制御情報と、経時変化情報とに基づいて、疎な量子化、あるいは、少量の符号化量割り当てによる符号化を行う（疎符号化制御ステップ Ｓ１００７）

<実施形態６：効果> 本実施形態は、撮像装置から取得する撮像制御情報を、映像信号が構成する一画面内の位置情報と関連付けた位置関連付撮像制御情報を取得し、この位置関連付撮像制御情報に基づいて符号化制御を行うことに特徴を有する画像符号化装置である。観測者が注目する部分であるか否かについて、画面上の部分ごとに的確に判断することができることになる。

<<実施形態７>>

<実施形態７：概要> 実施形態７について説明する。本実施形態は、位置関連付撮像制御情報に、前記一画面内の位置情報に応じて重み付けを行い、その結果得られる情報である第二位置関連付撮像制御情報に基づいて符号化制御を行うことに特徴を有する画像符号化装置である。

<実施形態７：構成> 本実施形態での機能ブロックの一例を図１１に示した。 図１１に示す本実施形態の「画像符号化装置」（１１００）は、「撮像装置」（１１０１）と、「映像信号取得部」（１１０２）と、「撮像制御情報取得部」（１１０３）と、「符号化制御部」（１１０４）を有し、さらに、撮像制御情報取得部（１１０３）は「位置関連付撮像制御情報取得手段」（１１０７）を有し、符号化制御部（１１０４）は「経時変化情報取得手段」（１１０５）と、「経時変化情報依存符号化制御手段」（１１０６）と、「位置関連付撮像制御情報依存符号化制御手段」（１１０８）と、さらに、「重み付け手段」（１１０９）と、「第二位置関連付撮像制御情報依存符号化制御手段」（１１１０）を有する。

「重み付け手段」（１１０９）は、前記位置関連付撮像制御情報取得手段（１１０８）にて取得した位置関連付撮像制御情報に、前記一画面内の位置情報に応じて重み付けを行う。重み付け手段は、撮像画面においては、一般に画面中央部分に注目されることが多いため、画面中央部分について重み付けを行うことを想定したものである。例えば、図９にて２ｂの位置情報に関連付けられる撮像制御情報は２倍とする重み付けを行う場合などが該当する。

「第二位置関連付撮像制御情報依存符号化制御手段」（１１１０）は、第二位置関連付撮像制御情報に基づいて前記符号化制御を行う。「第二位置関連付撮像制御情報」は、前記重み付け手段（１１０９）の重み付けの結果得られる情報である。先の図９を用いた例では、２ｂの位置情報に関連付けられる撮像制御情報を２倍にした値が第二位置関連付撮像制御情報となる。この第二位置関連付撮像制御情報も踏まえて、撮像制御情報に関連付けられた位置情報で示される画面部分の経時変化情報が大きい場合、つまりウォブリング処理前後における撮像制御情報の差分が大きい場合には、ウォブリング処理によってピントの照準が合わせられていることから、観測者が注目する部分であると推定できる。

その他各部の処理については実施形態６と同様である。

<実施形態７：処理の流れ> 図１２は、実施形態７での処理の流れの一例を示したものである。まず、撮像装置から符号化前の映像信号を取得する（映像信号取得ステップ Ｓ１２０１）。次に、映像信号取得ステップ（Ｓ１２０１）にて取得された映像信号と関連付けて前記撮像装置から撮像制御情報と、位置関連付撮像制御情報を取得する（撮像制御情報取得ステップ Ｓ１２０２）。その次に、前記撮像制御情報取得ステップ（Ｓ１２０２）にて取得した撮像制御情報に基づいて撮像制御情報の経時変化情報を取得する（経時変化情報取得ステップ Ｓ１２０３）。さらに、撮像制御情報取得ステップ（Ｓ１２０２）にて取得した位置関連付撮像制御情報に、前記一画面内の位置情報に応じて重み付けを行う（重み付けステップ Ｓ１２０４）。また、経時変化情報を所定の値と比較し（経時変化情報比較ステップ Ｓ１２０５）、所定の値より大きい場合には、前記重み付けステップ（Ｓ１２０４）の重み付けの結果得られる情報である第二位置関連付撮像制御情報と、位置関連付撮像制御情報と、経時変化情報とに基づいて、密な量子化、あるいは、多量の符号化量割り当てによる符号化を行う（密符号化制御ステップ Ｓ１２０６）。他方、経時変化情報比較ステップ（Ｓ１２０５）にて、経時変化情報が所定の値より小さい場合には、第二位置関連付撮像制御情報と、位置関連付撮像制御情報と、経時変化情報とに基づいて、疎な量子化、あるいは、少量の符号化量割り当てによる符号化を行う（疎符号化制御ステップ Ｓ１２０７）。

<実施形態７：効果> 本実施形態は、位置関連付撮像制御情報に、前記一画面内の位置情報に応じて重み付けを行い、その結果得られる情報である第二位置関連付撮像制御情報に基づいて符号化制御を行うことに特徴を有する画像符号化装置である。一般に観測者は画面中央部分に注目することが多いため、画面中央部分について重み付けを行うこととし、観測者が注目する部分について的確に符号化することができる。

<<実施形態８>>

<実施形態８：概要> 実施形態８について説明する。本実施形態は、撮像制御情報に対してフィルタ処理を行い、その結果得られるフィルタ済撮像制御情報に基づいて符号化制御を行うことに特徴を有する画像符号化装置である。

<実施形態８：構成> 本実施形態での機能ブロックの一例を図１３に示した。 図１３に示す本実施形態の「画像符号化装置」（１３００）は、「撮像装置」（１３０１）と、「映像信号取得部」（１３０２）と、「撮像制御情報取得部」（１３０３）と、「符号化制御部」（１３０４）を有し、さらに、符号化制御部（１３０４）は、「フィルタ処理手段」（１３０５）と、「フィルタ済撮像制御情報取得手段」（１３０６）と、「フィルタ済撮像制御情報依存符号化制御手段」（１３０７）を有する。ここでは、実施形態１の機能ブロックを元にした構成を示したが、他の実施形態を基本とする場合には、さらに構成要件が必要となる場合がある。

「フィルタ処理手段」（１３０５）は、前記撮像制御情報に対してフィルタ処理を行う。フィルタ処理の方法としては、ローパスフィルタ（ＬＰＳ）のような急激な時間的変化を除去するものや、時間的に連続する前後において規定上のレベル差がある場合のみ、その撮像制御情報に含まれる合焦点評価情報を差分の算出に使用しないようにするものや、合焦点評価情報の差分の算出にヒステリシス特性を持たせるものなどが考えられる。撮像制御情報から、撮影時のノイズ、画面の手ぶれ、撮影場所の光量変化などを除去することができることに加え、符号化に不要な情報を省き、効率的に符号化を行うことを目的とするものである。

「フィルタ済撮像制御情報取得手段」（１３０６）は、前記フィルタ処理の結果得られるフィルタ済撮像制御情報を取得する。フィルタ処理によって、撮像制御情報からノイズなどが除去されたフィルタ済撮像制御情報を取得できる。

「フィルタ済撮像制御情報依存符号化制御手段」（１３０７）は、前記フィルタ済撮像制御情報に基づいて符号化制御を行う。フィルタ済撮像制御情報の輝度情報などに基づいて、ピントが合っていないときには画像のコントラストが下がることから、隣接する画素の輝度の差異が少ない箇所は、ピントが合っていない箇所であり、観測者が注目する部分ではないと判断する。したがって、観測者が注目する部分はＤＣＴ係数を細かく量子化する一方、観測者が注目する部分以外の箇所はＤＣＴ係数を粗く量子化するなどして符号化を行うことにより、見かけの画質を向上させることができる。フィルタ済撮像制御情報は、ノイズなどが除去された撮像制御情報であるため、より正確な符号化処理が可能となる。

<実施形態８：処理の流れ> 図１４は、実施形態８での処理の流れの一例を示したものである。まず、撮像装置から符号化前の映像信号を取得する（映像信号取得ステップ Ｓ１４０１）次に、映像信号取得ステップ（Ｓ１４０１）にて取得された映像信号と関連付けて前記撮像装置から撮像制御情報を取得する（撮像制御情報取得ステップ Ｓ１４０２）。その次に、撮像制御情報取得ステップ（Ｓ１４０２）にて取得した撮像制御情報に対してフィルタ処理を行う（フィルタ処理ステップ Ｓ１４０３）。さらに、フィルタ処理の結果得られるフィルタ済撮像制御情報を取得する（フィルタ済撮像制御情報取得ステップ Ｓ１４０４）。最後に、フィルタ済撮像制御情報に基づいて前記映像信号の符号化制御を行う（符号化制御ステップ Ｓ１４０５）。

<実施形態８：効果> 本実施形態は、撮像制御情報に対してフィルタ処理を行い、その結果得られるフィルタ済撮像制御情報に基づいて符号化制御を行うことに特徴を有する画像符号化装置である。フィルタ処理を行うことで、ノイズ等を除去することができ、より正確な符号化制御処理を行うことが期待できる。また、符号化に不要な情報を省き、効率的に符号化を行うことができる。

実施形態１を説明するための概念図 実施形態１を説明するための機能ブロック図 実施形態１の処理の流れを説明する図 実施形態２を説明するための機能ブロック図 実施形態２の処理の流れを説明する図 実施形態４を説明するための機能ブロック図 実施形態５を説明するための機能ブロック図 実施形態６を説明するための機能ブロック図 実施形態６における位置関連付撮像制御情報を説明する図 実施形態６の処理の流れを説明する図 実施形態７を説明するための機能ブロック図 実施形態７の処理の流れを説明する図 実施形態８を説明するための機能ブロック図 実施形態８の処理の流れを説明する図

符号の説明

０２００ 画像符号化装置
０２０１ 映像信号取得部
０２０２ 撮像制御情報取得部
０２０３ 符号化制御部

Claims (11)

1. 撮像装置から符号化前の映像信号を取得する映像信号取得部と、
   前記映像信号と関連付けて前記撮像装置から撮像制御情報を取得する撮像制御情報取得部と、
   前記撮像制御情報取得部にて取得した撮像制御情報に基づいて前記映像信号の符号化制御を行う符号化制御部と、
   からなる画像符号化装置。
2. 前記撮像制御情報取得部は、前記撮像装置が映像信号を取得する際に焦点制御のために用いる撮像制御情報である焦点制御情報を取得する焦点制御情報取得手段を有する
   請求項１に記載の画像符号化装置。
3. 前記焦点制御情報は、合焦の程度を示す情報である合焦評価情報を含むことを特徴とする請求項２に記載の画像符号化装置。
4. 前記撮像制御情報取得部は、前記撮像装置が映像信号を取得する際に焦点合わせのために用いる撮像制御情報であるウォブリング制御情報を取得するウォブリング制御情報取得手段を有する請求項２又は３に記載の画像符号化装置。
5. 前記符号化制御部は、
   前記撮像制御情報取得部が取得した撮像制御情報に基づいて撮像制御情報の経時変化情報を取得する経時変化情報取得手段と、
   前記経時変化情報に基づいて前記符号化制御を行う経時変化情報依存符号化制御手段と、
   を有する請求項１から４のいずれか一に記載の画像符号化装置。
6. 前記撮像制御情報取得部は、
   前記撮像装置から取得する撮像制御情報を、映像信号が構成する一画面内の位置情報と関連付けた情報である位置関連付撮像制御情報を取得する位置関連付撮像制御情報取得手段を有し、
   前記符号化制御部は、
   前記位置関連付撮像制御情報取得手段にて取得した位置関連付撮像制御情報に基づいて符号化制御を行う位置関連付撮像制御情報依存符号化制御手段を有する請求項５に記載の画像符号化装置。
7. 前記符号化制御部は、
   前記位置関連付撮像制御情報取得手段にて取得した位置関連付撮像制御情報に、前記一画面内の位置情報に応じて重み付けを行う重み付け手段と、
   前記重み付け手段の重み付けの結果得られる情報である第二位置関連付撮像制御情報に基づいて前記符号化制御を行う第二位置関連付撮像制御情報依存符号化制御手段と、
   を有する請求項６に記載の画像符号化装置。
8. 前記符号化制御部は、
   前記撮像制御情報に対してフィルタ処理を行うフィルタ処理手段と、
   前記フィルタ処理の結果得られるフィルタ済撮像制御情報を取得するフィルタ済撮像制御情報取得手段と、
   前記フィルタ済撮像制御情報に基づいて符号化制御を行うフィルタ済撮像制御情報依存符号化制御手段と、
   を有する請求項１から７に記載のいずれか一の画像符号化装置。
9. 撮像装置から符号化前の映像信号を取得する映像信号取得ステップと、
   前記映像信号取得ステップにて取得された映像信号と関連付けて前記撮像装置から撮像制御情報を取得する撮像制御情報取得ステップと、
   前記撮像制御情報取得ステップにて取得した撮像制御情報に基づいて前記映像信号の符号化制御を行う符号化制御ステップと、
   からなる画像符号化方法。
10. 前記撮像制御情報取得ステップは、前記撮像装置が映像信号を取得する際に焦点制御のために用いる撮像制御情報である焦点制御情報を取得する焦点制御情報取得ステップである９に記載の画像符号化方法。
11. 撮像装置から符号化前の映像信号を取得する映像信号取得ステップと、
    前記映像信号取得ステップにて取得された映像信号と関連付けて前記撮像装置から撮像制御情報を取得する撮像制御情報取得ステップと、
    前記撮像制御情報取得ステップにて取得した撮像制御情報に基づいて前記映像信号の符号化制御を行う符号化制御ステップと、
    を含む画像符号化プログラムを格納した記録媒体。

Images