JP2006109060A - 画像符号化情報を利用した手ぶれ補正方法及び装置 - Google Patents

Abstract

【課題】 映像符号化ストリームに手ぶれ補正の情報を多重化する方式は、映像符号化ストリームを送信する場合に受信側に多重化されている手ぶれ補正情報を利用して手ぶれ補正表示する機能が備わっていない場合には、多重化されている手ぶれ補正情報が無駄な情報になってしまう。
【解決手段】 映像符号化装置で映像信号を映像符号化する過程あるいは映像符号化された映像符号化ストリームにおいて、映像符号化の画像符号化情報に基づいて手ぶれ補正情報を算出し、手ぶれ補正情報を映像符号化ストリームと別情報として保存する手段を備えることで、映像符号化ストリームの送信時に、手ぶれ補正データを送信するかしないかを選択できるにすることにより実現する。
【選択図】 図１

Description

本発明は、画像符号化情報を利用した手ぶれ補正方法及びこれを備えた映像処理装置に関する。

映像符号化装置と手ぶれ補正機能付のビデオカメラが一般家庭にも広く普及していきている。手ぶれ補正処理方法としては、光学式手ぶれ補正処理と、電子式手ぶれ補正処理とがある。光学式手ぶれ補正処理とは、センサでぶれを感知し、レンズユニットそのものを動かして手ぶれ補正を行うものである。電子式手ぶれ補正処理とは、画像を平行移動させるなどの画像処理によって手ぶれ補正を行うものである。一般には手ぶれ補正機能の効果は、光学式の方が高く画像劣化もないが、光学式の手ぶれ補正処理を搭載したレンズは通常のレンズより大きくなるという点がある。一方電子式手ぶれ補正処理は、ソフトウェア処理で手ぶれ補正処理を行うことが可能なため、リーズナブルで小型化に適した補正処理である。本発明は後者の電子式手ぶれ補正処理に関するものである。

ここで、画像の移動方向、移動量を検出してその移動量等から画像を平行移動させて手ぶれ補正を行う電子式手ぶれ補正処理方式においては、単に画像を平行移動させるのみでは、画像の端部に画像信号の存在しない部分が発生するので画像の存在しない領域を無くす必要がある。そのため、手ぶれ補正の際には、入力画像の切り出しあるいは、切り出してからさらに画像の拡大を行う処理が必要となる。この画像の切り出し及び拡大処理を行うためには、前提として常に手ぶれ検出を行う必要がある。そして、手ぶれが生じた場合には手ぶれ補正が可能な状態になっていなければ手ぶれ補正機能として実効性がない。よって、実際に手ぶれ補正が必要でない場合であっても、実質的には手ぶれ補正処理を行っていることになり、手ぶれ補正を行う必要がない画像についても、画像領域の狭小化や画像の解像度の低下が発生するという問題があった。この問題に対して、特許文献１では、撮像装置の映像から映像符号化装置で映像符号化ストリームを生成する過程で、映像符号化ストリームの情報を利用して手ぶれの補正情報を算出しその手ぶれ補正情報を映像符号化ストリームに多重化する。そして、映像符号化ストリームを再生する場合に、手ぶれ補正を行うか行わないかを選択することで手ぶれ補正の必要のない映像については、画像の切り出しや画像を切り出してから画像を拡大する処理をすることないため、手ぶれ補正処理に伴う画質劣化のない映像を再現できる方法を開示している。
特開平１１−９８５０９号公報

しかしながら、映像符号化ストリームに手ぶれ補正情報を多重化する方式は、映像処理装置等から手ぶれ補正情報が多重化されている映像符号化ストリームを送信する場合に、受信側の映像処理装置に当該多重化されている手ぶれ補正情報を利用して手ぶれ補正表示する機能が備わっていないと、多重化されている手ぶれ補正情報が無駄な情報になってしまう。また、映像符号化ストリームを送信できる情報量の制限がある場合において、手ぶれ補正情報を多重化したために情報量が大きくなったときには、映像符号化ストリームまでもが送信できなくなってしまう可能性がある。本発明は、このような課題に鑑みてなされたものであって、映像符号化ストリームの画像符号化情報を利用して手ぶれ補正情報を生成し、映像符号化ストリームと別情報として保存することで、手ぶれ補正情報を利用して手ぶれ補正表示できる映像符号化ストリームの復号化部を備えていない映像処理装置に対して無駄な情報を送信することを避けることができるようにすることを目的とする。また、手ぶれ補正情報を映像符号化ストリーム情報と別個に保存することにより手ぶれ補正情報が不要な場合には当該手ぶれ補正情報を利用しないため、映像符号化ストリーム情報の送受信時においける処理の効率化が期待できる。

本発明の映像処理装置は、映像信号を符号化する過程で生成される画像符号化のための情報である画像符号化情報を取得する画像符号化情報取得部と、前記画像符号化情報取得部にて取得された画像符号化情報に基づいて手ぶれ映像補正のための情報である第一補正情報を生成する第一補正情報生成部と、前記画像符号化情報を利用して映像符号化ストリーム情報を生成する映像符号化ストリーム情報生成部と、前記第一補正情報を前記映像符号化ストリーム情報とは別に保存する補正情報保存部と、を有する。映像処理装置において、映像信号を符号化する過程あるいは復号化する過程において、画像符号化情報に基づいて手ぶれ補正情報を算出し、手ぶれ補正情報を映像符号化ストリーム情報とは別情報として保存する手段を備えることで、映像符号化ストリームの送信時に手ぶれ補正情報を送信するかしないかを選択できることを特徴とする。これにより、不必要な手ぶれ補正情報を送信することを避けることが可能となる。また、本発明においては、手ぶれ補正位置を算出するために、映像符号化ストリームの動きベクトルを利用し、手ぶれ補正情報を映像符号化ストリームと別に保存すること特徴とする。

本発明の映像処理方法又は映像処理装置によれば、手ぶれ補正情報を利用して手ぶれ補正表示を行うことができる映像処理装置に対してのみ手ぶれ補正情報を送信することができるため無駄な情報を送ることを防ぐことができる。また、手ぶれ補正情報を映像符号化ストリームとは別個に保存するため、手ぶれ補正を行わない場合には、当該手ぶれ補正情報を利用することなく映像符号化ストリーム情報の送受信が可能となり、処理の効率化が期待できる。

以下に、各発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
なお、以下の実施形態と請求項の関係は次の通りである。実施形態１は、主に請求項１、５，６、７などについて説明する。実施形態２は、主に請求項２、８などについて説明する。実施形態３は、主に請求項３、９などについて説明する。実施形態４は、主に請求項４、１０などについて説明する。

<<実施形態1>>
<実施形態１の概要>
本実施形態における映像処理装置は、映像信号を符号化する過程において生成される画像符号化情報から手ぶれ補正情報を生成し、当該生成した手ぶれ補正情報を映像符号化ストリームとは別に保存することを特徴とする。

<実施形態１の構成>
図１に本実施形態における機能ブロックの一例を示す。図１に示す本実施形態の映像処理装置（０１００）は、「画像符号化情報取得部」（０１１０）と、「第一補正情報生成部」（０１２０）と、「映像符号化ストリーム情報生成部」（０１３０）と、「補正情報保存部」（０１４０）と、を有する。画像符号化情報取得部（０１１０）は、映像信号を符号化する過程で生成される画像符号化のための情報である画像符号化情報を取得する。映像信号とは、例えば、ＣＣＤやＣＭＯＳ型イメージセンサなどの撮像素子と、撮像素子駆動回路から構成される撮像部から出力される信号のことである。かかる映像信号は、例えば映像信号符号化部（図示しない）などにおいて符号化される。ここで、映像信号が符号化される例としては、テレビ電話・テレビ会議などの通信画像を対象としたＨ．２６３や、ＣＤ−ＲＯＭなどの蓄積メディア画像を対象としたＭＰＥＧ−１や、ＤＶＤやデジタルテレビ放送用の通信画像を対象としたＭＰＥＧ−２や、アナログ電話回線や移動体通信での通信画像を対象としたＭＰＥＧ−４などが挙げられる。また、これらの符号化の際には、動きベクトルが用いられる。動きベクトルとは、画像中のマクロブロックについて前後のフレームと比較してどの方向へどの程度動いているかというベクトルデータのことである。物体の動きをベクトルデータという形で効率よく差し引くことによって、差分データはベクトルデータを無視した場合の差分データより極端に少なくて済み、高い圧縮率を得ることが可能となる。なお、画像符号化情報の例としては、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）やＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）の差分値などが挙げられるが、本実施形態でいう画像符号化情報の一例としては、特に動きベクトルであることが望ましい。

次に、第一補正情報生成部（０１３０）は、前記画像符号化情報取得部にて取得された画像符号化情報に基づいて手ぶれ映像補正のための情報である第一補正情報を生成する。ここで、手ぶれ映像補正のための情報の一例としては、手ぶれ補正位置情報が挙げられる。手ぶれ補正位置情報とは、動きベクトルを利用して手ぶれ補正を行う場合に、手ぶれを打ち消すために画像を動かす様を示す情報などをいう。以下、第一補正情報の具体的な生成例を述べる。まず、映像信号から画像信号を抽出し、当該画像信号を８×８画素や１６×１６画素のブロックに分割し、探索範囲を決めてブロックマッチングすることによって動きベクトルを求める。なお、画像信号とは、時間単位の静止画像のことである。このようにして求めた動きベクトルから手ぶれ補正位置を検出する方法としては、動きベクトルの縦方向及び横方向のヒストグラムの最大値の動きベクトルを用いる方法や、あるいは、動きベクトルの全体の平均や中央値を用いる方法などが挙げられる。次に手ぶれ補正位置情報の具体例を図２に記載する。なお、図３は、図２の手ぶれ補正位置情報を説明するための図である。手ぶれ補正を行うためには、まず図３に示すような手ぶれ補正枠３３を決定する必要がある。当該手ぶれ補正枠３３内における画像が手ぶれ補正の実行対象となるからである。なお、手ぶれ補正枠３３は、手ぶれ補正を行った場合に画面の端部に画像信号の存在しない部分を発生させないために設けている。続いて、手ぶれ補正枠の決定方法を説明する。図３で示す手ぶれ補正枠の水平幅３７は、映像符号化ストリーム画像の水平幅３１及び手ぶれ補正検出範囲の水平幅（手ぶれ修正可能な幅）３５を用いて算出する。具体的な算出方法としては、「手ぶれ補正枠の水平幅＝映像符号化ストリーム画像の水平幅―２×手ぶれ補正検出範囲の水平幅」が挙げられる。なお、ここでいう映像符号化ストリーム画像とは、例えばフレームのように１／３０秒単位で表示する画像であってもよいし、フィールドのように１／６０秒単位で表示する画像であってもよい。同様にして、手ぶれ補正枠の垂直幅３８は、映像符号化ストリーム画像の垂直幅３２及び手ぶれ補正枠検出範囲の垂直幅（手ぶれ修正可能な幅）３４を用いて算出する。具体的な計算方法としては、「手ぶれ補正枠の垂直幅＝映像符号化ストリーム画像の垂直幅―２×手ぶれ補正検出範囲の垂直幅」が挙げられる。このようにして手ぶれ補正枠３３がまず取得される。続いて手ぶれ補正枠３３内の画像について、手ぶれ補正を行う。手ぶれ補正の一例としては、動きベクトルにより得られた情報を基に、手ぶれ補正枠頂点開始位置３６（Ｘ、Ｙ）に手ぶれを打ち消す位置を入力する。例えば図４（ａ）で示すように、あるフレームで、手ぶれにより撮影した画像が「下に１画素、右に３画素」ずれていると動きベクトルにより算出された場合には、当該フレームの前フレームの手ぶれ補正枠頂点開始位置より下に１画素、右に３画素ずらした値を手ぶれ補正枠頂点開始位置（Ｘ，Ｙ）に記述する。そして、手ぶれ補正を行う際には、かかる値に基づいて図４（ｂ）で示すように画面表示枠４０の画面表示枠頂点開始位置４１を決定することで手ぶれが補正される。補正情報保存部（０１４０）は、前記第一補正情報を前記映像符号化ストリーム情報とは別に保存する。本実施形態における特徴点として、手ぶれ映像補正のための情報である第一補正情報を映像符号化ストリーム情報とは別に保存することによって、必ずしも第一補正情報を映像符号化ストリーム情報とともに送信しなくて済むため、無駄な情報の送信を防止することが可能となる。映像符号化ストリーム情報生成部（０１３０）は、前記画像符号化情報を利用して映像符号化ストリーム情報を生成する。映像符号化ストリーム情報を生成する例としては、直交変換や画像符号化情報を生成するためのフレーム間予測等によって信号を偏らせ、量子化を行って情報を圧縮し、更に可変長符号化によって映像符号化ストリーム情報が生成される場合などが挙げられる。

<実施形態１の具体例>
本実施形態の映像処理装置の一例としては、撮像部を備えたカメラ付き携帯電話機／ＰＨＳ（Personal Handy-Phone System）の携帯端末装置やデジタルカメラ、デジタルビデオカメラなどが挙げられる。また、図５で示すとおり、本実施形態の映像処理装置は、撮像部（０５０１）と、映像信号を符号化する映像符号化部（０５０２）と、送信部（０５０３）と、受信部（０５０４）と、映像信号を復号化する映像信号復号化部（０５０５）と、表示部（０５０６）と、映像符号化ストリーム情報を保存する映像符号化ストリーム情報保存部（０５０７）とを更に備えていてもよい。また、撮像部の代わりに、映像信号を再生する映像信号再生部（０５０８）から映像信号が出力されてもよい。受信部は、他の装置から映像符号化ストリーム情報または第一補正情報の少なくともいずれか一つを受信する。送信部は、映像符号化ストリーム情報保持部に保存されている映像符号化ストリーム情報または補正情報保存部に保存されている第一補正情報を他の装置へ送信する。表示部は手ぶれ補正が行われる前あるいは手ぶれ補正が行われた後の映像信号を表示する。表示部の一例としては、ＬＣＤモニタのようなディスプレイ挙げられる。当該表示部は、例えば撮像部からの映像信号を表示することも可能である。本実施形態における各保存部は、映像処理装置と分離可能に構成される記録媒体でもよく、磁気テープやカセットテープ等の磁気ディスクやＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の光ディスクのディスク系、ＰＣカード、コンパクトフラッシュ（登録商標）、スマートメディア（登録商標）、ＩＣカード、ＳＤカード（登録商標）、メモリースティック（登録商標）等のカード系、あるいは、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた媒体であってもよい。なお、送信部、受信部におけるデータの媒介手段は、赤外線、無線のような電波や、ケーブルのような有線だけではなく、磁気テープやカセットテープ等の磁気ディスクやＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の光ディスクのディスク系、ＰＣカード、コンパクトフラッシュ（登録商標）、スマートメディア（登録商標）、ＩＣカード、ＳＤカード（登録商標）、メモリースティック（登録商標）等のカード系を含めた媒体であってもよい。なお、本件発明の構成要素である各部は、ハードウエア、ソフトウェア、ハードウエアとソフトウェアの両者、のいずれかによって構成される（本明細書の全体を通じて同様である。）。

<実施形態１の処理の流れ>
図６は、本実施形態の処理の流れを説明する図である。本実施形態における映像処理方法は、映像信号を符号化する過程で生成される画像符号化のための情報である画像符号化情報を取得する画像符号化情報取得ステップ（Ｓ０６１０）と、前記画像符号化情報取得ステップにて取得された画像符号化情報に基づいて手ぶれ映像補正のための情報である第一補正情報を生成する第一補正情報生成ステップ（Ｓ０６２０）と、前記画像符号化情報を利用して映像符号化ストリーム情報を生成する映像符号化ストリーム情報生成ステップ（Ｓ０６３０）と、前記第一補正情報を前記映像符号化ストリーム情報とは別に保存する補正情報保存ステップ（Ｓ０６２１）と、を有する。なお、画像符号化情報を第一補正情報生成のために利用するかを判断するステップ（Ｓ０６１１）を有していてもよく、第一補正情報を生成しない場合であっても、通常の映像符号化ストリーム情報は生成される。また、映像符号化ストリーム情報を保存する映像符号化ストリーム情報保存ステップ（Ｓ０６４０）を更に有していてもよい。以上の処理は、計算機に実行させるためのプログラムで実行することができ、また、このプログラムを計算機によって読み取り可能な記録媒体に記録することができる。（本明細書の全体を通して同様である。）本実施形態においては、手ぶれ映像補正のための情報を映像符号化ストリーム情報とは別に保存することによって、無駄な情報を送信しないで済む。また、手ぶれ補正情報を映像符号化ストリームとは別個に保存するため、手ぶれ補正を行わない場合には、当該手ぶれ補正情報を利用することなく映像符号化ストリーム情報の送受信が可能となり、処理の効率化の向上が期待できる。

<<実施形態２>>
<実施形態２の概要>
本実施形態は実施形態１と同様に手ぶれ映像補正のための情報を映像符号化ストリームとは別に保存することを特徴とするが、実施形態１とは異なり、映像符号化ストリームを復号化する際における画像符号化情報に基づいて手ぶれ映像補正のための情報を生成する。

<実施形態２の構成>
図７は本実施形態における機能ブロックの一例を示すものである。本実施形態における映像処理装置（０７００）は、「映像符号化ストリーム情報取得部」（０７１０）と、「第二画像符号化情報取得部」（０７２０）と、「第二補正情報生成部」（０７３０）と、「第二補正情報保存部」（０７４０）と、を有する。映像符号化ストリーム情報取得部（０７１０）は、映像符号化ストリーム情報を取得する。第二画像符号化情報取得部（０７２０）は、映像符号化ストリーム情報取得部にて取得された映像符号化ストリーム情報を復号化する際に第二の画像符号化情報である第二画像符号化情報を取得する。第二の画像符号化情報とは、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）やＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）の差分値などが挙げられるが、本実施形態でいう画像符号化情報の一例としては、特に動きベクトルであることが望ましいことは実施形態１と同様である。また、映像符号化ストリーム情報を復号化する例としては、前記映像符号化ストリームを生成した逆の順序で処理を行えばよい。例えば、可変長復号化を行い、逆量子化を経て逆直交変換などによって、映像符号化ストリーム情報を復号化する。第二画像復号化情報が取得されるタイミングの例としては、可変長復号化の処理あるいは逆量子化の処理の前などが挙げられる。第二補正情報生成部（０７３０）は、前記第二画像符号化情報取得部にて取得した第二画像符号化情報に基づいて手ぶれ映像補正のための情報である第二補正情報を生成する。ここで、手ぶれ映像補正のための情報の一例としては、手ぶれ補正位置情報が挙げられることは実施形態１と同様である。第二補正情報保存部（０７４０）は、前記第二補正情報生成部にて生成した第二補正情報を前記映像符号化ストリーム情報とは別に保存する。本実施形態においては、映像符号化ストリーム情報を復号化する際に取得する第二画像符号化情報に基づいて生成した手ぶれ補正情報を、映像符号化ストリーム情報とは別に保存することで無駄な情報を送信しないで済むことになる。本実施形態の映像処理装置は、特に、手ぶれ映像補正のための情報を生成することができない他の装置等から映像符号化ストリーム情報を受信した後に、本実施形態の映像処理装置から、手ぶれ映像補正のための情報を生成することができない他の装置等に映像符号化ストリーム情報を送信する場合において有益となる。

<実施形態２の具体例>
図８で示すとおり、本実施形態の映像処理装置は、映像信号を復号化する映像信号復号化部（０８０１）と、送信部（０８０２）と、受信部（０８０３）と、表示部（０８０４）と、映像符号化ストリーム情報を保存する映像符号化ストリーム情報保存部（０８０５）とを更に備えていてもよい。表示部においては、映像符号化ストリーム情報を復号化した映像信号を表示することも可能であるし、第二補正情報を利用して手ぶれ映像を補正した映像信号を表示することも可能である。

<実施形態２の処理の流れ>
図９は、本実施形態の処理の流れを説明する図である。図９に示す映像処理方法は、映像符号化ストリーム情報を取得する映像符号化ストリーム情報取得ステップ（Ｓ０９１０）と、映像符号化ストリーム情報取得ステップにて取得された映像符号化ストリーム情報を復号化する際に第二の画像符号化情報である第二画像符号化情報を取得する第二画像符号化情報取得ステップ（Ｓ０９２０）と、前記第二画像符号化情報取得ステップにて取得した第二画像符号化情報に基づいて手ぶれ映像補正のための情報である第二補正情報を生成する第二補正情報生成ステップ（Ｓ０９３０）と、前記第二補正情報生成ステップにて生成した第二補正情報を前記映像符号化ストリーム情報とは別に保存する第二補正情報保存ステップ（Ｓ０９４０）と、を有する。本実施形態においては、映像符号化ストリーム情報を復号化する過程において取得された第二の画像符号化情報に基づいて手ぶれ映像補正のための情報を生成し、映像符号化ストリーム情報とは別に保存することができるため、無駄な情報の送信を防ぐことが可能となる。

<<実施形態３>>
<実施形態３の概要>
本実施形態においては、実施形態１において保存した第一補正情報を映像符号化ストリーム情報とともに送信するかを判断し、送信すると判断した場合には第一補正情報を映像符号化ストリームとともに送信することを特徴としている。

<実施形態３の構成>
図１０は、本実施形態の機能ブロックの一例を示すものである。図１０に示す本実施形態の映像処理装置（１０００）は、「画像符号化情報取得部」（１０１０）と、「第一補正情報生成部」（１０２０）と、「映像符号化ストリーム情報生成部」（１０３０）と、「補正情報保存部」（１０４０）と、「判断部」（１０５０）と、「送信部」（１０６０）と、を有する。判断部（１０５０）と、送信部（１０６０）とを除いた構成については、実施形態１で説明したものと同様であるため、ここでの説明は省略する。判断部（１０５０）は、前記補正情報保存部にて保存された第一補正情報を前記映像符号化ストリーム情報とともに送信するかしないか判断する。個々の映像符号化ストリーム情報に対応した手ぶれ補正情報を送信するかしないかを選択できることで、手ぶれ映像補正情報を利用することができない装置に対して無駄な手ぶれ映像補正情報を送信することを避けることができ、送信データの容量を抑えることが可能となる。なお、予め送信先の装置ごとに手ぶれ映像補正情報を送るか送らないかを登録しておき、当該登録情報に基づいて判断部が手ぶれ映像補正情報を送信するかしないかを判断してもよい。これは、当該登録情報を用いることで映像符号化ストリーム情報を送信する際にその都度手ぶれ映像補正情報を送信するかしないかを選択する手間が省けるという利点がある。また、判断部は送信先の装置等からの要求に応じて第一補正情報を送ると判断することも可能である。例えば、数千台の装置に対して一斉に映像を配信するサービスなどを提供する場合には、第一補正情報が不要な装置に対しては当該情報を送信しないと判断することで、トラフィックなどの送信コストの軽減が期待できることになる。送信部（１０６０）は、前記判断部での判断結果が補正情報を送信するとの判断結果である場合には第一補正情報を前記映像符号化ストリーム情報とともに送信する。なお、送信部は前記判断部の判断結果が補正情報を送信しないとの判断結果である場合には、前記映像符号化ストリーム情報のみを送信することも可能である。

<実施形態３の具体例>
図１１に示すとおり、本実施形態の映像処理装置は、実施形態１と同様に撮像部（１１０１）と、映像信号を符号化する映像符号化部（１１０２）と、映像符号化ストリーム情報を保存する映像符号化ストリーム情報保存部（１１０３）と、受信部（１１０４）と、映像信号を復号化する映像信号復号化部（１１０５）と、表示部（１１０６）と、を更に備えていてもよい。また、撮像部の代わりに、映像信号を再生する映像信号再生部（１１０７）から映像信号が出力されてもよい。

<実施形態３の処理の流れ>
図１２は本実施形態における処理の流れを説明する図である。図１２に示す映像処理方法は、実施形態１に加えて、前記補正情報保存ステップ（Ｓ１２３１）にて保存された第一補正情報を前記映像符号化ストリーム情報とともに送信するかしないか判断するための判断ステップ（Ｓ１２６０）と、前記判断ステップ（Ｓ１２６０）での判断結果が補正情報を送信するとの判断結果である場合には第一補正情報を前記映像符号化ストリーム情報とともに送信する送信ステップ（Ｓ１２６１）と、をさらに有する。また、前記判断ステップ（Ｓ１２６０）での判断結果が補正情報を送信しないとの判断結果である場合には第一補正情報を送信せずに、前記映像符号化ストリーム情報のみを送信する映像符号化ストリーム情報送信ステップ（Ｓ１２６２）を有していてもよいことはもちろんである。本実施形態においては、手ぶれ映像補正情報を映像符号化ストリーム情報とともに送信するかしないかを判断する判断部を設けたため、手ぶれ映像補正情報を利用できない装置に対して無駄な情報を送信することを避けることが可能となる。

<<実施形態４>>
<実施形態４の概要>
本実施形態は、前記手ぶれ映像補正のための情報を利用して、映像符号化ストリーム情報を補正するかしないかを判断し、判断結果に応じて補正を行うことを特徴とする。

<実施形態４の構成>
図１３は本実施形態の機能ブロックの一例を示すものである。図１３に示す映像処理装置（１３００）は、「映像符号化ストリーム情報取得部」（１３１０）と、「選択判断部」（１３２０）と、「補正部」（１３３０）と、を有する。映像符号化ストリーム情報取得部（１３１０）は、映像符号化ストリーム情報を取得する。選択判断部（１３２０）は、前記映像符号化ストリーム情報を生成するために用いた映像信号を符号化する過程で生成される画像符号化のための情報である画像符号化情報に基づいて生成される手ぶれ映像補正のための情報である第一補正情報を利用して前記映像符号化ストリーム情報取得部にて取得した映像符号化ストリーム情報を補正するか、前記映像符号化ストリーム情報を復号化する際に取得する第二補正情報を利用して映像符号化ストリーム情報を補正するか判断する。選択判断部は、まず映像符号化ストリーム情報を取得した際に、手ぶれ映像補正のための情報が存在するかを確認する。ここで、映像符号化ストリーム情報に対応した第一補正情報が存在しない場合には、手ぶれ映像補正を行わないことが選択判断部によって選択される。もっとも、映像符号化ストリーム情報に対応した第一補正情報が存在しない場合であっても、前記第二補正情報を利用して映像符号化ストリーム情報を補正することも可能である。なお、選択判断部においては、第一補正情報を利用するか第二補正情報を利用するかについて優先順位をつけてもよい。例えば、セキュリティなどの面から他者の作成した第一補正情報を使用したくない場合などには、映像符号化ストリーム情報を受信する側で第二補正情報を生成するために、第一補正情報が存在していても第二補正情報を優先的に利用する、と選択することができる。また、あえて手ぶれ映像補正のための情報を利用したくない者にとっては、選択判断部において第一補正情報及び第二補正情報を利用しないと判断することで、手ぶれ補正がされないままの映像信号を再現することが可能となる。ここで、選択判断部にて手ぶれ補正のための情報を利用しない例としては、定点観測カメラからの映像が挙げられる。定点観測カメラとはある場所に設置され、その地域の周囲の様子を撮影するためのカメラのことである。当該カメラは地震などが発生した場合には、そのゆれ具合によって当地の映像を生々しく伝えるという効果もあるが、手ぶれ補正を行ってしまうと地震によるぶれを補正してしまい、定点観測カメラとしての効果が薄れてしまう。よって、定点観測カメラからの映像符号化ストリーム情報を受信する場合には、本実施形態で示す選択判断部にて手ぶれ映像補正のための情報を利用しないと判断することが望ましい。更には、一度選択判断部で手ぶれ映像補正のための情報を利用するかしないかを選択した映像符号化ストリーム情報については、当該選択情報を登録しておくことで、同じ映像符号化ストリーム情報を再生するときに当該登録情報を利用して手ぶれ補正を行うかの選択を省略することも可能となる。なお、本実施形態においては、映像符号化ストリームを復号化した映像信号を表示するための表示部を更に有していてもよいことはもちろんである。補正部（１３３０）は、前記選択判断部での判断結果に応じて、利用可能である場合には、利用可能な第一補正情報を、又は利用可能である場合には利用可能な第二補正情報を、利用して前記補正を行う。実際に補正を行う場合には、映像符号化ストリーム情報の各フレームを復号化した映像信号を、前記第一補正情報又は第二補正情報で記述されている手ぶれ補正枠頂点開始位置を頂点として水平方向に手ぶれ補正枠水平幅、垂直方向に手ぶれ補正枠垂直幅の長さで構成される手ぶれ補正枠の部分のみを切り出して表示部へ送ることにより、手ぶれ補正が行われる。また、手ぶれ補正を行わない場合には、映像符号化ストリーム情報の各フレームを復号化した映像信号をそのまま表示部に送ることになる。なお、手ぶれ補正を行う場合には、手ぶれ補正枠の部分のみを切り出すことになるため、表示部で表示される画像が小さくなる。そこで、切り出した画像を拡大して表示部へ送ることも可能である。

<実施形態４の具体例>
図１４に示すとおり、本実施形態の映像処理装置は、受信部（１４０１）と、映像信号を復号化する映像信号復号化部（１４０２）と、第二画像情報取得部（１４０３）と、第二補正情報生成部（１４０４）と、第二補正情報保存部（１４０５）と、映像符号化ストリーム情報生成部（１４０６）と、表示部（１４０７）と、映像符号化ストリーム情報とともに送信される第一補正情報を取得する第一補正情報取得部（１４０８）とを更に備えていてもよい。表示部においては、手ぶれ映像補正を利用せずに映像信号を表示することも可能であるし、第一補正情報又は第二補正情報を利用して手ぶれ映像を補正した映像信号を表示することも可能である。

<実施形態４の処理の流れ>
図１５は、本実施形態における処理の流れを説明する図である。図１５で示す映像処理方法は、映像符号化ストリーム情報を取得する映像符号化ストリーム情報取得ステップ（Ｓ１５１０）と、前記映像符号化ストリーム情報を生成するために用いた映像信号を符号化する過程で生成される画像符号化のための情報である画像符号化情報に基づいて生成される手ぶれ映像補正のための情報である第一補正情報を利用して前記映像符号化ストリーム情報取得ステップにて取得した映像符号化ストリーム情報を補正するか、前記映像符号化ストリーム情報を復号化する際に取得する第二補正情報を利用して映像符号化ストリーム情報を補正するか判断する選択判断ステップ（Ｓ１５２０）と、前記選択判断ステップでの判断結果に応じて、利用可能である場合には、利用可能な第一補正情報を、又は利用可能である場合には利用可能な第二補正情報を、利用して前記補正を行う補正ステップ（Ｓ１５３０）と、を有する。また、本実施例において、手ぶれ映像補正のための情報を利用しないと判断することも可能であることはもちろんである（Ｓ１５２３）。本実施形態においては、手ぶれ映像補正のための情報を利用して補正をするかしないかを選択判断することができるため、手ぶれ補正が不要な映像符号化ストリーム情報に対しては補正をしないことで、画像の切り出しや拡大処理を行わずに済み画像劣化のない映像を再現することが可能となる。

以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。なお、本発明の実施の形態は、上記の実施例に何ら限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採り得ることはいうまでもない。また、応用に関しても同様である。また、映像符号化ストリーム情報を扱う装置であればどのような装置にも適用できる。例えば、デジタルカメラ、デジタルビデオカメラ、携帯電話機、ＰＤＡ等の携帯情報端末、映像編集装置、パソコン等の情報処理装置にも適用可能である。また、上記実施の形態では、図２に示した手ぶれ補正情報及び図３における手ぶれ補正情報説明図は、一例であって他の例でもよいことは言うまでもない。また、上記映像処理装置を構成する各部の種類、数及び接続方法などは前述した実施の形態に限らない。

実施形態１を説明するための機能ブロック図。 手ぶれ補正情報の内容の一例を示す図。 手ぶれ補正情報を説明するための図。 手ぶれ補正を説明するための図。 実施形態１の例を説明するための機能ブロック図。 実施形態１の処理の流れを説明するための図。 実施形態２を説明するための機能ブロック図。 実施形態２の例を説明するための機能ブロック図。 実施形態２の処理の流れを説明するための図。 実施形態３を説明するための機能ブロック図。 実施形態３の例を説明するための機能ブロック図。 実施形態３の処理の流れを説明するための図。 実施形態４を説明するための機能ブロック図。 実施形態４の例を説明するための機能ブロック図。 実施形態４の処理の流れを説明するための図。

符号の説明

０１００ 映像処理装置
０１１０ 画像符号化情報取得部
０１２０ 第一補正情報生成部
０１３０ 映像符号化ストリーム情報生成部
０１４０ 補正情報保存部
３０ 映像符号化ストリーム画像枠
３１ 映像符号化ストリーム画像の水平幅
３２ 映像符号化ストリーム画像の垂直幅
３３ 手ぶれ補正画像枠
３４ 手ぶれ補正検出範囲の垂直幅
３５ 手ぶれ補正検出範囲の水平幅
３６ 手ぶれ補正枠頂点開始位置
３７ 手ぶれ補正枠の水平幅
３８ 手ぶれ補正枠の垂直幅
４０ 画面表示枠
４１ 画面表示枠頂点開始位置

Claims (10)

1. 映像信号を符号化する過程で生成される画像符号化のための情報である画像符号化情報を取得する画像符号化情報取得ステップと、
   前記画像符号化情報取得ステップにて取得された画像符号化情報に基づいて手ぶれ映像補正のための情報である第一補正情報を生成する第一補正情報生成ステップと、
   前記画像符号化情報を利用して映像符号化ストリーム情報を生成する映像符号化ストリーム情報生成ステップと、
   前記第一補正情報を前記映像符号化ストリーム情報とは別に保存する補正情報保存ステップと、
   を有する映像処理方法。
2. 映像符号化ストリーム情報を取得する映像符号化ストリーム情報取得ステップと、
   映像符号化ストリーム情報取得ステップにて取得された映像符号化ストリーム情報を復号化する際に第二の画像符号化情報である第二画像符号化情報を取得する第二画像符号化情報取得ステップと、
   前記第二画像符号化情報取得ステップにて取得した第二画像符号化情報に基づいて手ぶれ映像補正のための情報である第二補正情報を生成する第二補正情報生成ステップと、
   前記第二補正情報生成ステップにて生成した第二補正情報を前記映像符号化ストリーム情報とは別に保存する第二補正情報保存ステップと、
   を有する映像処理方法。
3. 前記補正情報保存ステップにて保存された第一補正情報を前記映像符号化ストリーム情報とともに送信するかしないか判断するための判断ステップと、
   前記判断ステップでの判断結果が補正情報を送信するとの判断結果である場合には第一補正情報を前記映像符号化ストリーム情報とともに送信する送信ステップと、
   をさらに有する請求項１に記載の映像処理方法。
4. 映像符号化ストリーム情報を取得する映像符号化ストリーム情報取得ステップと、
   前記映像符号化ストリーム情報を生成するために用いた映像信号を符号化する過程で生成される画像符号化のための情報である画像符号化情報に基づいて生成される手ぶれ映像補正のための情報である第一補正情報を利用して前記映像符号化ストリーム情報取得ステップにて取得した映像符号化ストリーム情報を補正するか、
   前記映像符号化ストリーム情報を復号化する際に取得する第二補正情報を利用して映像符号化ストリーム情報を補正するか判断する選択判断ステップと、
   前記選択判断ステップでの判断結果に応じて、利用可能である場合には、利用可能な第一補正情報を、又は利用可能である場合には利用可能な第二補正情報を、利用して前記補正を行う補正ステップと、
   を有する映像処理方法。
5. 前記手ぶれ補正情報は手ぶれ補正位置情報であることを特徴とする請求項１または２に記載の映像処理方法。
6. 前記画像符号化情報は動きベクトルであることを特徴とする請求項１または２に記載の映像処理方法。
7. 映像信号を符号化する過程で生成される画像符号化のための情報である画像符号化情報を取得する画像符号化情報取得部と、
   前記画像符号化情報取得部にて取得された画像符号化情報に基づいて手ぶれ映像補正のための情報である第一補正情報を生成する第一補正情報生成部と、
   前記画像符号化情報を利用して映像符号化ストリーム情報を生成する映像符号化ストリーム情報生成部と、
   前記第一補正情報を前記映像符号化ストリーム情報とは別に保存する補正情報保存部と、
   を有する映像処理装置。
8. 映像符号化ストリーム情報を取得する映像符号化ストリーム情報取得部と、
   映像符号化ストリーム情報取得部にて取得された映像符号化ストリーム情報を復号化する際に第二の画像符号化情報である第二画像符号化情報を取得する第二画像符号化情報取得部と、
   前記第二画像符号化情報取得部にて取得した第二画像符号化情報に基づいて手ぶれ映像補正のための情報である第二補正情報を生成する第二補正情報生成部と、
   前記第二補正情報生成部にて生成した第二補正情報を前記映像符号化ストリーム情報とは別に保存する第二補正情報保存部と、
   を有する映像処理装置。
9. 前記補正情報保存部にて保存された第一補正情報を前記映像符号化ストリーム情報とともに送信するかしないか判断するための判断部と、
   前記判断部での判断結果が補正情報を送信するとの判断結果である場合には第一補正情報を前記映像符号化ストリーム情報とともに送信する送信部と、
   をさらに有する請求項７に記載の映像処理装置。
10. 映像符号化ストリーム情報を取得する映像符号化ストリーム情報取得部と、
    前記映像符号化ストリーム情報を生成するために用いた映像信号を符号化する過程で生成される画像符号化のための情報である画像符号化情報に基づいて生成される手ぶれ映像補正のための情報である第一補正情報を利用して前記映像符号化ストリーム情報取得ステップにて取得した映像符号化ストリーム情報を補正するか、
    前記映像符号化ストリーム情報を復号化する際に取得する第二補正情報を利用して映像符号化ストリーム情報を補正するか判断する選択判断部と、
    前記選択判断ステップでの判断結果に応じて、利用可能である場合には、利用可能な第一補正情報を、又は利用可能である場合には利用可能な第二補正情報を、利用して前記補正を行う補正部と、
    を有する映像処理装置。

Images