JP2009076979A - 動画像処理装置 - Google Patents

Abstract

【課題】符号誤りの影響により部分的に動画像フレームを復号できなくても、誤り区間を正常な区間と確実に識別して常に適切なショット分割を行えるようにする。
【解決手段】ＰＴＳ比較部１０３により現行フレームとその直前の先行フレームとの間のＰＴＳ差分値が閾値ＴＨｅ以内か否かを判定する。そして、閾値ＴＨｅ以内であれば欠落フレームはないと見なし、特徴量比較部１０４で上記フレーム間の画像特徴量の類似度を判定し、類似度が閾値以上の場合に現行フレームの画像特徴量とＰＴＳを画像変化点を表す情報としてメモリに記憶する。これに対しＰＴＳ差分値が閾値ＴＨｅを超えている場合には欠落フレームがあると見なし、エラー特徴量生成部１０６により特有の画像特徴量を生成する。そして、この特有の画像特徴量を、先行フレームのＰＴＳに閾値ＴＨｅを加算した値と共に、画像変化点を表す情報としてメモリに記憶する。
【選択図】 図２

Description

この発明は、動画像の内容が切り替わる画像変化点を検出し、この検出された画像変化点により分割された部分動画像を生成する動画像処理装置に関する。

高性能なパーソナル・コンピュータやハードディスクレコーダの普及により、映像・動画像をデジタル化して保存する技術が発達してきている。この技術は、ハードウェア、ソフトウェアの形態で実現されており、また業務用に限らず家庭用のハードウェア等においても実現されている。具体的には、例えばパーソナル・コンピュータ内、またはレコーダ内のハードディスクに映像を記録する。このため、目的の番組を少ない待ち時間で再生開始できる、不要番組の限定的削除が容易であるなど、従来のビデオテープにはなかったメリットがある。このような利便性の向上により、録画等の操作をより簡単に行うことができるようになってきた。

その一方で、大量の映像等が記録されると、所望の場面の検索が困難になるという問題が生じた。このような問題は、早送り機能などを用いて番組をいわゆる「飛ばし見」することにより検索時間を短縮することで対処可能である。しかし、このような「飛ばし見」は、例えば数秒に１フレームといったように番組内容の構造と無関係な物理的な単位で表示フレームを間引きするため、興味ある場面を行き過ぎてしまうという新たな問題が生じる。

そこで、このような問題を解決するために、画像処理技術を用いて動画像中の画像が切り替わる画像変化点（以後カットと称する）を検出して、このカットを境界点として動画像を複数の部分動画像（以後ショットと称する）に分割し、このショット単位で動画像の「飛ばし見」を可能にする技術研究や製品開発がなされている（例えば、特許文献１を参照。）。この技術を使用すると、例えばコマーシャルと番組本編、ニュース番組の話題転換点など、番組内容に即した分割が可能となる。

さらに、上記のように分割されたショット間の類似度を計測することにより類似ショットをグループ化してメタショットを生成し、このメタショットをチャプタとして使用するようにした技術も提案されている（例えば、特許文献２を参照。）。
特開平９−２７０００６号公報 特開２００５−１３０４１６号公報

ところがこのような従来提案された技術では、例えば伝送路上において動画像ストリームに誤りが発生し、その結果映像フレームが部分的に復号できなくなると、画像変化点を正しく検出できなくなって適切なショット分割を行えなくなるおそれがある。これは、特に携帯電話機などの携帯端末を用いて地上デジタル放送の１セグメント放送（以後ワンセグ放送と呼称する）を受信する場合に発生する確率が高く、改善が望まれていた。

この発明は上記事情に着目してなされたもので、その目的とするところは、符号誤りの影響により部分的に動画像フレームを復号できなくても、誤り区間を正常な区間と確実に識別して常に適切なショット分割を行えるようにした動画像処理装置を提供することにある。

上記目的を達成するためにこの発明の一観点は、動画像復号部から第１の周期で出力される復号後の動画像フレームをもとに、当該動画像フレームの内容が切り替わる画像変化点を表す情報を生成する動画像処理装置において、上記動画像復号部から動画像フレームが出力されるごとにこの現行フレームの画像特徴量を算出すると共に、当該現行フレームの表示指定時刻とその直前の先行フレームの表示指定時刻との差分を計算して、この計算された差分が上記第１の周期に対応して設定された第１の閾値以内であるか否かを判定する。そして、この判定の結果、上記表示指定時刻の差分が上記第１の閾値以内の場合には、上記現行フレームとその直前の先行フレームとの間の画像特徴量の類似度を算出して、当該類似度が予め設定された判定値以上であれば上記現行フレームの画像特徴量をその表示指定時刻と共に画像変化点を表す情報としてメモリに記憶する。これに対し、上記表示指定時刻の差分が上記第１の閾値を超えている場合には、欠落フレームに代わる代替フレームを表す特有の画像特徴量を生成し、この特有の画像特徴量を上記先行フレームの表示指定時刻と上記現行フレームの表示指定時刻との間に設定される代替フレーム用の表示指定時刻と共に画像変化点を表す情報として上記メモリに記憶するように構成したものである。

したがってこの発明の一観点によれば、例えば伝送路上で動画像ストリームに伝送エラーが発生し、その影響により動画像復号部から出力される動画像フレームの一部が欠落したとすると、この動画像フレームの欠落が動画像フレーム間の表示指定時刻差をもとに検出される。そして、欠落が検出されると、代替フレームを表す特有の画像特徴量が生成され、この特有の画像特徴量が、先行フレームの表示指定時刻と上記現行フレームの表示指定時刻との間に設定される代替フレーム用の表示指定時刻と共に、画像変化点を表す情報としてメモリに記憶される。したがって、このメモリに記憶された情報をもとに部分動画像（ショット）の分割を行う場合に、欠落フレームが存在するエラー区間を先行するショットに含めることなく独立したショットとして分割することが可能となる。

すなわちこの発明によれば、符号誤りの影響により部分的に動画像フレームを復号できなくても、誤り区間を正常な区間と確実に識別して常に適切なショット分割を行うことができる動画像処理装置を提供することができる。

以下、図面を参照してこの発明の実施形態を説明する。
図１は、この発明の第１の実施形態に係わる動画像処理装置を備えた携帯端末の構成を示すブロック図である。
図示しない基地局から送信された無線信号は、アンテナ１１で受信されたのちアンテナ共用器（ＤＵＰ）１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、上記受信された無線信号を周波数シンセサイザ（ＳＹＮ）１４から出力された局部発振信号とミキシングして中間周波信号に周波数変換（ダウンコンバート）する。そして、このダウンコンバートされた中間周波信号を直交復調して受信ベースバンド信号を出力する。なお、上記周波数シンセサイザ１４から発生される局部発振信号の周波数は、制御ユニット２３から出力される制御信号ＳＹＣによって指示される。

上記受信ベースバンド信号はＣＤＭＡ信号処理ユニット１６に入力される。ＣＤＭＡ信号処理ユニット１６はＲＡＫＥ受信機を備える。ＲＡＫＥ受信機では、上記受信ベースバンド信号に含まれる複数のパスがそれぞれ拡散符号により逆拡散処理される。そして、この逆拡散処理された各パスの信号が位相を調停されたのち合成される。かくして、所定の伝送フォーマットの受信パケットデータが得られる。この受信パケットデータは圧縮伸長処理ユニット（以後コンパンダと称する）１７に入力される。

コンパンダ１７は、上記ＣＤＭＡ信号処理ユニット１６から出力された受信パケットデータを多重分離部によりメディアごとに分離する。そして、この分離されたメディアごとのデータに対しそれぞれ復号処理を行う。例えば、通話モードにおいては、受信パケットデータに含まれている通話音声などのオーディオデータをスピーチコーデックにより復号する。またテレビジョン電話モードのように、受信パケットデータにビデオデータが含まれていれば、このビデオデータをビデオコーデックにより復号する。

上記復号処理により得られたデジタルオーディオ信号はＰＣＭ符号処理ユニット（以後ＰＣＭコーデックと称する）１８に供給される。ＰＣＭコーデック１８は、コンパンダ１７から出力されたデジタルオーディオ信号をＰＣＭ復号してアナログオーディオ信号を出力する。このアナログオーディオ信号は、受話増幅器１９にて増幅されたのちスピーカ２０より出力される。

上記コンパンダ１７により復号されたデジタルビデオ信号は、制御ユニット２３に入力される。制御ユニット２３は、上記コンパンダ１７から出力されたデジタルビデオ信号を、ビデオＲＡＭを介してディスプレイ２９に表示する。なお、制御ユニット２３は、受信されたビデオデータばかりでなく、図示しないカメラにより撮像されたビデオデータについてもビデオＲＡＭを介してディスプレイ２９に表示する。

一方、通話モードにおいて、マイクロホン２１に入力された話者の音声信号は、送話増幅器２２により適正レベルまで増幅されたのち、ＰＣＭコーデック１８によりＰＣＭ符号化処理が施されてデジタルオーディオ信号となり、コンパンダ１７に入力される。また、図示しないカメラから出力されるビデオ信号は、制御ユニット２３によりデジタル化されてコンパンダ１７に入力される。なお、制御ユニット２３において作成された電子メールも、制御ユニット２３からコンパンダ１７に入力される。

コンパンダ１７は、ＰＣＭコーデック１８から出力されたデジタルオーディオ信号より入力音声のエネルギ量を検出し、この検出結果に基づいて送信データレートを決定する。そして、上記デジタルオーディオ信号を上記送信データレートに応じたフォーマットの信号に符号化し、これによりオーディオデータを生成する。また、制御ユニット２３から出力されたデジタルビデオ信号を符号化してビデオデータを生成する。そして、これらのオーディオデータ及びビデオデータを多重分離部で所定の伝送フォーマットに従いパケット化し、この送信パケットデータをＣＤＭＡ信号処理ユニット１６へ出力する。

ＣＤＭＡ信号処理ユニット１６は、上記コンパンダ１７から出力された送信パケットデータに対し、送信チャネルに割り当てられた拡散符号を用いてスペクトラム拡散処理を施す。そして、その出力信号を送信回路（ＴＸ）１５へ出力する。送信回路１５は、上記スペクトラム拡散された信号をＱＰＳＫ（Quadrature Phase Shift Keying）方式等のデジタル変調方式を使用して変調する。そして、この変調により生成された送信信号を、周波数シンセサイザ１４から発生される局部発振信号と合成して無線信号に周波数変換する。そして、制御ユニット２３により指示される送信電力レベルとなるように上記無線信号を高周波増幅する。この増幅された無線信号は、アンテナ共用器１２を介してアンテナ１１に供給され、このアンテナ１１から基地局へ向けて送信される。

また、この実施形態の携帯端末はワンセグ放送受信機３０を備えている。ワンセグ放送３０は、地上デジタル放送の１セグメント放送（ワンセグ放送）信号をアンテナ３１を介して受信するもので、受信されたワンセグ放送信号を制御ユニット２３に入力する。制御ユニット２３は、上記入力されたワンセグ放送信号を動画像ストリームとオーディオストリームに分離した後それぞれ復号する。そして、復号された動画像信号をディスプレイ２９に表示する。またそれと共に、復号されたデジタルオーディオ信号をＰＣＭコーデック１８に供給する。上記デジタルオーディオ信号は、ＰＣＭコーデック１８によりアナログオーディオ信号に変換された後、受話増幅器１９を介してスピーカ２０から出力される。

さらに、この実施形態の携帯端末は外部メモリインタフェース２７を備えている。この外部メモリインタフェース２７は、メモリカード２８を着脱することが可能なスロットを備える。そして、制御ユニット２３の制御の下、スロットに挿着されたメモリカード２８から映像コンテンツデータを読み出す。制御ユニット２３は上記読み出された映像コンテンツデータを復号再生してディスプレイ２９に表示する。

なお、２５はバッテリを、また２６は電源回路を示す。電源回路は、バッテリ２５の出力をもとに所定の動作電源電圧Ｖccを生成して各回路部に供給する。バッテリ２５は図示しない充電回路により充電される。また記憶ユニット２４は、例えばＥＥＰＲＯＭ又はハードディスクを記憶媒体として使用したものである。

ところで、制御ユニット２３は例えばマイクロコンピュータ（ＣＰＵ；Central Processing Unit）を備えたもので、この発明に係わる動画像処理装置を構成する機能として次のような機能を備えている。図２はその機能構成を示すブロック図である。
すなわち、制御ユニット２３は、動画像復号部１０１と、特徴量算出部１０２と、ＰＴＳ比較部１０３と、特徴量比較部１０４と、特徴量記憶部１０５と、エラー特徴量生成部１０６を備えている。これらの機能はいずれもアプリケーション・プログラムを上記マイクロコンピュータに実行させることにより実現される。なお、上記各機能のうち動画像復号部１０１の機能はコンパンダ１７内に設けられたビデオデコーダにより実現してもよく、また特徴量記憶部１０５は記憶ユニット２４内に設けてもよい。

動画像復号部１０１は、ワンセグ放送信号から分離された動画像ストリームを、例えばITUT H.264方式に従い復号する。そして、復号された動画像フレームと、当該動画像フレームの表示指定時刻を表すＰＴＳ（Presentation Time Stamp）を、一定のフレーム周期で出力する。なお、ワンセグ放送の場合、上記動画像フレームのフレーム周期は１／１５秒に設定されている。

特徴量算出部１０２は、上記動画像復号部１０１から動画像フレームが１フレーム出力されるごとに、当該現行フレームの画像の特徴量を計算する。画像特徴量の計算方法としては、例えばフレームに属する画素の色相値から３６分割のヒスグラムを計算し、この計算された３６分割のヒストグラムそれぞれの度数を要素としたベクトルを計算して、このベクトルを画像特徴量とする方法が用いられる。なお、この画像特徴量の計算方法は特願平９−２７０００６号公報に詳しく述べられている。

ＰＴＳ比較部１０３は、上記動画像復号部１０１から動画像フレームが１フレーム出力されるごとに、当該現行フレームに付与されたＰＴＳ（curＰＴＳ）と、その直前の先行フレームに付与されたＰＴＳ（prevＰＴＳ）との差分値を計算する。そして、この差分値を予め設定した第１の閾値ＴＨｅと比較し、差分値が第１の閾値ＴＨｅ以下であるか否かを判定する。

特徴量比較部１０４は、上記ＰＴＳ比較部１０３により差分値が第１の閾値ＴＨｅ以下であると判定された場合に、上記特徴量算出部１０２により算出された現行フレームの画像特徴量と先行フレームの画像特徴量との間の類似度を算出し、この類似度を閾値と比較することにより上記現行フレームが画像変化点（カット）であるか否かを判定する。

エラー特徴量生成部１０６は、上記ＰＴＳ比較部１０３により差分値が第１の閾値ＴＨｅより大きいと判定された場合に、先行フレームと現行フレームとの間に欠落フレームが存在するものと見なし、当該欠落フレームに代わるエラー表示用フレームを表す特有の画像特徴量を生成する。特有の画像特徴量は、一般にサービスで運用されない輝度信号から算出されるもので、例えば白色雑音画像から抽出される特徴量や、黒色画像、淡色画像またはカラーバーから抽出される特徴量等が用いられる。

特徴量記憶部１０５は、上記特徴量比較部１０４により現行フレームが画像変化点（カット）であると判定された場合に、当該現行フレームの画像特徴量と当該現行フレームのＰＴＳを、画像変化点を表す情報としてメモリに記憶させる。また特徴量記憶部１０５は、上記エラー特徴量生成部１０６により生成されたエラー表示用フレームの画像特徴量と、先行フレームに上記閾値ＴＨｅを加算した時刻を、画像変化点を表す情報としてメモリに記憶させる。

次に、以上のように構成された動画像処理装置の動作を説明する。図３はその動作手順と動作内容を示すフローチャートである。
動画像復号部１０１では、ワンセグ放送信号から分離された動画像ストリームがH.264方式に従い復号され、復号された動画像フレームが当該動画像フレームのＰＴＳと共に一定のフレーム周期で出力される（ステップＳ３１）。

上記動画像フレームの１フレームが出力されると、特徴量算出部１０２では、例えば当該出力された動画像フレーム（現行フレーム）について画素ごとにその色相値から３６分割のヒストグラムが計算され、さらにこの３６分割のヒストグラムそれぞれの度数を要素としたベクトルが計算されて、この計算されたベクトルが現行フレームの画像特徴量として一時保持される（ステップＳ３２）。

次にＰＴＳ比較部１０３では、上記現行フレームのＰＴＳ（curＰＴＳ）とその直前の先行フレームのＰＴＳ（prevＰＴＳ）との差分が算出され、この差分値が閾値ＴＨｅ以下であるか否かが判定される（ステップＳ３３）。このとき閾値ＴＨｅは、画像変化点（カット）を検出する対象フレーム周期に対応して設定される。例えば、ワンセグ放送により放送された動画像データのすべてのフレームに対しカット検出を行うのであれば、当該動画像フレームの周期に対応して閾値ＴＨｅは１／１５秒、もしくはそれ以上の値に設定される。なお、以下の例では閾値ＴＨｅを１／１５秒として説明する。

したがって、上記判定処理において、上記先行フレームから現行フレームまでのＰＴＳの差が１／１５秒以内であれば、先行フレームと現行フレームとの間でフレームの欠落は発生していないと判定され、以後欠落フレームがないときのカット検出処理が行われる。これに対し上記先行フレームから現行フレームまでのＰＴＳの差が１／１５秒を超えていれば、先行フレームと現行フレームとの間でフレームの欠落が発生していると判定され、以後欠落フレームが発生したときの強制的なカット挿入処理が行われる。

以上の欠落フレームの有無に応じた処理をそれぞれ具体的に説明する。
（１）フレームの欠落が発生していないときの処理
上記ＰＴＳ比較部１０３により欠落フレームがないと判定されると、特徴量比較部１０４においてカット検出処理が以下のように行われる（ステップＳ３４）。
すなわち、特徴量比較部１０４では、上記特徴量算出部１０２により算出された現行フレームの画像特徴量と先行フレームの画像特徴量との間の類似度が算出され、この類似度が閾値と比較される。そして、類似度が閾値以上であれば、上記現行フレームが画像変化点（カット）であるとステップＳ３５で判定され、当該現行フレームの画像特徴量とＰＴＳが上記画像変化点を示す情報として特徴量記憶部１０５によりメモリに記憶される（ステップＳ３６）。

これに対し類似度が閾値未満であれば、現行フレームは画像変化点（カット）でないとステップＳ３５で判定され、メモリへの現行フレームの画像特徴量の記憶は行われない。なお、以上の処理が終了すると、最後にＰＴＳ比較部１０３において保存してある先行フレームのＰＴＳ（curＰＴＳ）が、上記現行フレームのＰＴＳ（prevＰＴＳ）に更新される（ステップＳ３７）。

例えば、いま動画像復号部１０１から図４（ａ）に示すような動画像フレームが出力されたとする。この場合、動画像フレームは１／１５秒周期でフレーム欠落を生じることなく出力されているので、ＰＴＳ比較部１０３ではフレームの欠落が発生していないと判定され、上記カット検出処理が行われる。

例えば、現行フレームを動画像フレームＦ02、その直前の先行フレームを動画像フレームＦ01とした場合、両フレームの画像の内容は共に“○”であるため画像特徴量の類似度は閾値未満となる。このため、上記現行フレームＦ02は画像変化点とは見なされず、その画像特徴量はメモリに記憶されない。

これに対し現行フレームを動画像フレームＦ03、その直前の先行フレームを動画像フレームＦ02とした場合、動画像フレームＦ02の画像の内容は“○”であるが動画像フレームＦ03の画像の内容は“☆”であるため、両フレーム間の画像特徴量の類似度は閾値以上となる。このため、上記現行フレームＦ03は画像変化点と見なされ、その画像特徴量がＰＴＳと共にメモリに記憶される。

以下同様に、各動画像フレームごとにその一つ前のフレームとの間で画像特徴量の類似度が判定され、その結果類似度が閾値以上であれば当該現行フレームが画像変化点であると判定されてその画像特徴量がＰＴＳと共にメモリに記憶され、一方か類似度が閾値未満であれば当該現行フレームは画像変化点ではないと判定されて画像特徴量の記憶は行われない。

（２）フレームの欠落が発生したときの処理
上記ＰＴＳ比較部１０３により欠落フレームがあると判定されると、エラー特徴量生成部１０６により欠落フレームに代わるエラー表示用フレームを表す特有の画像特徴量が生成される（ステップＳ３８）。例えば、白色雑音画像から抽出される特徴量が上記特有の画像特徴量として生成される。具体的には、白色雑音画像から抽出した画像特徴量を表すデータを制御ユニット２３内のメモリに予め記憶しておき、このメモリから上記白色雑音画像から抽出した画像特徴量のデータを読み出すことにより実現される。

そして、上記生成された特有の画像特徴量は、先行フレームのＰＴＳ（prevＰＴＳ）に上記閾値ＴＨｅを加算したＰＴＳの推定値と共に、特徴量記憶部１０５によりメモリに記憶される（ステップＳ３９）。また、それと共に特徴量記憶部１０５では、上記特徴量算出部１０２により算出された現行フレームの画像特徴量が当該現行フレームのＰＴＳと共にメモリに記憶される（ステップＳ４０）。なお、以上の処理後にＰＴＳ比較部１０３では、保存してある先行フレームのＰＴＳ（curＰＴＳ）が上記現行フレームのＰＴＳ（prevＰＴＳ）に更新される（ステップＳ３７）。

いま動画像復号部１０１から図４（ｃ）に示すような動画像フレームが出力されたとする。この場合、動画像フレームＦ08とその一つ前の動画像フレームＦ02との間のＰＴＳ差分値はＴＨｅより大きくなる。このため、ＰＴＳ比較部１０３ではフレームＦ02とフレームＦ08との間でフレームの欠落が発生したと判定される。

欠落フレームがあると判定されると、上記したようにエラー特徴量生成部１０６により欠落フレームに代わるエラー表示用フレームＦeを表す特有の画像特徴量、例えば白色雑音画像から抽出される画像特徴量が生成される。さらに、上記先行フレームである動画像フレームＦ02のＰＴＳ02に閾値ＴＨｅが加算される。そして、上記白色雑音画像から抽出される画像特徴量と上記エラー表示用フレームのＰＴＳeが、画像変化点を表す情報としてメモリに記憶される。また、それと共に上記現行フレームＦ08の画像特徴量とＰＴＳ08が画像変化点を表す情報としてメモリに記憶される。図４（ｄ）はこのようにして記憶された画像変化点を表す情報を示す。

以上説明したように第１の実施形態では、動画像復号部１０１から現行フレーム出力されるごとに、ＰＴＳ比較部１０３において当該現行フレームとその直前の先行フレームとの間のＰＴＳ差分値が閾値ＴＨｅ以内であるか否かを判定する。この判定の結果、ＰＴＳ差分値が閾値ＴＨｅ以内であれば欠落フレームは無いと見なし、特徴量比較部１０４により上記現行フレームと先行フレームとの間の画像特徴量の類似度を判定して、類似度が閾値以上の場合に当該現行フレームの画像特徴量とＰＴＳを、画像変化点を表す情報としてメモリに記憶する。これに対し、ＰＴＳ差分値が閾値ＴＨｅを超えている場合には欠落フレームがあると見なし、エラー特徴量生成部１０６によりエラー表示用フレームＦeを表す特有の画像特徴量を生成する。そして、このエラー表示用フレームＦeを表す特有の画像特徴量を、先行フレームのＰＴＳに閾値ＴＨｅを加算することにより生成した上記エラー表示用フレームのＰＴＳeと共に、画像変化点を表す情報としてメモリに記憶するようにしている。

したがって、例えば伝送路上で動画像ストリームに伝送エラーが発生し、その影響により動画像復号部１０１から出力される動画像フレームの一部が欠落したとしても、エラー表示用フレームＦeを表す特有の画像特徴量が、先行フレームのＰＴＳに閾値ＴＨｅを加算することにより生成した上記エラー表示用フレームのＰＴＳeと共に、画像変化点を表す情報としてメモリに記憶される。このため、メモリに記憶された情報をもとに部分動画像（ショット）の分割を行う場合に、例えば図４（ｃ）に示したように欠落フレームが存在するエラー区間を先行するショットに含めることなく独立したショットとして分割することが可能となる。

ちなみに、フレーム欠落の判定と、フレームが欠落した場合の画像切替点を表す情報の記憶処理を行わない従来の場合には、図４（ｂ）に示すように欠落フレームが存在するエラー区間が先行するショット１に含まれてしまい、正確なショット分割が行えなくなる。

（第２の実施形態）
この発明の第２の実施形態は、動画像復号部から復号動作時の瞬時リフレッシュ（ＩＤＲ；Instantaneous Decoding Refresh）ピクチャに対応するリフレッシュフレームのみを出力するようにして、このリフレッシュフレームをカット検出の対象とする。さらに、現行フレームとその直前の先行フレームとの間のＰＴＳ差分値がＩＤＲ周期と等しいか否かを判定し、ＰＴＳ差分値がＩＤＲ周期と等しい場合に上記現行フレームと先行フレーム間の画像特徴量の類似度をもとに画像変化点の有無を判定し、ＰＴＳ差分値がＩＤＲ周期と等しくない場合には上記現行フレームの画像特徴量とＰＴＳを無条件に画像変化点を示す情報として記憶するようにしたものである。

図５はこの発明の第２の実施形態に係わる動画像処理装置の機能構成を示すブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。

動画像処理装置としての制御ユニット２３′は、第２のＰＴＳ比較部１０７をさらに備えている。この第２のＰＴＳ比較部１０７は、第１のＰＴＳ比較部１０３により現行フレームと直前の先行フレームとの間のＰＴＳ差分値が閾値ＴＨｅ以内と判定された場合に、当該ＰＴＳ差分値が閾値ＴＨｃと等しいか否かを判定する。ここで、閾値ＴＨｃはＩＤＲ周期に対応する値に設定される。また、閾値ＴＨｅもＩＤＲ周期に対応する値、もしくはそれ以上の値に設定される。

そして第２のＰＴＳ比較部１０７は、ＰＴＳ差分値が閾値ＴＨｃと等しい場合に、特徴量比較部１０４に対しフレーム間の画像特徴量の類似度判定を行わせ、この判定の結果類似度が閾値以上であれば現行フレームの画像特徴量とＰＴＳを画像変化点を表す情報としてメモリに記憶させる。これに対し、ＰＴＳ差分値が閾値ＴＨｃより短い場合には、現行フレームのＩＤＲは周期的に挿入されたＩＤＲではなく動画像中にシーンチェンジが発生したために挿入されたＩＤＲであると判断して、上記現行フレームの画像特徴量とＰＴＳを無条件に画像変化点を表す情報としてメモリに記憶する。

次に、以上のように構成された装置の動作を説明する。図６はその動作手順と制御内容を示すフローチャートである。
動画像復号部１０１′では、ワンセグ放送信号から分離された動画像ストリームがH.264方式に従い復号され、さらにこの復号された動画像フレームのうちＩＤＲに対応するリフレッシュフレームのみが当該リフレッシュフレームのＰＴＳと共に一定のＩＤＲ周期で出力される（ステップＳ５１）。上記リフレッシュフレームが出力されると特徴量算出部１０２では、例えば当該出力されたリフレッシュフレーム（現行フレーム）についてその画像特徴量が算出され、この算出された画像特徴量が一時保持される（ステップＳ５２）。

次に第１のＰＴＳ比較部１０３′では、上記現行フレームのＰＴＳ（curＰＴＳ）とその直前の先行フレームのＰＴＳ（prevＰＴＳ）との差分値が算出され、この差分値が閾値ＴＨｅ以下であるか否かが判定される（ステップＳ５３）。このとき閾値ＴＨｅは、前記第１の実施形態とは異なり、ワンセグ放送により放送される動画像フレームのうちＩＤＲの周期に対応して２秒に設定される。

したがって、上記判定処理において、上記先行フレームから現行フレームまでのＰＴＳの差が２秒以内であれば、先行フレームと現行フレームとの間でリフレッシュフレームの欠落は発生していないと判定される。例えば、図６（ａ）に示すようにＩＤＲに相当する各リフレッシュフレームＩＤＲ00，ＩＤＲ01，…間のＰＴＳ時間差がいずれも閾値ＴＨｅ（＝ＩＤＲ周期）以内であれば、欠落フレームはないと判定される。

これに対し上記先行フレームから現行フレームまでのＰＴＳの差が２秒を超えている場合には、当該先行フレームと現行フレームとの間でリフレッシュフレームの欠落が発生していると判定される。例えば、図６（ｂ）のリフレッシュフレームＩＤＲ01とリフレッシュフレームＩＤＲ03との間のように、ＰＴＳ時間差が閾値ＴＨｅ（＝ＩＤＲ周期）を超えている場合には、当該先行フレームＩＤＲ01と現行フレームＩＤＲ03との間でリフレッシュフレームの欠落が発生していると判定される。

上記第１のＰＴＳ比較部１０３′によりフレームの欠落が発生していないと判定されると、次に第２のＰＴＳ比較部１０７により上記ＰＴＳ差分値が閾値ＴＨｃと等しいか否かが判定される（ステップＳ５４）。ここで、閾値ＴＨｃはＩＤＲ周期に対応する値に設定される。上記比較の結果、例えば図６（ａ）のリフレッシュフレームＩＤＲ00〜ＩＤＲ04のようにＰＴＳ差分値が閾値ＴＨｃと等しければ、現行フレームのＩＤＲは周期的に挿入されたＩＤＲであると見なされ、以後次のようにカット検出処理が行われる（ステップＳ５５）。

すなわち、特徴量比較部１０４により、上記特徴量算出部１０２により算出された現行フレームの画像特徴量と先行フレームの画像特徴量との間の類似度が算出され、この類似度が閾値と比較される。そして、類似度が閾値以上であれば、上記現行フレームが画像変化点（カット）であるとステップＳ５６判定され、当該現行フレームの画像特徴量とＰＴＳが上記画像変化点を示す情報として特徴量記憶部１０５によりメモリに記憶される（ステップＳ５７）。

これに対し類似度が閾値未満であれば、現行フレームは画像変化点（カット）でないとステップＳ５６により判定され、メモリへの現行フレームの画像特徴量の記憶は行われない。なお、以上の処理が終了すると、最後にＰＴＳ比較部１０３において保存してある先行フレームのＰＴＳ（curＰＴＳ）が、上記現行フレームのＰＴＳ（prevＰＴＳ）に更新される（ステップＳ５８）。

一方、上記第２のＰＴＳ比較部１０７による比較の結果、例えば図６（ａ）のリフレッシュフレームＩＤＲ04とＩＤＲ05との間のようにＰＴＳ差分値が閾値ＴＨｃより短ければ、現行フレームのＩＤＲは周期的に挿入されたＩＤＲではなく、動画像中にシーンチェンジが発生したために挿入されたＩＤＲであると見なされ、上記現行フレームの画像特徴量とそのＰＴＳが、特徴量記憶部１０５により無条件に画像変化点を表す情報としてメモリに記憶される（ステップＳ６２）。したがって、この場合にはステップＳ５５〜ステップＳ５６によるカット検出のための処理が省略され、その分制御ユニット２３′の処理負荷が軽減されて消費電力も低減される。

次に、上記第１のＰＴＳ比較部１０３′の比較の結果、欠落フレームがあると判定されたとする。この場合には、エラー特徴量生成部１０６により欠落フレームに代わるエラー表示用フレームを表す特有の画像特徴量が生成される（ステップＳ５９）。例えば、白色雑音画像から抽出される特徴量が上記特有の画像特徴量として生成される。具体的には、白色雑音画像から抽出した画像特徴量を表すデータを制御ユニット２３′内のメモリに予め記憶しておき、このメモリから上記白色雑音画像から抽出した画像特徴量のデータを読み出すことにより実現される。

そして、上記生成された特有の画像特徴量は、先行フレームのＰＴＳ（prevＰＴＳ）に上記閾値ＴＨｅ（＝ＩＤＲ周期）を加算した時刻値と共に、特徴量記憶部１０５によりメモリに記憶される（ステップＳ６０）。また、それと共に特徴量記憶部１０５では、上記特徴量算出部１０２により算出された現行フレームの画像特徴量が当該現行フレームのＰＴＳと共にメモリに記憶される（ステップＳ６１）。なお、以上の処理後に第１及び第２のＰＴＳ比較部１０３′，１０７では、保存してある先行フレームのＰＴＳ（curＰＴＳ）が上記現行フレームのＰＴＳ（prevＰＴＳ）に更新される（ステップＳ５８）。

例えば、図６（ｂ）に示すようにリフレッシュフレームＩＤＲ03において、その直前のフレームＩＤＲ01との間に欠落フレームがあると判定されたとすると、エラー特徴量生成部１０６により欠落フレームに代わるエラー表示用フレームＩＤＲeを表す特有の画像特徴量が生成され、この生成された特有の画像特徴量が、先行フレームＩＤＲ01のＰＴＳ01に上記閾値ＴＨｅ（＝ＩＤＲ周期）を加算することにより生成した上記エラー表示用フレームのと共に、特徴量記憶部１０５によりメモリに記憶される。
図６（ｃ）は以上のようにしてメモリに記憶された画像切替点を表す情報の一例を示すものである。

以上説明したように第２の実施形態によれば、前記第１の実施形態と同様に、伝送路上で動画像ストリームに伝送エラーが発生し、その影響により動画像復号部１０１から出力されるリフレッシュフレームの一部が欠落したとしても、エラー表示用フレームＩＤＲeを表す特有の画像特徴量が、先行フレームのＰＴＳに閾値ＴＨｅを加算することにより生成した上記エラー表示用フレームと共に、画像変化点を表す情報としてメモリに記憶される。このため、メモリに記憶された情報をもとに部分動画像（ショット）の分割を行う場合に、例えば図６（ｂ）に示したように欠落フレームが存在するエラー区間を先行するショットに含めることなく独立したショットとして分割することが可能となる。

また第２の実施形態では、上記第１のＰＴＳ比較部１０３′によりフレームの欠落が発生していないと判定された場合に、次に第２のＰＴＳ比較部１０７により上記ＰＴＳ差分値が閾値ＴＨｃと等しいか否かが判定される。そして、ＰＴＳ差分値が閾値ＴＨｃより短ければ、現行フレームのＩＤＲは周期的に挿入されたＩＤＲではなく、動画像中にシーンチェンジが発生したために挿入されたＩＤＲであると判定され、上記現行フレームの画像特徴量とそのＰＴＳが無条件に画像変化点を表す情報としてメモリに記憶される。したがって、この場合にはカット検出のための処理が省略され、その分制御ユニット２３′の処理負荷が軽減されて消費電力を低減することができる。

（その他の実施形態）
前記各実施形態では、ワンセグ放送受信機３０により受信された動画像ストリームについて画像変化点の検出及びショット分割を行う場合を例にとって説明した。しかし、それに限定されるものではなく、図１に示すようにワンセグ放送受信機３０により受信された動画像ストリームデータを一旦メモリカード等の外部記憶媒体２８に記憶させ、この外部記憶媒体２８から動画像ストリームデータを外部メモリインタフェース２７を介して制御ユニット２３に取り込み、この取り込んだ動画像ストリームデータに対し前記第１又は第２の実施形態で述べた処理を行うようにしてもよい。また、上記外部記憶媒体２８に記憶された動画像ストリームデータは、他の携帯端末や放送受信機により受信されたものを記憶したものでもよい。

その他、動画像処理装置の構成や処理手順、動画像ストリームの符号化方式の種類、動画像符号化装置が設けられる端末装置の種類とその構成などについても、この発明の要旨を意脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の第１の実施形態に係わる動画像処理装置を備えた携帯端末の構成を示すブロック図である。 図１に示した携帯端末の制御ユニットが有する動画像処理装置の機能構成を示すブロック図である。 図２に示した動画像処理装置による処理手順と処理内容を示すフローチャートである。 図２に示した動画像処理装置による処理動作の一例を説明するための図である。 この発明の第２の実施形態に係わる動画像処理装置の機能構成を示すブロック図である。 図５に示した動画像処理装置による処理手順と処理内容を示すフローチャートである。 図５に示した動画像処理装置による処理動作の一例を説明するための図である。

符号の説明

１０…入力デバイス、１１…アンテナ、１２…アンテナ共用器（ＤＵＰ）、１３…受信回路（ＲＸ）、１４…周波数シンセサイザ（ＳＹＮ）、１５…送信回路（ＴＸ）、１６…ＣＤＭＡ信号処理ユニット、１７…圧縮／伸長処理ユニット（コンパンダ）、１８…ＰＣＭ符号処理ユニット（ＰＣＭコーデック）、１９…受話増幅器、２０…スピーカ、２１…マイクロホン、２２…送話増幅器、２３，２３′…制御ユニット、２４…記憶ユニット、２５…バッテリ、２６…電源回路、２７…外部メモリインタフェース、２８…メモリカード、２９…表示器、３０…ワンセグ放送受信機、３１…放送受信用のアンテナ、１０１，１０１′…動画像復号部、１０２…特徴量算出部、１０３…ＰＴＳ比較部、１０３′…第１のＰＴＳ比較部、１０４…特徴量比較部、１０５…特徴量記憶部、１０６…エラー特徴量生成部、１０７…第２のＰＴＳ比較部。

Claims (3)

1. 動画像復号部から第１の周期で出力される復号後の動画像フレームをもとに、当該動画像フレームの内容が切り替わる画像変化点を表す情報を生成する動画像処理装置において、
   前記動画像復号部から動画像フレームが出力されるごとに、その画像の特徴量を算出する手段と、
   前記動画像復号部から動画像フレームが出力されるごとに、当該現行フレームの表示指定時刻と、当該現行フレームの直前の先行フレームの表示指定時刻との差分を計算し、この計算された差分が前記第１の周期に対応して設定された第１の閾値以内であるか否かを判定する手段と、
   前記計算された表示指定時刻の差分が前記第１の閾値以内であると判定された場合に、前記現行フレームと先行フレームとの間の画像特徴量の類似度を算出し、この算出された類似度が予め設定された判定値以上であるか否かを判定する手段と、
   前記算出された類似度が判定値以上と判定された場合に、前記現行フレームの画像特徴量をその表示指定時刻と共に画像変化点を表す情報としてメモリに記憶する手段と、
   前記計算された表示指定時刻の差分が前記第１の閾値を超えていると判定された場合に、欠落フレームに代わる代替フレームを表す特有の画像特徴量を生成する手段と、
   前記生成された特有の画像特徴量を、前記先行フレームの表示指定時刻と前記現行フレームの表示指定時刻との間に設定される代替フレーム用の表示指定時刻と共に画像変化点を表す情報として前記メモリに記憶する手段と
   を具備することを特徴とする動画像処理装置。
2. 前記特有の画像特徴量を生成する手段は、白色雑音画像から抽出される画像特徴量を予め記憶しておき、この記憶された画像特徴量を読み出して前記特有の画像特徴量とすることを特徴とする請求項１記載の動画像処理装置。
3. 前記動画像復号部が復号後の動画像フレームのうちリフレッシュフレームのみを出力する機能を備えている場合に、
   前記計算された表示時刻の差分が前記第１の閾値以内であると判定された場合に、現行リフレッシュフレームの表示指定時刻と、当該現行リフレッシュフレームの直前の先行リフレッシュフレームの表示指定時刻との差分を計算し、この計算された差分が前記リフレッシュフレームの出力周期に対応して設定された第２の閾値と等しいか否かを判定する手段と、
   前記計算された表示指定時刻の差分が前記第２の閾値と等しくないと判定された場合に、前記現行リフレッシュフレームの画像特徴量をその表示指定時刻と共に画像変化点を表す情報としてメモリに記憶する手段と
   を、さらに具備することを特徴とする請求項１記載の動画像処理装置。

Images