JP2010278997A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】画像に振動効果を自動的に付加又は強調することが可能な画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】データ抽出部１５は、コンテンツデータから画像データを抽出する。動きベクトル算出部１６は、データ抽出部１５がコンテンツデータから抽出した画像データに基づいて、画像の動きベクトルを算出する。パラメータ算出部１７は、動きベクトル算出部１６が算出した動きベクトルに基づいて、効果付加パラメータを算出する。画像生成部１８はパラメータ算出部１７が算出した効果付加パラメータに基づいて、画像データに振動効果を付加又は強調する。
【選択図】図１

Description

本発明は、画像データに画像効果を付加又は強調する画像処理装置、画像処理方法及びプログラムに関する。

コンテンツ製作における画像編集の過程において、映像コンテンツの内容をより印象的なものにするために様々な画像効果が画像に付加される。このような画像効果の１つの例として、画面の画像表示領域に対して画像を振動させる振動効果がある。振動効果は、画像内における人物の心の動揺を表現する場合、又は画像が揺れ動くような迫力のある爆発シーンを表現する場合等において有用な技法である。

特許文献１には、画像データに振動効果を付加するゲーム機が開示されている。該ゲーム機は、画面の画像表示領域内に上方から落下するブロックを積み上げていき、所定の条件が満たされた場合、積み上げた所定行数のブロックを消去させるゲーム機である。所定行数のブロックが消去された後、その上方に残る複数のブロックの量に応じて、前記ゲーム機の画像表示領域の画像が揺らされる。

一方、表示装置の発達に伴い、映画館のような大画面から携帯端末における小画面まで、異なる画面サイズにおいて同一の映像コンテンツを楽しめるようになってきている。しかし、同一の映像コンテンツを鑑賞する場合であっても、画面サイズ、画像の移動速度等の違いによって、映像コンテンツから受ける印象の異なることが報告されており（例えば、非特許文献１）、画面サイズが小さくなるほど、映像コンテンツの迫力感及び速度感の減少が示唆されている。

特開平９−２１５８６３号公報

小黒他、最適カメラワークの画面サイズ依存性の検討―ＶＲ技術と調整法を用いた最適値導出実験―、画像電子学会第３４回年次大会予稿集、２００６年、Ｐ３５−３６

しかしながら、特許文献１の発明は、ゲーム機の画像に係る振動効果であり、テレビ番組、映画等の一般的な画像に振動効果を付加することは困難である。一般的な画像に振動効果を付加するためには、コンテンツ製作者に映像処理ソフトウェアを扱う高度な専門知識が求められるからである。

本発明はかかる事情に鑑みてなされたものであり、コンテンツデータに含まれるデータを利用して、画像の表示位置、表示サイズ又は外部の表示部に対する表示方向を変化させることにより、画像に振動効果を自動的に付加又は強調することが可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

本発明に係る画像処理装置は、コンテンツデータに含まれる画像データが示す画像を外部の表示部に出力する画像処理装置において、前記コンテンツデータから所定のデータを抽出する抽出手段と、該抽出手段により抽出したデータを解析する解析手段と、該解析手段による解析結果に基づいて、前記画像データが示す画像の表示位置、表示サイズ又は前記表示部に対する表示方向を決定する手段とを備えることを特徴とする。

本発明に係る画像処理装置は、前記抽出手段は、前記コンテンツデータから画像データ、音声データ又は字幕データを抽出するようにしてあることを特徴とする。

本発明に係る画像処理装置は、前記解析手段は、前記抽出手段により抽出された画像データが示す画像の動きベクトルを算出するようにしてあることを特徴とする。

本発明に係る画像処理装置は、前記解析手段は、前記抽出手段により抽出された音声データが示す音の振幅変化を算出するようにしてあることを特徴とする。

本発明に係る画像処理装置は、前記解析手段は、前記抽出手段により抽出された字幕データが示す文字列に基づいて、前記画像データが示す画像の表示位置、表示サイズ又は前記表示部に対する表示方向を決定する情報を取得するようにしてあることを特徴とする。

本発明に係る画像処理装置は、前記解析手段は、前記画像データが示す画像を視聴する視聴条件に応じて、前記解析手段による解析結果を補正するようにしてあることを特徴とする。

本発明に係る画像処理装置は、前記表示部に表示される画像のサイズを検出する画像サイズ検出手段を備え、前記視聴条件は、前記画像サイズ検出手段により検出される画像のサイズであることを特徴とする。

本発明に係る画像処理装置は、視聴距離を検出する視聴距離検出手段を備え、前記視聴条件は、前記視聴距離検出手段により検出される視聴距離であることを特徴とする。

本発明に係る画像処理方法は、コンテンツデータに含まれる画像データが示す画像を外部に出力させる画像処理方法において、前記コンテンツデータから所定のデータを抽出する抽出ステップと、該抽出ステップにより抽出したデータを解析する解析ステップと、該解析ステップによる解析結果に基づいて、前記画像データが示す画像の表示位置、表示サイズ又は表示方向を決定するステップとを含むことを特徴とする。

本発明に係るプログラムは、コンピュータに、コンテンツデータに含まれる画像データが示す画像を外部に出力させるプログラムにおいて、コンピュータに、前記コンテンツデータから所定のデータを抽出する抽出ステップと、該抽出ステップにより抽出したデータを解析する解析ステップと、該解析ステップによる解析結果に基づいて、前記画像データが示す画像の表示位置、表示サイズ又は表示方向を決定するステップとを実行させることを特徴とする。

本発明に係るプログラムは、前記抽出ステップは、前記コンテンツデータから画像データ、音声データ又は字幕データを抽出することを特徴とする。

本発明に係るプログラムは、前記解析ステップは、前記抽出ステップにより抽出された画像データが示す画像の動きベクトルを算出することを特徴とする。

本発明に係る画像処理装置、画像処理方法及びプログラムにおいては、コンテンツデータから所定のデータを抽出し、抽出した前記所定のデータを解析する。そして、解析した結果に基づいて、コンテンツデータに含まれる画像データが示す画像の表示位置、表示サイズ又は表示部に対する表示方向を決定する。

本発明に係る画像処理装置及びプログラムにおいては、コンテンツデータから画像データ、音声データ又は字幕データを抽出する。

本発明に係る画像処理装置及びプログラムにおいては、コンテンツデータから抽出した画像データに基づいて、画像の動きベクトルを算出する。

本発明に係る画像処理装置においては、コンテンツデータから抽出した音声データに基づいて、音声データが示す音の振幅変化を算出する。

本発明に係る画像処理装置においては、コンテンツデータから抽出した字幕データが示す文字列に基づいて、画像データが示す画像の表示位置、表示サイズ又は表示部に対する表示方向を決定する情報を取得する。

本発明に係る画像処理装置においては、画像データに基づく画像を視聴する視聴条件に応じて、解析手段による解析結果を補正する。

本発明に係る画像処理装置においては、表示部に表示される画像のサイズを検出する画像サイズ検出手段を備えている。そして、画像サイズ検出手段により検出される画像のサイズに応じて、解析手段による解析結果を補正する。

本発明に係る画像処理装置においては、視聴距離を検出する視聴距離検出手段を備えている。そして、視聴距離検出手段により検出される視聴距離に応じて、解析手段による解析結果を補正する。

本発明に係る画像処理装置、画像処理方法及びプログラムは、画像に振動効果を自動的に付加又は強調することができる。

実施の形態１に係る画像処理装置の構成を示すブロック図である。 画像全体の動きベクトルの算出方法の一例を示す説明図である。 画像の拡大を示す動きベクトルを判断する説明図である。 画像の回転を示す動きベクトルを判断する説明図である。 サンプル映像の説明図である。 実施の形態１に係る振動効果を付加又は強調した映像の一例を示す説明図である。 実施の形態１に係る振動効果を付加又は強調した映像の一例を示す説明図である。 実施の形態１に係る振動効果を付加又は強調した映像の一例を示す説明図である。 実施の形態１に係る奥行き方向への振動効果を示す概念図である。 実施の形態１に係る振動効果を付加又は強調した映像の一例を示す説明図である。 実施の形態１に係る画像処理装置の処理の手順を示すフローチャートである。 実施の形態１に係るパラメータ算出処理の手順を示すフローチャートである。 ジャンル別パラメータ補正処理の手順を示すフローチャートである。 黒帯画像挿入処理の手順を示すフローチャートである。 実施の形態２に係る画像処理装置の構成を示すブロック図である。 実施の形態２に係る画像処理装置の処理の手順を示すフローチャートである。 実施の形態２に係るパラメータ算出処理の手順を示すフローチャートである。 実施の形態３に係る画像処理装置の構成を示すブロック図である。 パラメータテーブルのレコードレイアウトを示す説明図である。 実施の形態３に係る画像処理装置の処理の手順を示すフローチャートである。 実施の形態４に係る画像表示サイズに関する説明図である。 実施の形態４に係る画像処理装置の構成を示すブロック図である。 実施の形態４に係る画像処理装置の処理の手順を示すフローチャートである。 サイズ補正比算出処理の手順を示すフローチャートである。 実施の形態５に係る画像処理装置の構成を示すブロック図である。 実施の形態５に係る画像処理装置の処理の手順を示すフローチャートである。 距離比算出処理の手順を示すフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。
実施の形態１
実施の形態１は、コンテンツデータに含まれる複数フレーム（画像）からなる画像データを利用して、画像データに振動効果を付加又は強調する形態に係る。
ここで振動効果は、画面の画像表示領域に対して画像を振動させる効果だけでなく、画像の移動、拡大、縮小及び回転等を含む効果である。画像の移動、拡大、縮小及び回転等が夫々異なる方向へ繰り返される場合、画面の画像表示領域に対して画像の振動している効果が得られる。

図１は、実施の形態１に係る画像処理装置１の構成を示すブロック図である。
画像処理装置１は、制御部１０、ＲＯＭ（Read Only Memory）１１、ＲＡＭ（Random Access Memory）１２、操作部１３、入力部１４、データ抽出部１５、動きベクトル算出部１６、パラメータ算出部１７、画像生成部１８及び出力部１９を備えており、各構成部はバス１ａを介して接続されている。

制御部１０は、具体的にはＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等で構成されており、バス１ａを介して各構成部の操作を制御する。また、制御部１０は、ＲＯＭ１１又はＣＤ−ＲＯＭ等の可搬型記憶媒体１１ａに予め記憶されているプログラム９を適宜ＲＡＭ１２に読み込み実行する。

ＲＯＭ１１は、書き込み及び消去可能なＥＰＲＯＭ（Erasable Programmable ROM）、フラッシュメモリ等であり、画像処理装置を実施の形態１に係る画像処理装置１として動作させるために必要な種々のプログラム９が予め記憶されている。ＲＡＭ１２は、ＳＲＡＭ（Static Random Access Memory）又はＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等で構成され、制御部１０によるプログラム９の実行時に発生する作業用のデータを一時的に記憶する。

操作部１３は、例えばマウス、キーボード、タッチパネル、ボタン及びスイッチ等の操作手段である。また、操作部１３は、赤外線又は電波等を利用して画像処理装置１に制御信号を送信することが可能な遠隔操作装置であってもよい。

入力部１４は、例えばデジタル放送チューナ、ＨＤ（Hard Disk）ドライブ、ＤＶＤ（Digital Versatile Disc）ドライブ、パソコン、デジタルカメラ等との接続が可能に構成されており、上記各機器から入力されたコンテンツデータをデータ抽出部１５へ出力する。
ここで、コンテンツデータは、例えばＭＰＥＧ（Moving Picture Experts Group）−２方式で圧縮されているＴＳ（Transport Stream）のコンテンツデータであり、映像、音声及び字幕等のＰＥＳ（Packetized Elementary Stream）データ形式の他に、セクションと呼ばれるデータ形式も含まれる。セクションには、ＰＡＴ（Program Association Table）、ＰＭＴ（Program Map Table）等の番組特定情報であるＰＳＩ（Program Specific Information）、及びＥＩＴ（Event Information Table）、ＴＯＴ（Time Offset Table）等の番組配列情報であるＳＩ（Service Information）も含まれる。なお、コンテンツデータがアナログデータである場合には、アナログデータをＭＰＥＧ−２方式のデジタル信号に変換して、入力部１４に入力されるものとする。

ＴＳは、固定長のＴＳパケットが複数個集まって構成される。ＴＳパケットは、パケットヘッダ、アダプテーションフィールド及びペイロードで構成される。ペイロードは、ＰＥＳデータ及びセクションデータである。アダプテーションフィールドは、ペイロードの大きさが規定の大きさになるようにダミーのビットでスタッフィングするデータである。
パケットヘッダには、ＰＩＤ（Packet Identifier）と呼ばれるパケット識別子が含まれる。ＰＩＤは、各ＴＳパケットが伝送しているデータを識別する番号である。ＰＩＤを参照することにより、各ＴＳパケットによって伝送されているデータが映像、音声又は字幕データ等のいずれであるかが識別される。

ＴＳは、複数の番組を多重化して伝送することができる。そのため、前記ＰＩＤがどの番組の映像、音声及び字幕データ等であるかを識別するための情報を、ＰＳＩのＰＡＴ及びＰＭＴから取得する。ＰＭＴには、１つの番組の映像、音声及び字幕データ等のＰＩＤが記述されている。ＰＡＴには、どのＰＭＴにどの番組が対応するかについて記述されている。そこで、ＰＡＴ及びＰＭＴから、パケットヘッダのＰＩＤを介して、伝送されてくるコンテンツデータから特定番組の映像、音声及び字幕データ等を抽出することができる。

データ抽出部１５は、入力部１４より入力されたコンテンツデータから画像データ及びセクションデータを抽出する。
データ抽出部１５は、入力部１４より入力されたコンテンツデータに係るＴＳの変調信号を復調する。データ抽出部１５は、復調したパケットのＰＡＴ、ＰＭＴ及びＰＩＤを参照して、ＴＳを個々の番組の映像、音声及び字幕等のパケットデータに分離する。また、データ抽出部１５は、分離された画像データに係る圧縮符号化データから映像信号を復号し、動きベクトル算出部１６へ出力する。また、データ抽出部１５は、抽出したセクションデータのＥＩＴ等を制御部１０へ出力する。さらに、データ抽出部１５は、復調、復号を経て抽出した画像データを画像生成部１８又は出力部１９へ出力する。

動きベクトル算出部１６は、データ抽出部１５から抽出された画像データを入力し、画面の画像表示領域に表示される画像全体の動きベクトルを算出する。
図２は、画像全体の動きベクトル４の算出方法の一例を示す説明図である。動きベクトル算出部１６は、画像表示領域６の９箇所に破線で示す部分動きベクトル検出領域６ａを配置し、黒色矢印で示す夫々の部分動きベクトル３を算出する。動きベクトル算出部１６は、例えばフレーム間のブロックマッチング、勾配法等から、各部分動きベクトル３を算出する。そして、動きベクトル算出部１６は、各部分動きベクトル３の相加平均値を求めることにより、白抜き矢印で示す画像全体の動きベクトル４を算出する。図２では、画像全体の動きベクトル４は、画像が右に移動することに対応する。

なお、部分動きベクトル検出領域６ａは、画像表示領域６の９箇所に限らない。部分動きベクトル検出領域６ａを、画像表示領域６に９箇所未満配置してもよいし、１０箇所以上配置してもよい。
また、動きベクトルの算出にあたり、画像データのフレームレートが例えば６０（Ｈｚ）である場合、１秒間に６０フレームを使用して動きベクトルを算出してもよいし、処理の負荷を減少させるために、適宜間引かれたフレームを使用して動きベクトルを算出してもよい。
画像全体の動きベクトル４は、部分動きベクトル３の相加平均値に限らず、例えば部分動きベクトル３の相乗平均値であってもよい。

動きベクトル算出部１６は、各部分動きベクトル３のパターン認識を行うことで、画像の拡大、縮小又は回転等を示す動きベクトルの判断も行うことができる。
例えば、図３は、画像の拡大を示す動きベクトルを判断する説明図である。破線で囲まれた、９箇所の部分動きベクトル検出領域６ａにおいて、夫々黒色矢印で示す部分動きベクトルが算出され、各部分動きベクトル３の相加平均値はゼロベクトルとなる。しかし、各部分動きベクトル３は、画像表示領域６の略中央から外側へ向かって放射状に分布しており、画像の拡大パターンを認識することができる。

図４は、画像の回転を示す動きベクトルを判断する説明図である。破線で囲まれた、９箇所の部分動きベクトル検出領域６ａにおいて、夫々黒色矢印で示す部分動きベクトルが算出され、各部分動きベクトル３の相加平均値はゼロベクトルとなる。しかし、各部分動きベクトル３は、画像表示領域６の略中央を中心として反時計回りに分布しており、画像の回転パターンを認識することができる。
動きベクトル算出部１６は、パターン認識が可能な部分動きベクトル３又は画像全体の動きベクトル４を制御部１０及びパラメータ算出部１７へ出力する。

実施の形態１の画像処理装置１において、制御部１０は、画像データに振動効果を付加又は強調するか否か判断する判断手段として動作する。
制御部１０は、パターン認識が可能な部分動きベクトル３又は画像全体の動きベクトル４が算出され、かつ算出された動きベクトルの大きさが所定の閾値Ｂより大きい場合、画像データに振動効果を付加又は強調すると判断し、データ抽出部１５に対して抽出した画像データを画像生成部１８へ出力させる。一方、制御部１０は、パターン認識が可能な部分動きベクトル３及び画像全体の動きベクトル４が算出されない場合、又はパターン認識が可能な部分動きベクトル３及び画像全体の動きベクトル４の大きさが所定の閾値Ｂ未満である場合、データ抽出部１５に対して抽出した画像データを出力部１９へ出力させる。
閾値Ｂは予めＲＯＭ１１に記憶されており、制御部１０はＲＯＭ１１から閾値Ｂを読み込んで、上記の判断処理を実行する。閾値Ｂは、例えば操作部１３にＧＵＩ（Graphical User Interface）で示されるスライドバーを設け、スライドバーで設定された値に適宜変更可能とする。操作部１３から入力された閾値Ｂは、ＲＯＭ１１に記憶される。

また、制御部１０は、コンテンツのジャンルに基づいて、画像データに振動効果を付加又は強調するか否か判断する判断手段として動作する。
振動効果を付加又は強調するコンテンツのジャンルは、予めＲＯＭ１１に記憶しておく。コンテンツデータのジャンルは、例えばＴＳのセクションデータに含まれるＳＩのＥＩＴから取得する。制御部１０は、ＲＯＭ１１から振動効果を付加又は強調するコンテンツのジャンルを読み込み、データ抽出部１５からＥＩＴを入力する。制御部１０は、コンテンツデータのジャンルが振動効果を付加又は強調するジャンルに該当する場合、画像データに振動効果を付加又は強調すると判断する。一方、制御部１０は、コンテンツデータのジャンルが振動効果を付加又は強調するジャンルに該当しない場合、画像データに振動効果を付加及び強調しないと判断する。
振動効果を付加又は強調するコンテンツのジャンルは、例えば操作部１３に画面及びキーボードを設け、画面上で追加、削除、変更等、適宜編集可能とする。操作部１３から編集された、振動効果を付加又は強調するコンテンツのジャンルは、ＲＯＭ１１に記憶される。
制御部１０は、ＥＩＴから取得したコンテンツデータのジャンルに係る情報を、パラメータ算出部１７に出力する。

振動効果が効果的なジャンル、例えばスポーツ、アニメ等の番組の画像データにのみ振動効果を付加又は強調し、他の番組ジャンルの画像データには振動効果を付加及び強調しないことにより、メリハリのある映像を通してコンテンツを楽しむことができる。
また、緊急地震速報の画像データに、より誇張した振動効果を付加又は強調することにより、難聴者に対してであっても、地震情報への注意を喚起することができる。

パラメータ算出部１７は、動きベクトル算出部１６が算出した、パターン認識が可能な部分動きベクトル３又は画像全体の動きベクトル４を基に、効果付加パラメータを算出する。効果付加パラメータは、画像データに付加されるパラメータであり、画像の移動方向及び移動量である。

効果付加パラメータの移動方向は、パターン認識が可能な部分動きベクトル３又は画像全体の動きベクトル４と同一方向に設定する場合と、異なる方向に設定する場合がある。
効果付加パラメータの移動方向がパターン認識の可能な部分動きベクトル３又は画像全体の動きベクトル４と同一方向の場合、振動効果の強調となる。また、効果付加パラメータの移動方向がパターン認識の可能な部分動きベクトル３又は画像全体の動きベクトル４と異なる方向の場合、振動効果の付加となる。

パラメータ算出部１７は、動きベクトル算出部１６が算出した動きベクトルに基づいて、効果付加パラメータの移動量Ｅ＿ｖａｌ（画素）を算出する。
効果付加パラメータの移動量Ｅ＿ｖａｌ（画素）は、動きベクトル算出部１６が算出したパターン認識が可能な部分動きベクトル３又は画像全体の動きベクトル４の大きさＶ＿ｖａｌ（画素）を基にして、式（１）のように算出される。
Ｅ＿ｖａｌ＝α×Ｖ＿ｖａｌ （１）
ここで、αは任意の定数である。αのデフォルト値は１．０として、予めＲＯＭ１１に記憶されている。パラメータ算出部１７は、ＲＯＭ１１からαを読み込み、式（１）の算出を実行する。
例えば、式（１）のＶ＿ｖａｌとして画像全体の動きベクトル４の大きさＶ＿ｖａｌを採用する場合、画像の移動量は、画像全体の動きベクトル４の移動量Ｖ＿ｖａｌにα＝１．０としたときの移動量Ｅ＿ｖａｌが加算されるため、元の２倍になる。αは、例えば操作部１３にＧＵＩで示されるスライドバーを設け、スライドバーで設定された値に適宜変更可能とする。操作部１３から入力された定数αは、ＲＯＭ１１に記憶される。なお、上記αのデフォルト値は、例示に過ぎず、１．０に限らない。

また、パラメータ算出部１７は、コンテンツのジャンルに基づいて、効果付加パラメータの移動量Ｅ＿ｖａｌ（画素）を補正する。
パラメータ算出部１７は、制御部１０からコンテンツデータのジャンルに係る情報を入力すると共に、予めコンテンツのジャンルごとにＲＯＭ１１に記憶されている補正値を読み込み、移動量Ｅ＿ｖａｌに補正値を掛けて補正する。コンテンツがスポーツ番組又はアニメ番組である場合、補正値は例えば１．５である。あるいは、コンテンツが緊急地震速報である場合、補正値は例えば２．０である。パラメータ算出部１７は、コンテンツデータのジャンルが補正値としてＲＯＭ１１に記憶されていないジャンルである場合、移動量Ｅ＿ｖａｌを補正しない。
コンテンツのジャンルごとの補正値は、例えば操作部１３にＧＵＩで示されるスライドバーを設け、スライドバーで設定された値に適宜変更可能とする。操作部１３から入力された補正値は、ＲＯＭ１１に記憶される。
パラメータ算出部１７は、補正した効果付加パラメータの移動方向及び移動量Ｅ＿ｖａｌを画像生成部１８へ出力する。

画像生成部１８は、パラメータ算出部１７が算出した効果付加パラメータの移動方向及び移動量Ｅ＿ｖａｌだけ、画面の画像表示領域６に対して画像が移動するように、振動効果を付加又は強調した画像データを生成する。
画像生成部１８は、振動効果を付加又は強調した画像データを出力部１９へ出力する。

出力部１９は、画像生成部１８から入力された画像データを外部の表示装置２（表示部）へ出力する。
出力部１９は、制御部１０が画像データに振動効果を付加及び強調しないと判断した場合、データ抽出部１５が抽出した画像データをデータ抽出部１５から入力し、そのまま表示装置２へ出力する。

表示装置２は、例えば図示しない液晶パネル、有機ＥＬ（Electro-Luminescence）ディスプレイ、プラズマディスプレイ等の画面を備え、出力部１９から入力された画像データを前記画面に表示する。

図５は、サンプル映像の説明図である。図６は、実施の形態１に係る振動効果を付加又は強調した映像の一例を示す説明図である。
効果付加パラメータの移動方向を、画像全体の動きベクトル４の方向と同一方向にする場合、図５の画像データから算出した画像全体の動きベクトル４の方向が図２のように右方向であったときに、効果付加パラメータの移動方向は右方向となる。図６は、画像５が画像全体の動きベクトル４と同じ移動量だけ、画像表示領域６に対して右へシフト移動する振動効果の強調例を示している。
画像生成部１８は、画像データに振動効果を強調することによって、画像表示領域６に画像データ外領域７が生じる場合には、図６に示すように画像データ外領域７に黒帯画像を挿入する。

図７は、実施の形態１に係る振動効果を付加又は強調した映像の一例を示す説明図である。画像全体の動きベクトル４として、動きベクトル算出部１６により図２のように右方向の動きベクトルが算出された後、図２のような右方向と反対の左方向の動きベクトルが算出される場合、画像生成部１８は、画像表示領域６に対して画像５を左にシフト移動した画像５を生成する。その後、画像全体の動きベクトル４として、動きベクトル算出部１６により図２のように右方向の動きベクトルが算出される場合、画像生成部１８は、画像表示領域６に対して右にシフト移動した画像５を生成する。このように画像全体の動きベクトル４の方向が時間経過に伴い変化する場合、生成される画像は、画像表示領域６に対して振動が強調されたものとなる。図７は、画像５が画像全体の動きベクトル４と同じ移動量だけ、画像表示領域６に対して左右に振動する例を示している。
画像生成部１８は、画像データに左右に振動する振動効果を強調することによって、画像表示領域６に画像データ外領域７が生じる場合には、図７に示すように画像データ外領域７に黒帯画像を挿入する。

図８は、実施の形態１に係る振動効果を付加又は強調した映像の一例を示す説明図である。動きベクトル算出部１６により図３のように画像５の拡大パターンを示す部分動きベクトル３が算出された後、図３のような拡大とは反対の縮小パターンを示す部分動きベクトル３が算出される場合、画像生成部１８は、画像表示領域６に対して画像５を縮小した画像５を生成する。その後、動きベクトル算出部１６により画像５の拡大パターンを示す部分動きベクトル３が算出される場合、画像生成部１８は、画像表示領域６に対して拡大した画像５を生成する。このようにパターン認識可能な部分動きベクトル３の方向が時間経過に伴い変化する場合、生成される画像は、画像表示領域６に対して拡大縮小による振動が強調されたものとなる。図８は、画像５が部分動きベクトル３と同じ移動量だけ、画像表示領域６に対して拡大縮小により振動する例を示している。
画像生成部１８は、画像データに拡大縮小による振動効果を強調することによって、画像表示領域６に画像データ外領域７が生じる場合には、図８に示すように画像データ外領域７に黒帯画像を挿入する。

図９は、実施の形態１に係る奥行き方向への振動効果を示す概念図である。図９の視点位置３０から映像を見る場合、視点位置３０に対する画面の前後方向への周期的移動は、図８のような２次元平面における画像５の拡大縮小に係る振動効果に対応する。

図１０は、実施の形態１に係る振動効果を付加又は強調した映像の一例を示す説明図である。動きベクトル算出部１６により図４のように反時計回りの回転パターンを示す部分動きベクトル３が算出された後、図４のような反時計回りとは反対の、時計回りの回転パターンを示す部分動きベクトル３が算出される場合、画像生成部１８は、画像表示領域６に対して画像５を時計回りに回転した画像５を生成する。その後、動きベクトル算出部１６により図４のような反時計回りの回転パターンを示す部分動きベクトル３が算出される場合、画像生成部１８は、画像表示領域６に対して反時計回りに回転した画像５を生成する。このようにパターン認識可能な部分動きベクトル３の方向が時間経過に伴い変化する場合、生成される画像は、画像表示領域６に対して回転による振動が強調されたものとなる。図１０は、画像５が部分動きベクトル３と同じ移動量だけ、画像表示領域６に対して回転により振動する例を示している。
画像生成部１８は、画像データに回転により振動する振動効果を強調することによって、画像表示領域６に画像データ外領域７が生じる場合には、図１０に示すように画像データ外領域７に黒色画像を挿入する。

一方、効果付加パラメータの移動方向を、パターン認識が可能な部分動きベクトル３又は画像全体の動きベクトル４の方向と異なる方向にすることもできる。
例えば、動きベクトル算出部１６により画像全体の動きベクトル４として、図２のような右方向の動きベクトルが算出された場合、画像生成部１８が画像データに図８のような拡大縮小による振動効果を付加する態様でもよい。かかる場合、図２の画像全体の動きベクトル４に基づく振動効果の強調は行わずに、拡大縮小の振動効果のみを付加した態様でもよいし、図２の画像全体の動きベクトル４に基づく振動効果の強調に加えて、拡大縮小の振動効果を付加した態様でもよい。
上述のように、画像全体の動きベクトル４として、図２のような右方向の動きベクトルが算出された場合、図８に示すように画像５を拡大縮小させることは、新たな振動効果の付加に相当する。

また、例えば、動きベクトル算出部１６により図４に示す回転に係るパターン認識が可能な部分動きベクトル３が算出された場合、回転による振動効果の強調と共に又は回転による振動効果の強調は行わずに、画像生成部１８が図７のような左右方向の振動効果を画像データに付加する態様でもよい。この場合も振動効果の付加に相当する。
振動効果の付加は、付加する振動効果の種類を組み合わせることにより、多種多様な振動効果のバリエーションを実現することができる。

次に、実施の形態１に係る画像処理装置１の処理の手順を説明する。図１１は、実施の形態１に係る画像処理装置１の処理の手順を示すフローチャートである。
データ抽出部１５は、入力部１４より入力したコンテンツデータから画像データ及びＥＩＴを抽出する（ステップＳ１１１）。動きベクトル算出部１６は、データ抽出部１５が抽出した画像データに基づいて、動きベクトルを算出する（ステップＳ１１２）。制御部１０は、ＲＯＭ１１から閾値Ｂを読み込み、動きベクトル算出部１６が算出した動きベクトルの大きさを閾値Ｂと比較する（ステップＳ１１３）。

制御部１０は、動きベクトル算出部１６が算出した動きベクトルの大きさが閾値Ｂ以上であると判断した場合（ステップＳ１１３：ＹＥＳ）、データ抽出部１５が抽出したＥＩＴに基づいて、コンテンツのジャンルが振動効果を付加又は強調するジャンルか否か判断する（ステップＳ１１４）。

制御部１０により、コンテンツのジャンルが振動効果を付加又は強調するジャンルと判断された場合（ステップＳ１１４：ＹＥＳ）、パラメータ算出部１７は動きベクトル算出部１６が算出した動きベクトルに基づいて、効果付加パラメータを算出する（ステップＳ１１５）。また、パラメータ算出部１７は、コンテンツのジャンルに基づいて、効果付加パラメータを補正する（ステップＳ１１６）。画像生成部１８は、パラメータ算出部１７が算出及び補正した効果付加パラメータに基づいて、画像データに振動効果を付加又は強調する（ステップＳ１１７）。画像生成部１８は、振動効果を付加又は強調した画像に黒帯画像又は黒色画像を挿入する（ステップＳ１１８）。出力部１９は、画像生成部１８が生成した画像データを出力し（ステップＳ１１９）、処理を終える。

制御部１０により、動きベクトル算出部１６が算出した動きベクトルの大きさが閾値Ｂ未満であると判断された場合（ステップＳ１１３：ＮＯ）、コンテンツのジャンルが振動効果を付加及び強調しないジャンルであると判断された場合（ステップＳ１１４：ＮＯ）、出力部１９はデータ抽出部１５が抽出した画像データを、そのまま出力し（ステップＳ１１９）、処理を終える。

次に、ステップＳ１１５でパラメータ算出部１７が実行するパラメータ算出処理の手順について説明する。図１２は、実施の形態１に係るパラメータ算出処理の手順を示すフローチャートである。パラメータ算出部１７は、動きベクトル算出部１６が算出した、パターン認識が可能な部分動きベクトル３又は画像全体の動きベクトル４を入力する（ステップＳ１２１）。パラメータ算出部１７は、パターン認識が可能な部分動きベクトル３又は画像全体の動きベクトル４の方向を効果付加パラメータの移動方向として設定する（ステップＳ１２２）。例えば、入力された動きベクトルがパターン認識の可能な部分動きベクトル３である場合、効果付加パラメータの移動方向は拡大、縮小、時計回り回転又は反時計回り回転等である。また、入力された移動ベクトルが画像全体の動きベクトル４である場合、効果付加パラメータの移動方向は上、下、左、右等である。
パラメータ算出部１７は、パターン認識が可能な部分動きベクトル３又は画像全体の動きベクトル４の大きさに基づいて、式（１）から移動量を算出する（ステップＳ１２３）。パラメータ算出部１７は、算出した移動量を効果付加パラメータの移動量として設定する（ステップＳ１２４）。

ステップＳ１１６でパラメータ算出部１７が実行するジャンル別パラメータ補正処理の手順について説明する。図１３は、ジャンル別パラメータ補正処理の手順を示すフローチャートである。パラメータ算出部１７は、制御部１０からコンテンツデータのジャンルを入力する（ステップＳ１３１）。パラメータ算出部１７は、ＲＯＭ１１からコンテンツのジャンル別補正値を読み込む（ステップＳ１３２）。パラメータ算出部１７は、ステップＳ１３１で入力したコンテンツデータのジャンル及びステップＳ１３２で読み込んだ補正値が対応するジャンルが一致するか否か判断する（ステップＳ１３３）。すなわち、パラメータ算出部１７は、コンテンツデータのジャンルが補正対象のジャンルか否か判断する。パラメータ算出部１７は、コンテンツデータのジャンルが補正対象であると判断した場合（ステップＳ１３３：ＹＥＳ）、効果付加パラメータの移動量に補正値を掛け（ステップＳ１３４）、処理を終える。
一方、パラメータ算出部１７は、コンテンツデータのジャンルが補正対象でないと判断した場合（ステップＳ１３３：ＮＯ）、効果付加パラメータの補正をしないで、処理を終える。

ステップＳ１１８で画像生成部１８が実行する黒帯画像挿入処理の手順について説明する。図１４は、黒帯画像挿入処理の手順を示すフローチャートである。画像生成部１８は、画像表示領域６とステップＳ１１７で生成した振動効果を付加又は強調した画像５とを対比し、画像５に画像データ外領域７が生じているか否か判断する（ステップＳ１４１）。画像生成部１８は、画像５に画像データ外領域７が生じていると判断した場合（ステップＳ１４１：ＹＥＳ）、画像データ外領域７に黒帯画像又は黒色画像を挿入し（ステップＳ１４２）、処理を終える。画像生成部１８は、画像５に画像データ外領域７が生じていないと判断した場合（ステップＳ１４１：ＮＯ）、画像データ外領域７に黒帯画像及び黒色画像を挿入しないで、処理を終える。

実施の形態１に係る画像処理装置１によれば、映像コンテンツデータの動きベクトルを利用することで、映像処理ソフトウェアに関する専門的な知識を有することなく、また映像コンテンツの情報量を増やすことなく、映像に対して振動効果を自動的に付加又は強調することができる。

実施の形態１では、パターン認識が可能な部分動きベクトル又は画像全体の動きベクトルを、フレーム間のブロックマッチング等から算出した。しかし、ＭＰＥＧ−２方式では動き補償のために、画像がブロックに分割され、ブロックごとの動きベクトルが画像データの中に含まれている。そこで、パターン認識が可能な部分動きベクトル又は画像全体の動きベクトルを求めるために、画像データに含まれる動きベクトルを利用する形態であってもよい。これにより、動きベクトル算出部の負荷を減少させることができる。

実施の形態１では、振動効果を付加又は強調するコンテンツのジャンルを、操作部に設けた画面及びキーボードから編集可能としたが、編集手段は画面及びキーボードに限られず、どのような手段を用いてもよい。

実施の形態１では、プログラムはＲＯＭ又は可搬型記憶媒体に予め記憶されているものとした。しかし、実施の形態１に係る画像処理装置を動作させるプログラムは、通信網及びサーバコンピュータからＲＯＭ又は可搬型記憶媒体にダウンロードする形態であってもよい。あるいは、ＲＯＭ等の記憶手段を画像処理装置の外部に備える形態であってもよい。

実施の形態２
実施の形態２は、コンテンツデータに含まれる音声データを利用して、画像データに振動効果を付加又は強調する形態に係る。
図１５は、実施の形態２に係る画像処理装置１の構成を示すブロック図である。実施の形態２の画像処理装置１は、制御部１０、ＲＯＭ１１、ＲＡＭ１２、操作部１３、入力部１４、データ抽出部１５、振幅比算出部２１６、パラメータ算出部２１７、画像生成部１８及び出力部１９を備えており、各構成部はバス１ａを介して接続されている。

入力部１４は、コンテンツデータをデータ抽出部１５へ出力する。

データ抽出部１５は、入力部１４より入力されたコンテンツデータを復調、復号して、画像データ及び音声データを抽出する。データ抽出部１５は、前記画像データ及び音声データを振幅比算出部２１６へ出力する。また、データ抽出部１５は、画像データを画像生成部１８又は出力部１９へ出力する。

振幅比算出部２１６は、データ抽出部１５から入力された画像データのフレームレートを読み込み、１フレームあたりの時間を算出する。例えば、フレームレートが６０（Ｈｚ）であった場合、１フレームあたりの時間は１／６０（秒）となる。以下、映像のフレームレートは６０（Ｈｚ）として説明する。
振幅比算出部２１６は、１／６０（秒）ごとにデータ抽出部１５から入力された音声データに基づいて、音声データが示す音の振幅値の絶対値の相加平均値を算出する。例えば、音声データのサンプリング周波数が４８０００（Ｈｚ）であったとすると、１／６０秒間での音声データのサンプル数は４８０００×（１／６０）＝８００サンプルとなる。振幅比算出部２１６は、該８００サンプルの振幅値の絶対値の相加平均値Ａ＿ｃｕｒｒを算出し、ＲＡＭ１２に記憶する。振幅比算出部２１６は、前フレームの相加平均値Ａ＿ｐｒｅｖをＲＡＭ１２から読み込み、現フレームの相加平均値Ａ＿ｃｕｒｒと前フレームの相加平均値Ａ＿ｐｒｅｖとの振幅比Ｒを算出する。振幅比Ｒは式（２）で求められる。
Ｒ＝Ａ＿ｃｕｒｒ／Ａ＿ｐｒｅｖ （２）
なお、振幅比Ｒの算出過程において、音の振幅値は相加平均値に限らず、例えばサンプルの中央値を採用してもよい。
振幅比算出部２１６は、算出した振幅比Ｒを制御部１０及びパラメータ算出部２１７へ出力する。

実施の形態２の画像処理装置１において、制御部１０は、画像データに振動効果を付加又は強調するか否か判断する判断手段として動作する。制御部１０は、ＲＯＭ１１から閾値Ｔを読み込み、閾値Ｔと振幅比算出部２１６から入力された振幅比Ｒとを比較して、振幅比Ｒが閾値Ｔ以上の場合、画像データに振動効果を付加又は強調すると判断する。制御部１０は、振幅比Ｒが閾値Ｔ未満の場合、画像データに振動効果を付加及び強調しないと判断する。
閾値Ｔのデフォルト値は３．２として、予めＲＯＭ１１に記憶されている。閾値Ｔは、音圧レベル比ＳＰＬ＿ｒａｔｉｏが略１０ｄＢとなるように設定される。音圧レベル比ＳＰＬ＿ｒａｔｉｏは式（３）で求められる。
ＳＰＬ＿ｒａｔｉｏ＝２０ｌｏｇ₁₀Ｒ （３）
なお、上記の閾値Ｔのデフォルト値は、例示に過ぎず、３．２に限らない。
閾値Ｔは、例えば操作部１３にＧＵＩで示されるスライドバーを設け、スライドバーで設定された値に適宜変更可能とする。操作部１３から入力された閾値Ｔは、ＲＯＭ１１に記憶される。

パラメータ算出部２１７は、制御部１０が画像データに振動効果を付加又は強調すると判断した場合、振幅比算出部２１６が算出した振幅比Ｒを基に、効果付加パラメータを算出する。

効果付加パラメータの移動方向ＳＥ＿ｄｉｒ（ｒａｄ）は、例えば振幅比Ｒ及び閾値Ｔを基に式（４）で求められる。
ＳＥ＿ｄｉｒ＝｛（Ｒ／Ｔ）−１｝×２π （４）
ここで、０（ｒａｄ）方向は画像表示領域６を正面から見た場合、時計盤の３時方向とする。すなわち、ＳＥ＿ｄｉｒが０（ｒａｄ）の場合、移動方向は図６の例と同様に右方向となる。ＳＥ＿ｄｉｒの値が大きくなるにつれて反時計回りに移動方向を決定する。

効果付加パラメータの移動量ＳＥ＿ｖａｌ（画素）は、例えば振幅比Ｒを基に式（５）で求められる。
ＳＥ＿ｖａｌ＝Ｃ＿ｏｆｆｓｅｔ×Ｒ （５）
ここで、Ｃ＿ｏｆｆｓｅｔは任意の定数であり、Ｃ＿ｏｆｆｓｅｔのデフォルト値は１．０として、ＲＯＭ１１に記憶されている。パラメータ算出部２１７は、ＲＯＭ１１からＣ＿ｏｆｆｓｅｔを読み込み、式（５）の算出を実行する。
Ｃ＿ｏｆｆｓｅｔは、操作部１３にＧＵＩで示されるスライドバーを設け、スライドバーで設定された値に適宜変更可能とする。操作部１３から入力された定数Ｃ＿ｏｆｆｓｅｔは、ＲＯＭ１１に記憶される。なお、Ｃ＿ｏｆｆｓｅｔのデフォルト値は、例示に過ぎず、１．０に限らない。
パラメータ算出部２１７は、算出した効果付加パラメータを画像生成部１８へ出力する。

画像生成部１８は、データ抽出部１５から入力された画像データとパラメータ算出部２１７から入力した効果付加パラメータとから、振動効果が付加又は強調された画像データを生成し、該画像データを出力部１９へ出力する。

制御部１０は、画像データに振動効果を付加及び強調しないと判断した場合、データ抽出部１５に抽出した画像データを出力部１９へ出力させる。

次に、実施の形態２に係る画像処理装置１の処理の手順を説明する。図１６は、実施の形態２に係る画像処理装置１の処理の手順を示すフローチャートである。
データ抽出部１５は、コンテンツデータから画像データ及び音声データを抽出する（ステップＳ１６１）。振幅比算出部２１６は、データ抽出部１５が抽出した画像データに基づいて、１フレームあたりの時間を算出する（ステップＳ１６２）。振幅比算出部２１６は、１フレームあたりの時間ごとにデータ抽出部１５から音声データを入力し、音声データが示す音の振幅値の絶対値の相加平均値を算出すると共に、該相加平均値をＲＡＭ１２に記憶させる（ステップＳ１６３）。振幅比算出部２１６は、ＲＡＭ１２から１フレーム前の相加平均値を読み込み、式（２）に基づいて振幅比を算出する（ステップＳ１６４）。

制御部１０は、振幅比算出部２１６により算出された振幅比が閾値Ｔ以上か否か判断する（ステップＳ１６５）。制御部１０により振幅比が閾値Ｔ以上であると判断された場合（ステップＳ１６５：ＹＥＳ）、パラメータ算出部２１７は振幅比及び閾値Ｔに基づいて、効果付加パラメータを算出する（ステップＳ１６６）。画像生成部１８は、パラメータ算出部２１７が算出した効果付加パラメータに基づいて、振動効果を付加又は強調した画像を生成する（ステップＳ１６７）。画像生成部１８は、振動効果を付加又は強調した画像に黒帯画像又は黒色画像を挿入する（ステップＳ１１８）。出力部１９は、画像生成部１８が生成した画像データを出力し（ステップＳ１６８）、処理を終える。

制御部１０により振幅比が閾値Ｔ未満であると判断された場合（ステップＳ１６５：ＮＯ）、出力部１９はデータ抽出部１５が抽出した画像データをそのまま出力し（ステップＳ１６８）、処理を終える。

次に、ステップＳ１６６でパラメータ算出部２１７が実行するパラメータ算出処理の手順について説明する。図１７は、実施の形態２に係るパラメータ算出処理の手順を示すフローチャートである。パラメータ算出部２１７は、振幅比算出部２１６が算出した振幅比Ｒを入力すると共に、ＲＯＭ１１から閾値Ｔ及び定数Ｃ＿ｏｆｆｓｅｔを読み込む（ステップＳ１７１）。パラメータ算出部２１７は、振幅比Ｒ及び閾値Ｔに基づいて、式（４）から移動方向を算出する（ステップＳ１７２）。パラメータ算出部２１７は、算出した移動方向を効果付加パラメータの移動方向として設定する（ステップＳ１７３）。
パラメータ算出部２１７は、振幅比Ｒ及び定数Ｃ＿ｏｆｆｓｅｔに基づいて、式（５）から移動量を算出する（ステップＳ１７４）。パラメータ算出部２１７は、算出した移動量を効果付加パラメータの移動量として設定する（ステップＳ１７５）。

実施の形態２に係る画像処理装置１によれば、コンテンツの音声データを利用することで、映像処理ソフトウェアに関する専門的な知識を有することなく、また映像コンテンツの情報量を増やすことなく、映像に対して振動効果を自動的に付加又は強調することができる。

実施の形態２では、画像生成部が生成する画像は、画像表示領域に対して画像が効果付加パラメータの移動方向及び移動量に応じて移動等するものである。しかし、効果付加パラメータの移動方向及び移動量だけ、画像表示領域に対して画像を振動させる形態であってもよい。
例えば、サッカーの得点シーンのように歓声が沸き起こるシーンでは、音量が急増するため、大きな振幅比が算出される。かかる場合、画像を移動等させるのではなく、画像を振動させることにより映像の迫力をより増大させることができる。

実施の形態２は以上の如き構成にしてあり、その他の構成及び作用は実施の形態１と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。

実施の形態３
実施の形態３は、コンテンツデータに含まれる字幕データを利用して、画像データに振動効果を付加又は強調する形態に係る。
図１８は、実施の形態３に係る画像処理装置１の構成を示すブロック図である。実施の形態３の画像処理装置１は、制御部１０、ＲＯＭ１１、ＲＡＭ１２、操作部１３、入力部１４、データ抽出部１５、検索部３１６、パラメータテーブル３１６ａ、パラメータ設定部３１７、画像生成部１８及び出力部１９を備えており、各構成部はバス１ａを介して接続されている。

入力部１４は、コンテンツデータをデータ抽出部１５へ出力する。

データ抽出部１５は、入力部１４より入力されたコンテンツデータを復調、復号して、画像データ及び字幕データを抽出する。データ抽出部１５は、前記画像データ及び字幕データを検索部３１６へ出力する。また、データ抽出部１５は、画像データを画像生成部１８又は出力部１９へ出力する。

図１９は、パラメータテーブル３１６ａのレコードレイアウトを示す説明図である。図１９に例示するパラメータテーブル３１６ａは、対象文字列フィールド、振動方向フィールド及び振動量フィールドを含んで構成される。対象文字列フィールドには、映像の振動を想起させる文字列が記憶されている。振動方向フィールドには、移動方向又は振動方向が記憶されている。振動量フィールドには、移動量が画素単位で記憶されている。

検索部３１６は、データ抽出部１５から入力された字幕データを基に、字幕データを単語からなる文字列に分割する。検索部３１６は、分割した文字列及び分割前の文字列を用いて、対象文字列フィールドについてパラメータテーブル３１６ａを検索する。ここで、分割前の文字列をキーとした検索を行うのは、字幕データが単語だけの場合に対処するためである。

制御部１０は、検索部３１６による検索結果に基づいて、画像データに振動効果を付加又は強調するか否か判断する判断手段として動作する。すなわち、制御部１０は、検索部３１６を介して字幕データの文字列とパラメータテーブル３１６ａのテンプレートマッチングを行い、字幕データが示す文字列と一致する文字列がパラメータテーブル３１６ａの対象文字列に見つかった場合、画像データに振動効果を付加又は強調すると判断する。一方、制御部１０は、字幕データが示す文字列と一致する文字列がパラメータテーブル３１６ａの対象文字列に見つからなかった場合、画像データに振動効果を付加及び強調しないと判断する。

パラメータ設定部３１７は、制御部１０が画像データに振動効果を付加又は強調すると判断した場合、検索部３１６がパラメータテーブル３１６ａから検索したレコードを基に、効果付加パラメータを設定する。すなわち、パラメータ設定部３１７は、ヒットしたレコードの振動方向フィールド及び振動量フィールドの値を夫々効果付加パラメータの移動方向及び移動量に設定する。

画像生成部１８は、データ抽出部１５から入力された画像データとパラメータ設定部３１７から入力された効果付加パラメータとから、振動効果が付加又は強調された画像データを生成する。
例えば、図１９のパラメータテーブル３１６ａの対象文字列「ドカーン」が検索部３１６により検索された場合、パラメータ設定部３１７は効果付加パラメータの移動方向に上下、移動量に１００（画素）を設定して、前記効果付加パラメータを画像生成部１８へ出力する。画像生成部１８は、パラメータ設定部３１７から入力された効果付加パラメータに基づいて、画像表示領域６に対して上下方向に１００画素だけ画像５が振動する画像データを生成する。

また、画像生成部１８は、振動効果を付加又は強調した画像の上に字幕データに基づく字幕を重ねる。これにより、映像は振動しても、字幕は振動しないため、視聴者が字幕を目で追う場合、振動効果を付加又は強調した迫力ある映像を提供しつつ、字幕情報については確実に把握することができる。
画像生成部１８は、生成した画像データを出力部１９へ出力する。

制御部１０は、画像データに振動効果を付加及び強調しないと判断した場合、データ抽出部１５に抽出した画像データを出力部１９へ出力させる。

次に、実施の形態３に係る画像処理装置１の処理の手順を説明する。図２０は、実施の形態３に係る画像処理装置１の処理の手順を示すフローチャートである。
データ抽出部１５は、コンテンツデータから画像データ及び字幕データを抽出する（ステップＳ２０１）。検索部３１６は、データ抽出部１５が抽出した字幕データを単語に分割する（ステップＳ２０２）。検索部３１６は、分割した文字列及び分割前の文字列をキーにして、パラメータテーブル３１６ａの対象文字列フィールドを検索する（ステップＳ２０３）。

制御部１０は、検索部３１６の検索により、レコードがヒットしたか否か判断する（ステップＳ２０４）。制御部１０により、レコードがヒットしたと判断された場合（ステップＳ２０４：ＹＥＳ）、パラメータ設定部３１７は、効果付加パラメータの移動方向及び移動量として、夫々検索部３１６の検索によりヒットしたレコードの値を設定する（ステップＳ２０５）。
画像生成部１８は、データ抽出部１５が抽出した画像データ及びパラメータ設定部３１７が設定した効果付加パラメータに基づいて、振動効果を付加又は強調した画像データを生成する（ステップＳ２０６）。画像生成部１８は、振動効果を付加又は強調した画像５に黒帯画像又は黒色画像を挿入する（ステップＳ１１８）。画像生成部１８は、振動効果を付加又は強調した映像の上に、字幕データに基づく字幕を重ねる（ステップＳ２０７）。出力部１９は、画像生成部１８が生成した画像データを出力し（ステップＳ２０８）、処理を終える。

検索部３１６の検索により、制御部１０がレコードはヒットしなかったと判断した場合（ステップＳ２０４：ＮＯ）、出力部１９はデータ抽出部１５が抽出した画像データをそのまま出力し（ステップＳ２０８）、処理を終える。

本実施の形態３は以上の如き構成にしてあり、その他の構成及び作用は実施の形態１と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。

実施の形態３に係る画像処理装置１によれば、コンテンツデータに含まれる字幕データを利用することで、画像データに振動効果を自動的に付加又は強調することができる。
戸外でモバイル端末を利用して映像コンテンツを楽しむ場合、エチケット上音声を小さくするか、又はミュートしなければならない。しかし、実施の形態３に係る画像処理装置１によれば、字幕データに基づいて映像に振動効果を付加又は強調するため、たとえモバイル端末をミュートしていたとしても、的確に振動効果が付加又は強調された映像を楽しむことができる。

実施の形態１から実施の形態３で示した３つの形態を組み合わせた形態を採用することも可能である。これにより、より多様な振動効果を備えた映像を実現することができる。

実施の形態３では、パラメータテーブルを画像処理装置の中で、独立した構成部とした。しかし、パラメータテーブルは、ＲＯＭ又は可搬型記憶媒体に記憶された形態であってもよい。
あるいは、画像処理装置に通信手段を設け、パラメータテーブルは、ネットを介して通信可能なサーバコンピュータに配置されてもよい。

実施の形態３では、データ抽出部は、ＭＰＥＧ−２方式のコンテンツデータからＴＳパケットとして字幕データを抽出した。しかし、データ抽出部は、画像データが示す画像５に対して文字認識を行ない、認識された文字のコードを取得する文字認識手段を備えていてもよい。データ抽出部１５は、この文字認識手段から取得したデータを字幕データとしてもよい。これにより、コンテンツデータがＭＰＥＧ−２方式でない場合、又はＭＰＥＧ−２方式の画像データに画像として文字が表示される場合であっても、データ抽出部は、コンテンツデータから字幕データを抽出することができる。
かかる場合、画像生成部は、振動効果を付加又は強調した画像の上に字幕を重ねる場合、画面上で文字認識手段により認識された文字の位置に、字幕を重ねる。

本実施の形態３は以上の如き構成にしてあり、その他の構成及び作用は実施の形態１と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。

実施の形態４
実施の形態４は、画像表示サイズに応じて効果付加パラメータを補正する形態に係る。
ここで、画像表示サイズは、画像が画面に表示されるサイズであって、必ずしも表示装置２の画面サイズではない。言い換えると、画像表示サイズは画面上で表示される画像のサイズである。図２１は、実施の形態４に係る画像表示サイズに関する説明図である。図２１に示すように、例えばダブルチューナ搭載型の表示装置２で画面８に２つの同じサイズの画像５を並べて表示した場合、画像５の合計サイズは表示装置２の画面サイズの半分である。すなわち、図２１の例では、表示装置２の画面サイズに対する画像表示サイズは半分である。

前記非特許文献１に示される通り、画面サイズが小さくなるほど、コンテンツの迫力感や速度感は減少する。また、画面サイズが大きくても、画像表示サイズが小さくなるほど、同様にコンテンツの迫力感や速度感は減少すると考えられる。そこで、実施の形態４では、画面８上に表示される画像５の大きさである画像表示サイズに応じて効果付加パラメータを補正する。実施の形態４は、実施の形態１から実施の形態３までの形態と組み合わせて実施することができる。

図２２は、実施の形態４に係る画像処理装置１の構成を示すブロック図である。実施の形態４の画像処理装置１は、制御部１０、ＲＯＭ１１、ＲＡＭ１２、操作部１３、入力部１４、データ抽出部１５、解析部４１６、パラメータ算出部４１７、画像生成部１８、出力部１９及び画像表示サイズ検出部２０を備えており、各構成部はバス１ａを介して接続されている。

ただし、データ抽出部１５は、入力部１４より入力されたＴＳのコンテンツデータからＢＭＬ（Broadcast Markup Language）で記述されたファイルも抽出し、画像表示サイズ検出部２０へ出力する。ＢＭＬは、ＸＭＬ（Extensible Markup Language）ベースのデータ放送向けのページ記述言語であり、ＢＭＬファイルに表示装置２の画面８に表示される画像５の画像表示サイズが記述されている。
解析部４１６は、実施の形態１から実施の形態３までの動きベクトル算出部１６、振幅比算出部２１６又は検索部３１６に該当する。パラメータ算出部４１７は、実施の形態１から実施の形態３までのパラメータ算出部１７、２１７又はパラメータ設定部３１７に該当する。

予めＲＯＭ１１に表示装置２の画面サイズを記憶させておく。画像表示サイズ検出部２０は、ＲＯＭ１１から表示装置２の画面サイズを読み込む。次に、画像表示サイズ検出部２０は、データ抽出部１５から入力したＢＭＬファイルから画像表示サイズを読み込む。画像表示サイズ検出部２０は、画像表示サイズを考慮した、サイズ補正比ＳＣ＿ｒａｔｉｏを算出する。サイズ補正比ＳＣ＿ｒａｔｉｏは、式（６）で求められる。
ＳＣ＿ｒａｔｉｏ＝｛（Ｐｘ＿ｍａｘ² ＋Ｐｙ＿ｍａｘ² ）／（Ｐｘ² ＋Ｐｙ² ）｝^0.5 （６）
ここで、Ｐｘは画像表示サイズの横方向の画素数、Ｐｙは画像表示サイズの縦方向の画素数、Ｐｘ＿ｍａｘは表示装置２の画面サイズの横方向の画素数、Ｐｙ＿ｍａｘは表示装置２の画面サイズの横方向の画素数である。
なお、表示装置２の画面サイズは、例えば操作部１３にＧＵＩで示されるスライドバーを設け、スライドバーで設定された値に適宜変更可能とする。操作部１３から入力された表示装置２の画面サイズは、ＲＯＭ１１に記憶される。

例えば、画像表示サイズが９６０×５４０（画素）、表示装置２の画面サイズが１９２０×１０８０（画素）である場合、ＳＣ＿ｒａｔｉｏ＝２となる。
画像表示サイズ検出部２０は、算出したサイズ補正比ＳＣ＿ｒａｔｉｏをパラメータ算出部４１７へ出力する。

パラメータ算出部４１７は、画像表示サイズ検出部２０からサイズ補正比ＳＣ＿ｒａｔｉｏを入力し、実施の形態１から実施の形態３で算出又は設定した効果付加パラメータの移動量Ｅ＿ｖａｌを補正する。例えば、実施の形態１の式（１）は、式（７）のように書き換えられる。
Ｅ＿ｖａｌ＝｜ＳＣ＿ｒａｔｉｏ−１｜×α×Ｖ＿ｖａｌ （７）
なお、ＳＣ＿ｒａｔｉｏ＜１の場合、移動方向を逆方向に設定する。
パラメータ算出部４１７は、式（７）により補正した効果付加パラメータを画像生成部１８へ出力する。

次に、実施の形態４に係る画像処理装置１の処理の手順を説明する。図２３は、実施の形態４に係る画像処理装置１の処理の手順を示すフローチャートである。
抽出部１５は、コンテンツデータから画像データ、音声データ及び字幕データをデータ抽出する（ステップＳ２３１）。解析部４１６は、データ抽出部１５が抽出した画像データ、音声データ及び字幕データに基づいて、実施の形態１から実施の形態３と同様に画像全体の動きベクトル４の算出、部分動きベクトル３のパターン認識、振幅比の算出又はパラメータテーブル３１６ａの検索をする（ステップＳ２３２）。あるいは、解析部４１６は、これらの解析処理を組み合わせて実行する。

制御部１０は、解析部の解析結果に基づき、実施の形態１から実施の形態３と同様に、画像データに振動効果を付加又は強調するか否か判断する（ステップＳ２３３）。制御部１０が画像データに振動効果を付加又は強調すると判断した場合（ステップＳ２３３：ＹＥＳ）、画像表示サイズ検出部２０はサイズ補正比算出処理を実行する（ステップＳ２３４）。パラメータ算出部４１７は、実施の形態１から実施の形態３と同様に解析部４１６による解析結果に基づいて、効果付加パラメータを算出又は設定すると共に、ステップＳ２３４で画像表示サイズ検出部２０が算出したサイズ補正比を用いて、算出又は設定した効果付加パラメータを補正する（ステップＳ２３５）。

画像生成部１８は、パラメータ算出部４１７が算出、設定及び補正した効果付加パラメータに基づいて、振動効果を付加又は強調した画像データを生成する（ステップＳ２３６）。画像生成部１８は、振動効果を付加又は強調した画像５に黒帯画像又は黒色画像を挿入する（ステップＳ１１８）。出力部１９は、画像生成部１８が生成した画像データを出力し（ステップＳ２３７）、処理を終える。

制御部１０が画像データに振動効果を付加及び強調しないと判断した場合（ステップＳ２３３：ＮＯ）、出力部１９はデータ抽出部１５が抽出した画像データをそのまま出力し（ステップＳ２３７）、処理を終える。

次に、ステップＳ２３４で画像表示サイズ検出部２０が実行するサイズ補正比算出処理の手順について説明する。図２４は、サイズ補正比算出処理の手順を示すフローチャートである。画像表示サイズ検出部２０は、ＲＯＭ１１から表示装置２の画面サイズを読み込む（ステップＳ２４１）。画像表示サイズ検出部２０は、ＢＭＬファイルから画像表示サイズを読み込む（ステップＳ２４２）。画像表示サイズ検出部２０は、ステップＳ２４１及びステップＳ２４２で夫々読み込んだ表示装置２の画面サイズ及び画像表示サイズに基づき、式（６）からサイズ補正比を算出して（ステップＳ２４３）、処理を終える。

実施の形態４に係る画像処理装置１によれば、表示装置２の画面８上での画像５のサイズが小さい場合であっても、画像表示サイズに応じて効果付加パラメータを補正することにより、画像データに振動効果が付加又は強調されるため、迫力ある映像コンテンツの再生が可能である。

実施の形態４では、画像表示サイズ検出部は、表示装置の画面サイズをＲＯＭから読み込んだ。しかし、画像表示サイズ検出部は、表示装置の画面サイズを、例えばＨＤＭＩ規格のＤＤＣ（Display Data Channel）信号を介して、表示装置に記憶されているＥＤＩＤ（Extended Display Identification Data）から取得してもよい。ＥＤＩＤは、例えば表示装置に固有の周波数、画面サイズ、製造メーカ名及び型式等である。

実施の形態４では、サイズ補正比算出処理の過程で画像表示サイズをＢＭＬファイルから読み込んだ。しかし、画像表示サイズ検出部は、画像表示サイズを記述したＢＭＬ、ＸＭＬ、ＨＴＭＬ等のファイルを予めＲＯＭに記憶したテンプレートファイルに基づいて生成してもよい。そして、生成するＢＭＬファイル等に記述する画像表示サイズをサイズ補正比算出処理で使用してもよい。このＢＭＬファイル等は、画像表示サイズ検出部から出力部を介して表示装置２に出力される。ここで、ＢＭＬファイル等に記述する画像表示サイズは、操作部に画面及びキーボードを設け、この設けた画面及びキーボードからテンプレートファイルを編集することにより書き換え可能とする。なお、画像表示サイズの書き換え手段は画面及びキーボードに限られず、どのような手段を用いてもよい。
また、マルチチューナ搭載型の表示装置に画像を表示する場合、マルチ画面の画像表示サイズに関する情報を予めＲＯＭに記憶させておき、ＲＯＭから画像表示サイズの情報を読み込む態様であってもよい。例えば、ダブルチューナ搭載型の表示装置の場合、メイン画面サイズ：サブ画面サイズ＝２：１のようにＲＯＭに記憶させておき、この比に基づいて各画像表示サイズの画素数を算出してもよい。
あるいは、表示装置の画面に表示される画像をカメラ等のセンサでモニタリングすることにより、画像表示サイズを検出する態様であってもよい。
更に、画像データをＰＣ（Personal Computer ）等のコンピュータに出力する場合、コンピュータのＯＳからウィンドウ、アプリケーション画面等の画像表示サイズを取得する態様であってもよい。

実施の形態４では、実施の形態１で扱ったコンテンツのジャンルによる振動効果の付加又は強調の切り分けと、コンテンツのジャンルによる効果付加パラメータの補正とを取り入れていない。しかし、実施の形態４は、実施の形態１から実施の形態３までの形態と組み合わせて実施することができるため、実施の形態１で扱ったコンテンツのジャンルによる振動効果の付加又は強調の切り分けと、コンテンツのジャンルによる効果付加パラメータの補正とを取り入れることができることは勿論である。

本実施の形態４は以上の如き構成にしてあり、その他の構成及び作用は実施の形態１と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。

実施の形態５
実施の形態５は、視聴者と表示装置２の画面８との間の距離に応じて効果付加パラメータを補正する形態に係る。以下、視聴者と表示装置２の画面８との間の距離を視聴距離と呼ぶ。
実施の形態４では、画像表示サイズに応じて効果付加パラメータを補正する実施形態について説明した。一方、表示装置２の画面サイズ及び表示画面数が一定であっても、視聴距離が変われば、相対的な画像表示サイズも変化する。例えば、１９２０×１０８０画素の映像を画面８から２ｍの地点で視聴した場合と、９６０×５４０画素の映像を同一の画面８から１ｍの地点で視聴した場合とでは、相対的に同等の画像表示サイズに見える。このことから、実施の形態５では、視聴距離に応じて効果付加パラメータを補正する。実施の形態５は、実施の形態１から実施の形態４までの形態と組み合わせて実施することができる。

図２５は、実施の形態５に係る画像処理装置１の構成を示すブロック図である。実施の形態５の画像処理装置１は、制御部１０、ＲＯＭ１１、ＲＡＭ１２、操作部１３、入力部１４、データ抽出部１５、解析部５１６、パラメータ算出部５１７、画像生成部１８、出力部１９及び視聴距離検出部２１を備えており、各構成部はバス１ａを介して接続されている。

解析部５１６は、実施の形態１から実施の形態４までの動きベクトル算出部１６、振幅比算出部２１６、検索部３１６又は解析部４１６に該当する。パラメータ算出部５１７は、実施の形態１から実施の形態４までのパラメータ算出部１７、２１７、４１７又はパラメータ設定部３１７に該当する。

視聴距離検出部２１は、視聴距離を検出し、検出した視聴距離に基づいて、パラメータ算出部５１７へ効果付加パラメータを補正するための情報を出力する。視聴距離の検出方法は、例えば表示装置２に超音波の送信機と受信機とを設置し、視聴者に超音波が当たり、反射して戻ってくるまでの時間及び三角測量の原理から視聴距離を検出する。あるいは、赤外線等を利用して、視聴距離を検出してもよく、視聴距離の検出方法は限定されない。

予めＲＯＭ１１に基準視聴距離Ｄ＿ｂａｓｅを記憶させておく。視聴距離検出部２１は、ＲＯＭ１１から読み込んだ基準視聴距離Ｄ＿ｂａｓｅと、上記で測定した視聴距離Ｄ＿ｃｕｒｒとの、距離比Ｄ＿ｒａｔｉｏを算出する。距離比Ｄ＿ｒａｔｉｏの算出式を、式（８）に示す。
Ｄ＿ｒａｔｉｏ＝Ｄ＿ｃｕｒｒ／Ｄ＿ｂａｓｅ （８）
ここで、基準視聴距離Ｄ＿ｂａｓｅは、デフォルト値として、画面両端を見込む視角が３０度になることから決められたハイビジョン放送の標準観視距離である３Ｈに設定する。Ｈは表示装置２の画面８の高さである。なお、基準視聴距離Ｄ＿ｂａｓｅのデフォルト値は、例示に過ぎず、３Ｈに限らない。
基準視聴距離Ｄ＿ｂａｓｅは、例えば操作部１３にＧＵＩで示されるスライドバーを設け、スライドバーで設定された値に適宜変更可能とする。操作部１３から入力された基準視聴距離Ｄ＿ｂａｓｅは、ＲＯＭ１１に記憶される。
視聴距離検出部２１は、算出した距離比Ｄ＿ｒａｔｉｏをパラメータ算出部５１７へ出力する。

パラメータ算出部５１７は、視聴距離検出部２１から距離比Ｄ＿ｒａｔｉｏを入力し、実施の形態１から実施の形態３で算出又は設定した効果付加パラメータの移動量Ｅ＿ｖａｌを補正する。例えば、実施の形態１の式（１）は、式（９）のように書き換えられる。
Ｅ＿ｖａｌ＝｜Ｄ＿ｒａｔｉｏ−１｜×α×Ｖ＿ｖａｌ （９）
なお、Ｄ＿ｒａｔｉｏ＜１の場合、移動方向を逆方向に設定する。

実施の形態５の画像処理装置１に実施の形態４に係る画像表示サイズ検出部２０を組み込むことも可能である。かかる場合、パラメータ算出部５１７は、画像表示サイズ検出部２０からサイズ補正比ＳＣ＿ｒａｔｉｏを入力し、視聴距離検出部２１から距離比Ｄ＿ｒａｔｉｏを入力する。そして、式（７）又は式（９）は、例えば式（１０）のように書き換えることができる。
Ｅ＿ｖａｌ＝｜ＳＣ＿ｒａｔｉｏ−１｜×｜Ｄ＿ｒａｔｉｏ−１｜×α×Ｖ＿ｖａｌ （１０）

パラメータ算出部５１７は、式（９）又は式（１０）により算出した移動量を効果付加パラメータの移動量として設定し、効果付加パラメータを画像生成部１８へ出力する。

次に、実施の形態５に係る画像処理装置１の処理の手順を説明する。図２６は、実施の形態５に係る画像処理装置１の処理の手順を示すフローチャートである。
データ抽出部１５は、コンテンツデータから画像データ、音声データ及び字幕データを抽出する（ステップＳ２６１）。解析部５１６は、データ抽出部１５が抽出した画像データ、音声データ及び字幕データに基づいて、実施の形態１から実施の形態３と同様に画像全体の動きベクトル４の算出、部分動きベクトル３のパターン認識、振幅比の算出又はパラメータテーブル３１６ａの検索をする（ステップＳ２６２）。あるいは、解析部５１６は、これらの解析処理を組み合わせて実行する。

制御部１０は、解析部５１６の解析結果に基づき、画像データに振動効果を付加又は強調するか否か判断する（ステップＳ２６３）。制御部１０が画像データに振動効果を付加又は強調すると判断した場合（ステップＳ２６３：ＹＥＳ）、視聴距離検出部２１は距離比算出処理を実行する（ステップＳ２６４）。パラメータ算出部５１７は、実施の形態１から実施の形態３と同様に解析部５１６による解析結果に基づいて、効果付加パラメータを算出又は設定すると共に、ステップＳ２６４で視聴距離検出部２１が算出した距離比を用いて、算出又は設定した効果付加パラメータを補正する（ステップＳ２６５）。ここで、実施の形態４のステップＳ２３４を導入して、パラメータ算出部５１７がサイズ補正比を用いて効果付加パラメータを補正するステップを組み入れてもよい。

画像生成部１８は、パラメータ算出部５１７が算出、設定及び補正した効果付加パラメータに基づいて、振動効果を付加又は強調した画像データを生成する（ステップＳ２６６）。画像生成部１８は、振動効果を付加又は強調した画像５に黒帯画像又は黒色画像を挿入する（ステップＳ１１８）。出力部１９は、画像生成部１８が生成した画像データを出力し（ステップＳ２６７）、処理を終える。

制御部１０が画像データに振動効果を付加及び強調しないと判断した場合（ステップＳ２６３：ＮＯ）、出力部１９はデータ抽出部１５が抽出した画像データをそのまま出力し（ステップＳ２６７）、処理を終える。

次に、ステップＳ２６４で視聴距離検出部２１が実行する距離比算出処理の手順について説明する。図２７は、距離比算出処理の手順を示すフローチャートである。視聴距離検出部２１は、視聴距離を検出する（ステップＳ２７１）。視聴距離検出部２１は、ＲＯＭ１１から基準視聴距離を読み込む（ステップＳ２７２）。視聴距離検出部２１は、ステップＳ２７１で検出した視聴距離及びステップＳ２７２で読み込んだ基準視聴距離に基づき、距離比を算出し（ステップＳ２７３）、処理を終える。

実施の形態５に係る画像処理装置１によれば、視聴距離が長く、相対的に画像表示サイズが小さい場合であっても、視聴距離に応じて効果付加パラメータを補正することにより、映像の振動効果が強調されるため、迫力ある映像コンテンツの再生が可能である。

実施の形態４及び実施の形態５の構成を組み合わせた画像処理装置１によれば、画像表示サイズ及び視聴距離に応じて効果付加パラメータを補正することにより、視聴条件が劣悪な場合であっても、映像処理ソフトウェアに関する専門的な知識を有することなく、また映像コンテンツの情報量を増やすことなく、映像に対して振動効果を自動的に付加又は強調することができる。

実施の形態５では、視聴距離検出部は、基準視聴距離Ｄ＿ｂａｓｅをＲＯＭから読み込んだ。しかし、視聴距離検出部は、基準視聴距離Ｄ＿ｂａｓｅを画面８の縦方向の画素数Ｉから、式（１１）により算出してもよい。
Ｄ＿ｂａｓｅ＝３２４０×Ｈ／Ｉ （１１）
画面８の縦方向の画素数Ｉは、例えばＨＤＭＩ規格のＤＤＣ信号を介して、表示装置に記憶されているＥＤＩＤから取得する。

実施の形態５では、実施の形態１で扱ったコンテンツのジャンルによる振動効果の付加又は強調の切り分けと、コンテンツのジャンルによる効果付加パラメータの補正とを取り入れていない。しかし、実施の形態５は、実施の形態１から実施の形態４までの形態と組み合わせて実施することができるため、実施の形態１で扱ったコンテンツのジャンルによる振動効果の付加又は強調の切り分けと、コンテンツのジャンルによる効果付加パラメータの補正とを取り入れることができることは勿論である。

コンテンツ製作者によっては、映像コンテンツが所定の画面サイズと所定の視聴距離で視聴されることを前提に、映像コンテンツを製作している場合がある。近距離で大きすぎる画面８を視聴している場合、目が疲れ、遠距離で小さな画面８を視聴している場合、映像の迫力が減少するからである。そこで、実施の形態４と実施の形態５とを組み合わせて実施する場合、本実施の形態に係る画像処理装置は、表示装置の画面サイズと視聴距離との組み合わせによって、効果付加パラメータの移動量を補正する手段を備えていてもよい。
例えば、画面サイズと視聴距離とからなるマトリクスで、効果付加パラメータの移動量の補正値を設定する。前記マトリクスはＲＯＭ等の記憶手段に予め記憶しておく。画像処理装置は、画面サイズと視聴距離を入力して、前記記憶手段から補正値を読み込み、効果付加パラメータの移動量を補正する。
これにより、コンテンツ製作者が意図する視聴条件と異なる視聴条件で映像コンテンツを視聴する場合でも、コンテンツ製作者の意図により近い映像を楽しむことができる。

実施の形態１〜５では、本実施の形態に係る画像処理装置を単体として実施する場合について説明した。しかし、本実施の形態に係る画像処理装置は、表示装置に組み込まれた形態としても実施可能であることは勿論である。かかる場合の表示装置は、例えばテレビ、携帯電話機、ゲーム機、マルチメディアプレーヤー、パソコン、ＰＤＡ（Personal Digital Assistant）及びプロジェクタ等、画面を備えた機器である。
なお、本実施の形態に係る画像処理装置の構成要件に、表示装置（表示部）は含まれない。

実施の形態１〜５では、画像データに振動効果を付加又は強調することによって、画像表示領域６に画像データ外領域７が生じる場合には、画像データ外領域７に黒帯画像又は黒色画像を挿入する。しかし、映像フレームの移動量によって黒帯画像又は黒色画像が大半を占めることが考えられる。そこで、効果付加パラメータの移動量が所定の閾値以上になる場合には、所定移動量を超えて画像を移動させないようにしてもよい。あるいは、効果付加パラメータの移動量が所定の閾値以上になる場合には、小さく画像を振動させるに留めた形態であってもよい。

実施の形態１、２、４及び５では、閾値Ｂ、式（１）のα、コンテンツのジャンルごとの補正値、振幅比の閾値Ｔ、式（５）のＣ＿ｏｆｆｓｅｔ、式（６）の画面サイズ及び式（８）の基準視聴距離Ｄ＿ｂａｓｅを、操作部１３に設けたＧＵＩによるスライドバーにより、適宜変更又は設定可能とした。しかし、上記設定値を変更又は設定する手段は、ＧＵＩによるスライドバーに限られず、どのような手段を用いてもよい。

本実施の形態５は以上の如き構成にしてあり、その他の構成及び作用は実施の形態１と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。

上記実施の形態１〜５は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その精神又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 画像処理装置
１１ ＲＯＭ
１１ａ 可搬型記憶媒体
１５ データ抽出部
１６ 動きベクトル算出部
２１６ 振幅比算出部
３１６ 検索部
３１６ａ パラメータテーブル
４１６、５１６ 解析部
１７、２１７、４１７、５１７ パラメータ算出部
３１７ パラメータ設定部
１８ 画像生成部
２０ 画像表示サイズ検出部
２１ 視聴距離検出部
２ 表示装置
３ 部分動きベクトル
４ 画像全体の動きベクトル
５ 画像
６ 画像表示領域
６ａ 部分動きベクトル検出領域
７ 画像データ外領域
８ 画面
９ プログラム

Claims (12)

1. コンテンツデータに含まれる画像データが示す画像を外部の表示部に出力する画像処理装置において、
   前記コンテンツデータから所定のデータを抽出する抽出手段と、
   該抽出手段により抽出したデータを解析する解析手段と、
   該解析手段による解析結果に基づいて、前記画像データが示す画像の表示位置、表示サイズ又は前記表示部に対する表示方向を決定する手段と
   を備えることを特徴とする画像処理装置。
2. 前記抽出手段は、
   前記コンテンツデータから画像データ、音声データ又は字幕データを抽出するようにしてある
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記解析手段は、
   前記抽出手段により抽出された画像データが示す画像の動きベクトルを算出するようにしてある
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記解析手段は、
   前記抽出手段により抽出された音声データが示す音の振幅変化を算出するようにしてある
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記解析手段は、
   前記抽出手段により抽出された字幕データが示す文字列に基づいて、前記画像データが示す画像の表示位置、表示サイズ又は前記表示部に対する表示方向を決定する情報を取得するようにしてある
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記解析手段は、
   前記画像データが示す画像を視聴する視聴条件に応じて、前記解析手段による解析結果を補正するようにしてある
   ことを特徴とする請求項１から請求項５までのいずれか一項に記載の画像処理装置。
7. 前記表示部に表示される画像のサイズを検出する画像サイズ検出手段
   を備え、
   前記視聴条件は、
   前記画像サイズ検出手段により検出される画像のサイズである
   ことを特徴とする請求項６に記載の画像処理装置。
8. 視聴距離を検出する視聴距離検出手段
   を備え、
   前記視聴条件は、
   前記視聴距離検出手段により検出される視聴距離である
   ことを特徴とする請求項６に記載の画像処理装置。
9. コンテンツデータに含まれる画像データが示す画像を外部に出力させる画像処理方法において、
   前記コンテンツデータから所定のデータを抽出する抽出ステップと、
   該抽出ステップにより抽出したデータを解析する解析ステップと、
   該解析ステップによる解析結果に基づいて、前記画像データが示す画像の表示位置、表示サイズ又は表示方向を決定するステップと
   を含むことを特徴とする画像処理方法。
10. コンピュータに、コンテンツデータに含まれる画像データが示す画像を外部に出力させるプログラムにおいて、
    コンピュータに、
    前記コンテンツデータから所定のデータを抽出する抽出ステップと、
    該抽出ステップにより抽出したデータを解析する解析ステップと、
    該解析ステップによる解析結果に基づいて、前記画像データが示す画像の表示位置、表示サイズ又は表示方向を決定するステップと
    を実行させることを特徴とするプログラム。
11. 前記抽出ステップは、
    前記コンテンツデータから画像データ、音声データ又は字幕データを抽出する
    ことを特徴とする請求項１０に記載のプログラム。
12. 前記解析ステップは、
    前記抽出ステップにより抽出された画像データが示す画像の動きベクトルを算出する
    ことを特徴とする請求項１１に記載のプログラム。

Images