JP2013150353A - 映像情報処理装置 - Google Patents

Abstract

【課題】複数の低解像度映像情報から適切な高解像度映像情報を得る。
【解決手段】映像情報記録再生装置１は、全体制御部００１、映像情報取得部００２、同期部００３、高画質化情報取得部００４、高画質化情報解釈部００５、映像情報分離部００６、高画質化処理部００７、映像情報合成部００８、データ保存部００９、映像情報出力部０１０と、を備えて構成される。ネットワーク経由で高画質化情報を取得し、これに基づいて、映像取得部００２で取得した映像の高画質化を行う。
【選択図】図１

Description

本発明は、映像情報処理技術に関し、特に、入力映像から高画質映像を推定するために必要なパラメータの選択決定技術に関するものである。

現在、ディスプレイの大型化が進み、５０型を超える大型ディスプレイが家庭内で使われることも一般的になっている。そのため、大型ディスプレイにおいて、いかに映像情報を綺麗に見せるか、という映像情報の高画質化に関する研究開発が盛んに行われている。高画質化処理の一例として超解像処理があり、以下においては、超解像処理を高画質化処理の例として説明する。超解像処理とは、下記の文献類に示すように、複数の低解像度映像情報から高画質化した映像情報である高解像度映像情報を推定する処理である。超解像処理は、まず、高解像度映像情報を仮定する。そして、仮定した高解像度映像情報からカメラの焦点ぼけなどをモデル化した点広がり関数（ＰＳＦ関数：Point Spread Function）に基づき、全ての低解像度映像情報の画素毎に、その推定値と観測された画素値（観測値）との差が小さくなるような高解像度映像情報を探索する方法である。この超解像処理は、再構成型超解像処理と呼ばれ、ＭＬ（Maximum-likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection onto Convex Sets）法などがある。再構成型超解像処理に代表される超解像処理では、結果としてできる高画質映像情報は、カメラモデルの点広がり関数の種類の選択、複数の低解像度映像情報の位置ずれの推定精度に大きく影響される。

図６は、再構成型超解像処理を用いた従来の映像情報記録再生装置の構成の概略を示すブロック図である。図６に示すように、映像情報記録再生装置２は、全体制御部６０１、映像情報取得部６０２、高画質化処理部６０３、データ保存部６０４、映像情報出力部６０５、を備えて構成される。

全体制御部６０１は、映像情報記録再生装置２の全体の制御を行い、ユーザからの再生指示を受け、再生のトリガをかける部分である。

映像情報取得部６０２は、全体制御部６０１から再生開始のトリガを受け、再生する映像情報をデータ保存部６０４から取得する部分である。例えば、録画した映像情報をＨＤＤから読み出し、読み出した映像情報を高画質化処理部６０３に送る。

高画質化処理部６０３は、映像情報取得部６０２から受け取った映像情報に対して、再構成型超解像処理に従って、高画質化処理を行う。再構成型超解像処理により得られる映像情報は、高解像度の映像情報となる。また、結果の高画質化した映像情報を映像情報出力部６０５に送る。

データ保存部６０４は、映像情報、高画質化情報などの情報を保存する部分である。映像情報出力部６０５は、高画質化処理部６０３から受け取った高画質化した映像情報を出力する部分である。

図６を参照しながら、従来の再構成型超解像処理の説明をしたが、高画質化処理部６０３は、典型的なカメラモデル、撮像条件を固定し、そのカメラモデル、撮像条件に基づいて設計する。また、再構成型超解像処理における入力画像と高画質映像情報の間の誤差の評価、繰り返し処理の終了判定、高画質化映像情報の推定方法は固定である。

特開２００６−１９５８５６ 特開２００６−３０９６４９

再構成型超解像処理の高速化アルゴリズムとその精度評価 電子情報通信学会論文誌 D-II Vol.J88-D-II,No.11,pp.2200-2209,2005 Superresolution Video Reconstruction with Arbitrary Sampling Lattices and Nonzero Aperture Time, IEEE TRANSACTIONS ON IMAGE PROCESSING,VOL.6,NO. 8 AUGUST 1997 タイトル「Extraction of High-Resolution Frames from Video Sequences」掲載元「IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 5, NO. 6, JUNE 1996」著者「Richard R. Schultz, Robert L. Stevenson」

しかしながら、映像情報記録再生装置で再生する映像情報は、実際には、さまざまな異なる特性を有するカメラ、異なる撮像条件等で撮られているのが一般的である。そのため、映像情報記録再生装置内の再構成型超解像処理のパラメータ（例えば、カメラモデルの点広がり関数の種類、複数の低解像度映像情報の位置ずれの推定手段、入力画像と高画質映像情報の間の誤差の評価、繰り返し処理の終了判定、高画質化映像情報の推定手段）を固定とした場合において得られる高画質映像情報は、カメラモデルの違いによる誤差、複数の入力映像の位置ずれの推定誤差、入力画像と高画質映像情報の間の誤差の評価方法、繰り返し処理の終了判定方法、高画質化映像情報の推定方法等の影響により、一般的な補間法により補間した画像に比べて画質が悪くなる傾向にある。

上記課題を解決するために、本発明では、さまざまなカメラ、撮像条件で撮られた映像情報に対して、高画質化処理で必要となるパラメータに、その映像情報に適した値を使うことで、高画質化処理を効果的に機能させることを目的にする。

本発明の一観点によれば、映像情報を処理する映像情報処理装置において、入力映像を高画質化するための高画質化情報を、該高画質化情報と適用する入力映像とを結びつけるための同期情報に基づいて取得する高画質化情報取得部と、取得した高画質化情報の前記入力映像への適用の仕方を、取得した前記高画質化情報の内容に基づいて解釈する高画質化情報解釈部と、前記高画質化情報を適用して前記入力映像を高画質映像に変換する高画質化処理部と、を備えることを特徴とする映像情報処理装置が提供される。

また、映像情報を処理する映像情報処理装置において、入力映像情報を取得し、取得した前記入力映像情報から、映像情報を特定する識別情報を得る映像情報取得部と、前記識別情報に基づいて、前記入力映像を高画質化する高画質化情報を、ネットワークを介して外部から取得する高画質化映像情報取得部と、前記高画質化情報取得部から前記高画質化情報を受け取り、前記映像情報への適用の仕方を解釈する高画質化情報解釈部と、前記映像情報取得部から前記入力映像を受け取り、前記高画質化情報解釈部から受け取った適用領域情報をもとに、高画質化処理を適用する領域を前記入力映像から抽出し、切り取った入力映像を同期情報のタイミングで出力する映像情報分離部と、前記高画質化情報解釈部から受け取った高画質化情報を、前記映像情報分離部から受け取った前記入力映像に対して適用して高画質化処理を行う高画質化処理部と、を有することを特徴とする映像情報処理装置が提供される。

さらに、前記高画質化処理部から高画質化した映像情報を受け取り、前記高画質化情報解釈部から受け取った適用領域情報をもとに、高画質化した映像情報を合成し、該高画質化した映像情報を合成する映像情報合成部と、該映像情報合成部から受け取った高画質化した映像情報を出力する映像情報出力部と、映像情報、高画質化情報を保存するデータ保存部と、を有することを特徴とする映像情報処理装置が提供される。

前記高画質化処理部は、外部インターフェース部、修正情報作成部、映像情報修正部、入力シミュレータ部、映像情報位置あわせ部、終了判定部、誤差評価部、を備えており、前記外部インターフェース部は、ネットワークを介して高画質化情報として、入力シミュレータ情報、位置あわせ情報、誤差の評価関数情報、終了判定情報、修正方法情報、入力映像のうちの少なくともいずれかを含む情報を取得するととともに、前記映像情報分離部の出力である高画質化処理が行われる前の入力映像を受け取るとともに、高画質化処理が行われた後の高画質映像情報を外部に出力するインターフェースを構成し、高画質化情報を受け取った場合に、これらの情報を各機能構成部に振り分けて送り、前記修正情報作成部は、前記外部インターフェース部から受け取った修正方法情報と、前記終了判定部から受け取った誤差情報から、高画質化のための映像の修正情報を作成し、前記映像情報修正部は、前記修正情報作成部から受け取った映像の修正情報を用いて、映像の高画質化を行い、前記入力シミュレータ部は、前記外部インターフェース部から受け取った入力シミュレータ情報を使い、映像情報を撮像したカメラの処理をモデル化する処理であって、前記映像情報修正部から受け取った推定した高画質映像情報を変換し、前記映像情報位置あわせ部は、前記外部インターフェース部から受け取った位置あわせ情報を使い、複数の低解像度映像情報の間の位置あわせ処理（レジストレーション）を行い、前記終了判定部は、前記外部インターフェース部から受け取った前記終了判定情報を使い、高画質化処理の繰り返しの終了の判定を行い、前記誤差評価部は、前記外部インターフェースから受け取った誤差評価情報を使い、前記入力シミュレータ部から受け取った低解像度映像情報と、前記映像情報位置あわせ部から位置あわせ処理を行った結果としての低解像度映像情報と、の差分を抽出することが好ましい。

上記に記載の映像情報処理装置において、前記高画質化情報は、映像情報を撮像したカメラの処理をモデル化するための入力シミュレータ情報、複数の入力映像の位置あわせ/注目映像と参照映像の動き量を推定するレジストレーションをするための位置あわせ情報、入力映像と高画質映像の誤差を評価するための誤差評価情報、高画質化処理の終了条件のための終了判定情報、映像内で高画質化情報を適用する領域を示すための適用領域情報、映像のフレーム単位での高画質化情報への適用を示すための適用許可情報、の少なくとも一つを含み、高画質化情報取得部は、上記の情報の少なくとも一つを取得することが好ましい。

上記に記載の映像情報処理装置において、前記入力シミュレータ情報は、映像情報を撮像したカメラをモデル化した点広がり関数（PSF：Point Spread Function）を選択するための情報、映像情報を撮像したカメラの受光素子に光が当たり情報として取得できるまでの時間を示す受光時間情報、映像情報を撮像したカメラのシャッターが開いてから閉じるまでの時間を示す開口時間情報、の少なくとも一つを含み、前記高画質化情報取得部は、前記情報の少なくとも一つを取得することを特徴とする映像情報記録再生装置。

これにより、再生しようとしている映像情報を撮像したカメラの特性情報を使えるので、その映像情報からカメラによるボケの要因を取り除くことができ、映像情報の高画質化に繋がる。

上記に記載の映像情報処理装置において、前記位置あわせ情報は、複数の入力映像間の位置ずれの量を示す情報を含み、前記高画質化情報取得部は、上記の情報を取得することを特徴とする映像情報記録再生装置が提供される。これにより、映像情報の提供者がカメラを使って撮影するとき、取得できる映像間の位置ずれをカメラの特性から知ることができる。この位置ずれ情報を使うことで、位置あわせの精度が上がり、映像情報の高画質化に繋がる。

また、上記に記載の映像情報処理装置において、誤差評価情報は、誤差評価方法の種類を選択するための情報、高画質映像のエッジ情報などの情報の少なくとも一つを含み、高画質化情報取得部は、上記の情報の少なくとも一つを取得することを特徴とする映像情報処理装置であっても良い。これにより、再構成型超解像処理では、複数の入力映像の間の誤差量を求める。映像情報に適した誤差評価方法を選択して使うことで、再構成型超解像処理での高画質化に繋がる。

また、上記に記載の映像情報処理装置において、終了判定情報は、誤差の閾値情報、繰り返しの回数情報、の少なくとも一つを含み、高画質化情報取得部は、上記の情報をの少なくとも一つを取得することを特徴とする映像情報処理装置であっても良い。これにより、再構成型超解像処理は、高画質映像を得るために繰り返し処理を行う。繰り返しの終了条件（誤差の閾値情報）を変えることで、再構成型超解像処理にかかる処理時間を変更でき、高画質化処理のための待ち時間をユーザごとに変えられる。

上記に記載の映像情報処理装置において、同期情報は、高画質化情報を適用する映像情報を特定するための情報、高画質化情報を適用する映像情報のフレームを特定するための情報、の少なくとも一つを含み、高画質化情報取得部は、上記の情報の少なくとも一つを取得することを特徴とする映像情報処理装置であっても良い。ここで、必要な構成要素としては、高画質化情報をどの映像のどのフレームに適用するかを結びつけるための情報を持つことである。

上記に記載の映像情報処理装置において、適用領域情報は、高画質化情報を適用する映像情報の空間的な範囲を特定するための情報を含み、高画質化情報取得部は、上記の情報を取得することを特徴とする映像情報処理装置であっても良い。ここで、必要な構成要素としては、高画質化情報を1フレーム内のどの領域に適用するかを示す情報を持つことである。

上記に記載の映像情報処理装置において、適用許可情報は、高画質化情報を適用するか否かを示す情報を含み、高画質化情報取得部は、上記の情報を取得することを特徴とする映像情報処理装置であっても良い。これにより、映像情報の作成者が、高画質化処理をしてもよい箇所、してほしくない箇所を指定できることから、映像情報の作成者の意図を十分反映することができる。尚、高画質情報が埋め込まれている（ストリーミング内に）構成でも良い。

本発明の他の観点によれば、映像情報を処理する映像情報処理方法であって、入力映像情報を取得し、取得した前記入力映像情報から、映像情報を特定する識別情報を得るステップと、前記識別情報に基づいて、前記入力映像を高画質化する高画質化情報を、ネットワークを介して外部から取得するステップと、前記高画質化情報を受け取り、前記映像情報への適用の仕方を解釈するステップと、前記入力映像を受け取り、前記高画質化情報解釈部から受け取った適用領域情報をもとに、高画質化処理を適用する領域を前記入力映像から抽出し、切り取った入力映像を同期情報のタイミングで出力するステップと、
前記高画質化情報を、前記切り取った入力映像を同期情報のタイミングに基づいて受け取った前記入力映像に対して適用して高画質化処理を行うステップと、を有することを特徴とする映像情報処理方法が提供される。

上記に記載の映像情報処理方法をコンピュータに実行させることを特徴とする制御プログラムであっても良く、該制御プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。プログラムは、伝送媒体により取得されるものであっても良い。

本発明に係る映像情報記録再生装置を用いれば、様々なカメラ、撮像条件で撮られた映像情報に対して、効果的に高画質化処理を適用することができ、適切な高画質映像情報を得ることが可能となる。

本発明の第1の実施の形態における映像情報記録再生装置の構成の概略を示すブロック図である。 本発明の第1の実施の形態における高画質化処理部の構成の概略を示すブロック図である。 本発明の第１の実施の形態における映像情報記録再生装置の再生のフローチャートである。 本発明の第１の実施の形態における高画質化情報のデータ構成例を示す図である。 本発明の第２の実施の形態における映像情報記録再生装置の構成の概略を示すブロック図である。 一般的な映像情報記録再生装置の構成の概略を示すブロック図である。

〔第１の実施の形態〕
以下、本発明の第１の実施の形態による高画質化処理技術について、図１から図４までを参照しながら説明する。図１は、本実施の形態における映像情報処理装置の一構成例の概略を示すブロック図である。図２は、本実施の形態による高画質化処理部００７の構成の詳細を示すブロック図である。図３は、本実施の形態における映像情報記録再生装置の再生処理の流れを示すフローチャート図である。図４は、本実施の形態における高画質化情報のデータ構成の例を示す図である。以下の説明では、図１から図４までをそれぞれの説明で参照するため、図１から図４までは一体のものとして説明している。

＜システム構成 映像情報記録再生装置＞
図１を参照しながら、本発明の第１の実施の形態における映像情報記録再生装置の一構成例について説明する。図１に示すように、映像情報記録再生装置１は、全体制御部００１、映像情報取得部００２、同期部００３、高画質化情報取得部００４、高画質化情報解釈部００５、映像情報分離部００６、高画質化処理部００７、映像情報合成部００８、データ保存部００９、映像情報出力部０１０を備えて構成される。

全体制御部００１は、映像情報記録再生装置１の全体の制御を行い、ユーザからのリモコン操作などによる再生指示を受けて、再生のトリガをかける部分である。

映像情報取得部００２は、全体制御部００１から再生開始のトリガを受け、再生する映像情報を取得する部分である。例えば、放送波又はネットワークを介して、或いは、内蔵のＨＤＤに録画した映像情報をそのＨＤＤから読み出す部分である。取得した映像情報から映像情報を特定する情報（下記図４のコンテンツＩＤ１５１）を高画質化情報取得部００４に送る。

同期部００３は、高画質化情報解釈部００５から、高画質化情報の同期情報１５０のフレームＩＤ１５０ａを受け取る。フレームＩＤ１５０ａを映像情報分離部００６に送り、映像情報分離部００６に対し、高画質化処理部００７にこのフレームＩＤ１５０ａの映像情報を送るように指示を出す。

高画質化情報取得部００４は、映像情報取得部００２から受け取ったコンテンツＩＤ１５０ａをもとに（検索キーとして）、ネットワークを介して外部から高画質化情報を取得する。例えば、高画質化情報を提供するソースとしては、映像情報の作成者のサイト、カメラメーカーのサイト、または、高画質化情報を蓄えてある専用サーバーなどが考えられる。尚、高画質化情報が複数のデータで構成されている場合に、データ毎に異なるサイトから取得してきてもよい。また、現在、再生選択された高画質化情報が複数存在する場合には、ユーザがそれらの中から選択できるようにしても良いことは言うまでもない。
高画質化情報取得部００４は、ネットワークを介して取得した高画質化情報の入力シミュレータ情報１００、位置あわせ情報１１０、誤差評価情報１２０、終了判定情報１３０、修正方法情報１４０、同期情報１５０、適用領域情報１６０、適用許可情報１７０を高画質化情報解釈部００５に送る。

高画質化情報解釈部００５は、高画質化情報取得部００４から受け取った高画質化情報の入力映像への適用の仕方等を解釈する。高画質化情報を適用する映像情報のフレームＩＤ１５０ａを同期部００３に、適用領域情報１６０を映像情報分離部００６と映像情報合成部００８に、入力シミュレータ情報１００、位置あわせ情報１１０、誤差評価情報１２０、終了判定情報１３０、修正方法情報１４０を高画質化処理部００７に送る。取得した入力シミュレータ情報１００を用いることで、複数の入力映像からその映像情報を撮像したときのカメラのぼけを効果的に取り除いた高画質映像情報が得られる。また、精度の高い位置あわせ情報１１０を取得しこれを使うことで、位置あわせの精度を高めることができ、再構成型超解像処理の高画質化に繋げることができる。さらに、映像情報に適した誤差評価情報１２０、修正方法情報１４０を取得し使うことで、再構成型超解像処理における高画質化に繋がる。高画質化処理は、繰り返しの処理があるため、一般的に計算量が多い。そのため、ＣＰＵ等の処理系の性能が低い映像情報記録再生装置では、高画質化処理に時間を要することになる。例えば、ＣＰＵの性能に対応した終了判定情報１３０を使うことにより、高画質化処理が終了するまでの待ち時間を短くすることができる。

映像情報分離部００６は、映像情報取得部００２から映像情報を受け取り、高画質化情報解釈部００５から受け取った適用領域情報１６０をもとに、高画質化処理を適用する領域を映像情報から抽出する（切り取る）。また、切り取った映像情報を同期部００３から受け取った同期情報のタイミングで高画質化処理部００７に送る。

高画質化処理部００７は、高画質化情報解釈部００５から受け取った入力シミュレータ情報１００、位置あわせ情報１１０、誤差評価情報１２０、終了判定情報１３０、修正方法情報１４０を、映像情報分離部００６から受け取った映像情報に対して、高画質化処理を行う。また、その処理を行った結果として得られる高画質化した映像情報を映像情報合成部００８に送る。内部構成の詳細については後述する。

映像情報合成部００８は、高画質化処理部００７から高画質化した映像情報を受け取り、高画質化情報解釈部００５から受け取った適用領域情報１６０をもとに、高画質化した映像情報を合成する。さらに、高画質化した映像情報を合成した映像情報を映像情報出力部０１０に送る。

データ保存部００９は、映像情報、高画質化情報などの情報を保存する部分である。
映像情報出力部０１０は、映像情報合成部００８から受け取った高画質化した映像情報を出力する部分である。

＜システム構成 高画質化処理部＞
まず、図２を参照しながら、高画質化処理部の詳細な構成例（処理内容）について説明する。図２に示すように、高画質化処理部００７は、例えば、外部インターフェース部１０１、修正情報作成部１０２、映像情報修正部１０３、入力シミュレータ部１０４、映像情報位置あわせ部１０５、終了判定部１０６、誤差評価部１０７、を備えている。

外部インターフェース部１０１は、外部のサーバ等からネットワークを介して高画質化情報を取得する。高画質情報は、後述のように、入力シミュレータ情報、位置あわせ情報、誤差の評価関数情報、終了判定情報、修正方法情報、入力映像を含む。また、映像情報記録再生装置１が受け取り、映像情報分離部００６の出力である下記のような高画質化処理が行われる前の入力映像を受け取り、また、高画質化処理が行われた後の高画質映像情報を外部に出力するインターフェイスを構成する。外部インターフェース部１０１は、さらに、図４に示す種々の情報１００から１７０までを受け取った場合には、これらの情報を下記のように各機能構成部に振り分けて送る機能を有する。

修正情報作成部１０２は、外部インターフェース部１０１から受け取った修正方法情報１４０を使い、終了判定部１０６から受け取った誤差情報から、高画質化のための映像の修正情報を作成する部分である。作成した映像の修正情報は映像情報修正部１０３に送られる。

映像情報修正部１０３は、修正情報作成部１０２から受け取った映像の修正情報を用いて、映像の高画質化を行う部分である。再構成型超解像処理では、低解像度映像情報を高解像度映像情報に解像度変換を行う。但し、解像度変換を行わない場合であっても、その他の高画質化情報により高画質化を行えば、高画質化の効果があることは言うまでもない。但し、以降の説明では、解像度変換を伴う処理により高画質化を行う例にして説明するが、この例に限定されるものではない。

入力シミュレータ部１０４は、外部インターフェース部１０１から受け取った入力シミュレータ情報１００を使い、映像情報を撮像したカメラの処理をモデル化した部分である。ここでは、映像情報修正部１０３から受け取った推定した高画質映像情報を変換し、変換後の映像情報を誤差評価部１０７に送る。映像情報に適した入力シミュレータ情報を使って、上記非特許文献２で説明されているように、カメラ等の撮像装置の処理の逆変換に相当する処理を行うことで、カメラのボケの要因などを取り除くことができる。図４に示すように、入力シミュレータ情報１００には、カメラの光学ボケをモデル化した点広がり関数情報１００ａ、カメラの受光素子に光が当たり情報として取得できるまでの時間を示す受光時間情報１００ｂ、カメラのシャッターが開いてから閉じるまでの時間を示す開口時間情報１００ｃなどがある。

映像情報位置あわせ部１０５は、外部インターフェース部１０１から受け取った位置あわせ情報１１０を使い、複数の低解像度映像情報の間の位置あわせ処理（レジストレーション）をする部分である。取得した位置合わせ情報を使うことで、位置あわせ処理の精度が上がる。精度の高い位置合わせ処理を行うことにより、不良データを低減することにつながり、映像情報を高画質化することができる。

終了判定部１０６は、外部インターフェース部１０１から受け取った終了判定情報１３０を使い、高画質化処理の繰り返しの終了の判定を行う部分である。例えば、期待される高画質化情報が得られたことを判定するために使う低解像度映像間の誤差の閾値情報１３０ａ、再構成型超解像処理では繰り返し処理を行い高画質映像を得るが、その繰り返し回数の上限を決めるための繰り返し回数情報１３０ｂが含まれる。また、誤差評価部１０７から誤差情報を受け取り、この誤差情報が終了判定条件を満たした場合に、高画質化処理を終了し、終了判定条件を満たさない場合には、修正情報作成部１０２に誤差情報を送る。高画質化処理は、繰り返しの処理があり、繰り返しの回数が多いほど高画質情報が得られる。しかしながら、入力映像毎に繰り返し回数１３０ｂは異なるが、ある回数以上の繰り返しても、高画質化に関する効果が頭打ちする特徴をもつ。従って、受け取った繰り返し回数１３０ｂを用いることにより、余分な繰り返し処理が発生しないようにすることができる。

誤差評価部１０７は、外部インターフェース１０１から受け取った誤差評価情報１２０を使い、入力シミュレータ１０４から受け取った低解像度映像情報と、映像情報位置あわせ部１０５から位置あわせ処理を行った結果としての低解像度映像情報と、の差分を抽出する。例えば、２つの映像情報の各画素値の二乗誤差の和や２つの映像情報の各画素値のそれぞれの誤差などの誤差評価情報を切り替えることにより、映像情報の特性（エッジの多い映像情報、あまり変化のない映像情報などを有する特性）を保つように誤差の評価を行うことが可能となり、結果として映像情報の高画質化に繋がる。

＜高画質化情報＞
次に、図４を参照しながら、本実施の形態で用いられる高画質化情報のデータ構成例について説明する。高画質化情報の例としては、入力シミュレータ情報１００、位置あわせ情報１１０、誤差評価情報１２０、終了判定情報１３０、修正方法情報１４０、同期情報１５０、適用領域情報１６０、適用許可情報１７０が含まれる。

入力シミュレータ情報１００は、前述した入力シミュレータ部１０４で用いる情報であり、撮像に使うカメラの特性を表す情報である。例えば、カメラの光学ボケをモデル化した点広がり関数情報１００ａ、カメラの受光素子に光が当たり情報として取得できるまでの時間を示す受光時間情報１００ｂ、カメラのシャッターが開いてから閉じるまでの時間を示す開口時間情報１００ｃなどがある。

位置あわせ情報１１０は、前述した映像情報位置あわせ部１０５で使う情報であり、複数の低解像度映像情報に対し、位置あわせを行うための情報であり、基点とするフレームに対してのサブピクセルのずれ量情報１１０ａなどが含まれる。

誤差評価情報１２０は、前述した誤差評価部１０７で使う情報であり、再構成型超解像処理における低解像度映像情報間の誤差を評価するための情報である。例えば、２つの映像情報の各画素値の二乗誤差の和や２つの映像情報の各画素値のそれぞれの誤差などの誤差評価方法の種類情報１２０ａ、高解像度映像のエッジなどに関する情報などの事前に知ることができた高解像度映像情報の事前情報１２０ｂなどが含まれる。

終了判定情報１３０は、前述した終了判定部１０６で用いる情報であり、繰り返し処理が必要となる再構成型超解像処理において、終了判定を与える情報である。例えば、低解像度映像間の誤差の閾値情報１３０ａ、再構成型超解像処理の高画質化処理の繰り返し回数情報１３０ｂがある。

修正方法情報１４０は、前述した修正情報作成部１０２で使う情報であり、高解像度映像情報に反映するとき、どのように修正するかを示す情報で、高解像度映像情報への修正パラメータ情報１４０ａが含まれる。例えば、誤差情報をそのまま高解像度映像に反映するか、誤差情報に重み付けをした後に高解像度映像に反映するかを決める情報が考えられる。

同期情報１５０は、この高画質化情報を適用する映像情報同士（低解像度映像と高解像度映像）を結びつけるコンテンツＩＤ１５０ａと、この高画質化情報を適用する映像情報のフレーム同士（コンテンツにおいて、同じフレームであるかどうかを識別できる）を結びつけるフレームＩＤ１５０ｂを持つ。

適用領域情報１６０は、これらの上記高画質化情報をフレームＩＤ１５０ｂで特定されるフレームにおいていずれの領域に適用するかを示す情報である。例えば、長方形の領域に適用する場合におけるこの情報としては、長方形の領域を特定することができるように長方形の左上の座標、長方形の縦の長さ、長方形の横の長さの３つの情報であっても良い。

適用許可情報１７０は、映像情報のフレームにおけるこの高画質化情報の適用可否を示す情報である。許可/不許可を示す情報１７０ａを持つ。例えば、映像情報の作成者の意
図により、わざと、ぼけを効果として、映像情報に入れることがある。そのような映像情報に対しては、ぼけを取り除く処理は適用外とし、その他の高画質化処理のみを行うようにすることが考えられる。そこで、映像情報の意図を反映するか否かを決めるために設けるのがこの情報である。ここでは、一つの高画質化情報に対して、許可/不許可情報１７
０ａを１つ設けることを例示したが、高画質化情報のデータ毎に、適用するか或いはしないかの設定を行うことができるようにすることが可能であり、よりきめ細かい設定が可能となる。

上記で説明した種々の高画質化情報１００から１７０までは、映像情報の１フレームに対応するものとして説明したものであるが、複数フレームに対応する高画質化情報としてのデータ構成としても良い。例えば、適用する高画質化情報が複数のフレームに渡って変化がない場合には、高画質化情報に、適用開始のフレームＩＤの集合または区間を設ければよいし、変化が激しい場合には、フレームＩＤを細かい区間で付与するのが好ましい。このような変化の大きさを予め連続するフレーム単位で求めておくことにより、同じ高画質化情報の適用するフレーム群におけるフレーム数を、変化が小さい場合には多くのフレームに同じ高画質化情報の適用し、変化が大きい場合にはより少ないフレームに同じ高画質化情報の適用するようにすれば良い。

＜映像情報記録再生装置の再生処理＞
次に、図３を参照しながら、映像情報記録再生装置１における再生処理の流れについて説明する。図３は、本実施の形態における映像情報記録再生装置１の再生処理を示すフローチャート図である。

まず始めに、リモコン装置などの操作部によるユーザの再生指示を受けると、全体制御部００１は映像情報取得部００２に対して、再生する映像情報の取得指示を出す。映像情報取得部００２は、再生する対象となる映像情報のコンテンツＩＤ１５０ａをもとに、データ保存部００９から映像情報を取得する（Ｓ１０）。次に、映像情報取得部００２は、高画質化情報取得部００４に、再生する映像情報のコンテンツＩＤ１５０ａを送る。

次に、高画質化情報取得部００４は、映像情報取得部００２から受け取った再生する映像情報のコンテンツＩＤ１５０ａをもとに、このコンテンツＩＤ１５０ａに対応する高画質化情報をネットワーク上から取得し（Ｓ１１）、取得した高画質化情報を高画質化情報解釈部００５に送る。

次に、高画質化情報が存在しないなどにより、高画質化情報を取得できない場合（Ｓ１２のＮＯ）、既存の補間法を用いた処理を行うか、従来の再構成型超解像処理を行うか、または、高画質化処理を行わずに映像情報をそのまま映像情報出力部０１０から出力する（Ｓ１８）。

高画質化情報を取得できた場合には、再構成型超解像処理を行う（Ｓ１２のＹＥＳ）。次に、高画質化情報解釈部００５は、映像情報が高画質化処理を行ってもよいフレームかどうかを高画質化情報の適用許可情報１７０を解釈することで判定する。高画質化処理を行う許可のないフレームの場合（Ｓ１３のＮＯ）、高画質化処理を行わずに映像情報を、既存の補間法を用いた処理を行うか、または、高画質化処理を行わずに映像情報をそのまま映像情報出力部０１０から出力する（Ｓ１９）。

高画質化処理を行う許可のあるフレームの場合（Ｓ１３のＹＥＳ）、高画質化情報解釈部００５は高画質化情報の適用領域情報１６０ａに従い映像情報を切り抜き、高画質化処理部００７に送る（Ｓ１４）。

高画質化処理部００７は、映像情報分離部００６から受け取った映像情報に対し、高画質化情報解釈部００５から受け取った高画質化情報の入力シミュレータ情報１００、位置あわせ情報１１０、誤差評価情報１２０、終了判定情報１３０、修正方法情報１４０を使い、再構成型超解像処理を行う（Ｓ１５）。次に、高解像度化した映像情報を映像情報合成部００８に送る。

映像情報合成部００８は受け取った高解像度化した映像情報を切り抜き元の映像情報に貼り付ける（Ｓ１６）。このとき、解像度の変化があるため、実際には切り抜き元の映像を既存の補間法で高解像度化しておき、その高解像度化した映像情報に対して、高画質化処理部００７を通して得られた高画質化映像情報を貼り付ける。

最後に、映像情報の終端まで処理を行った場合（Ｓ１７のＹＥＳ）には、映像情報の再生を終了する。映像情報の終端でない場合には（Ｓ１７のＮＯ）、Ｓ１３に戻り、処理を継続する。
以上の処理により、入力映像の高画質化を行うことができる。

＜第１の変形例：高画質化情報の提供元のバリエーション＞
第１の実施の形態では、高画質化情報をネットワークから取得する例について説明したが、取得元は、ネットワーク経由に限定されるものではない。例えば、記録メディア（CD/DVD/BDに代表されるディスク媒体、メモリカードに代表される半導体メモリなど）から取得する構成にしてもよい。

＜第２の変形例：高画質化情報の提供形態のバリエーション＞
また、第１の実施の形態では、高画質化情報は、映像情報とは別のファイルとして提供する例について説明したが、一般的には映像情報はストリームファイルで提供されているため、ストリームファイル内に高画質化情報を埋め込んでおく構成であっても良い。高画質情報を例えばフレーム単位で埋め込むようにすることが好ましい。このように埋め込み構造の入力映像ストリームを用いた場合には、高画質化情報をネットワーク上に存在するサーバから検索するという処理は省略することができる。

＜第３の変形例：高画質化情報の取得タイミングのバリエーション＞
また、第１の実施の形態では、高画質化情報を入力映像情報の再生開始時に取得する場合を例にして説明したが、取得するタイミングはこのタイミングに限定されるものではない。例えば、映像情報をデータ保存部００９に録画した時点で、再生されることを予測して予め高画質化情報を取得しておいてもよい。或いは、ユーザの取得指示に応じて取得するようにしてもよい。映像情報の録画時に高画質化情報を取得しておくことにより、ユーザが録画した映像情報を見るまでの間に、高画質化処理を終了させておくことも可能である。また、再生時に、映像情報記録再生装置がネットワークに繋がっていない場合であっても、高画質化情報を取得済みであるため、高画質化処理を行った後の映像を再生させることができる。

＜第４の変形例：高画質化情報の適用のバリエーション＞
また、第１の実施の形態では、高画質化処理を適用するか否かを、高画質化情報の適用許可情報１７０に基いて決定する例について説明したが、高画質化処理を適用するか否かについて、例えば、撮像時のカメラのレンズの絞り情報であるF値(F-number)を元に高画
質化処理を行うかどうかを判断するようにしても良い。すなわち、F値が小さい場合は、
焦点以外の部分がぼけた映像情報になる。このようなぼけは、映像情報の作成者の意図によるものである可能性が高いため、ぼけを取り除くための処理を除外してその他の高画質化処理のみを適用することが好ましいと判断される。

尚、夜間の撮影では、受光量が少ないことから昼間に比べてF値を小さくする傾向にあ
る。従って、高画質化情報に撮影時刻情報又は周辺光量情報などの明るさに関する情報を付加しておき、この撮影時刻等の明るさ情報を考慮して、ぼけを修正するか否かを判断するようにしても良い。

また、動画のように複数枚の映像情報からなるデータに適用する場合を考慮すると、その高画質化の効果は、１枚毎に異なることが考えられる。そこで、高画質化情報の適用許可情報１７０に、効果的に高画質化の作用が働くことを示す情報を追加しても良い。例えば、高画質化の効果を数値化しておくことで、映像情報記録再生機器において、一定以上の効果を期待できる箇所（上記数値がある値以上であること）に対して高画質化処理を行うようにすることができる。

また、上記第１の実施の形態では、高画質化処理を適用するか否かを、高画質化情報の適用許可情報１７０に基いて決定する例について説明した。その他の方法として、一般的な映像情報記録再生装置を考慮した場合に、ユーザからのリモコンなどによる指示、映像情報記録再生装置の初期機器設定情報も、高画質化処理を適用するか否かを判断する情報の要因として利用できることは言うまでもない。

＜第５の変形例：一つの映像情報に対して複数の高画質化情報が存在するバリエーション＞
また、第１の実施の形態では、高画質化情報は映像情報に対して１つである例について説明したが、これに限定されるものではない。例えば、解像度が異なる複数の所望の高画質映像情報が存在する場合には、解像度が異なる毎に高画質化情報を用意しておいてもよい。解像度が異なる場合には、誤差評価部１０７での誤差の評価が異なる。例えば、映像情報の画素値の二乗誤差の和とした場合に、解像度の違いにより、評価が異なるという問題が起きる。そこで、解像度毎に高画質化情報を用意しておくことにより、解像度毎の映像情報の高画質化のばらつきを減らすことができる。この場合に、高画質化情報は、再生する映像情報のコンテンツＩＤ１５０ａとディスプレイの情報（例えば、ディスプレイの解像度はＨＤＭＩ（登録商標）(High Definition Multimedia Interface)接続等で取得できる）を使って高画質化情報を取得することは言うまでもない。

＜第６の変形例：高画質情報の内容のバリエーション＞
また、入力シミュレータ情報１００は、映像情報を撮像したカメラを特定できる情報であってもよい。例えば、代わりに、カメラの型番情報またはレンズの型番情報を使い、ネットワークなどから、これらの情報に基づいて、点広がり関数１００ａ、受光時間情報１００ｂ、開口時間１００ｃを取得するようにしてもよい。この場合でも、カメラの型番情報とレンズの型番情報とから、高画質化情報を取得するプロセスは必要である。カメラの型番情報またはレンズの型番情報が与えられることにより、再生選択された映像情報の高画質化情報が存在しない場合であっても、カメラの型番情報とレンズの型番情報とがあれば、カメラメーカーのサイトもしくはレンズメーカーのサイトから点広がり関数１００ａ、受光時間情報１００ｂ、開口時間１００ｃを取得することにより、カメラの特性によるぼけを取り除くことが可能となる。

映像情報記録再生装置を製造するメーカーにとって、例え映像情報の提供者から映像情報以外何も提供されていない場合でも、カメラ情報やレンズ情報から独自に高画質化情報と関連付けることで、もともと提供されている映像情報をより価値の高い高画質映像情報として再生できる。これにより、映像情報記録再生装置の価値を高められ優位性を持つことできる。

また、入力シミュレータ情報１００には、ガンマ補正情報を含んでもよい。現在の放送規格では、CRTディスプレイでの表示特性を考慮して、映像情報に規定のガンマ補正をかけたあと放送している。しかし、一般的にカメラで撮影した場合、ガンマ補正をかけないことも可能である。従って、カメラで撮像したときのガンマ補正情報を追加することで、ガンマ補正を考慮した高画質化処理を行うことが可能である。

＜第７の変形例：映像情報の取得元のバリエーション＞
また、第１の実施の形態では、データ保存部００９内の映像情報を再生する例について説明したが、再生対象となる映像情報のソースは、データ保存部００９内に限定されるものではない。映像情報を映像情報記録再生装置外のソースから取得しながら、高画質化処理を行うこともできる。この場合には、データ保存部００９は任意に設ければ良い。

〔第２の実施の形態：高画質化情報を認証取得する場合のバリエージョン〕
以下に、本発明の第２の実施の形態について図面を参照しながら説明行う。上記の第１の実施の形態では、高画質化情報を取得する際、特に認証なしで取得できる場合について説明した。

しかしながら、高画質化情報は、映像情報を高画質化できるため、映像情報の価値を上げることができると言えるので、有償で提供することが考えられる。例えば、低画質映像をユーザに提供しておき、気に入ったコンテンツがあった場合に、ユーザからの申し出により、有償で高画質情報を提供するようにしても良い。

その場合、高画質化情報の取得時に、映像情報記録再生装置が不正に高画質化情報を取得できない仕組みが必要となる。

図５は、本実施の形態によるバリエーションによる映像情報記録再生装置の一構成例を示す図である。図１と同じ機能ブロックについては説明を省略する。

図５に示すように、取得認証部５０１は高画質化情報をネットワークから取得する場合に、ネットワークと高画質情報取得部００４との間に設けられ、高画質化情報の提供元が設定した図示しない認証用サーバとの間で認証処理を行う機能部である。取得認証部５０１において認証が成功した場合にのみ、高画質化情報を取得することができるようになっている。この場合には、例えば、取得時に課金する、高画質化情報の提供者の意図により、高画質化情報の一部を提供するなどの仕組みを設けることができる。

また、高画質化情報を暗号化しておき、ネットワークから取得するように構成しても良い。この場合には、復号鍵を提供者側から購入し、購入した復号鍵を利用して取得認証部５０１において、暗号化された高画質化情報を復号して使うようにすることができる。

（まとめ）
本発明に実施の形態による映像情報記録再生装置を用いることで、様々なカメラ、撮像条件で撮られた映像情報に対して、効果的に高画質化処理を適用することができる。従って、適切な高画質映像情報を簡単かつ効果的に得ることが可能となる。

映像情報を記録・再生することができる機器全般に適用することができる。

１ 映像情報記録再生装置
００１ 全体制御部
００２ 映像情報取得部
００３ 同期部
００４ 高画質化情報取得部
００５ 高画質化情報解釈部
００６ 映像情報分離部
００７ 高画質化処理部
００８ 映像情報合成部
００９ データ保存部
０１０ 映像情報出力部
１０１ 外部インターフェース部
１０２ 修正情報作成部
１０３ 映像情報修正部
１０４ 入力シミュレータ部
１０５ 映像情報位置あわせ部
１０６ 終了判定部
１０７ 誤差評価部
５０１ 取得認証部
５０２ 映像情報記録再生装置
６０１ 全体制御部
６０２ 映像情報取得部
６０３ 高画質化処理部
６０４ データ保存部
６０５ 映像情報出力部

Claims (15)

1. 映像情報を処理する映像情報処理装置において、
   入力映像を高画質化するための高画質化情報を、該高画質化情報と適用する入力映像とを結びつけるための同期情報に基づいて取得する高画質化情報取得部と、
   取得した高画質化情報の前記入力映像への適用の仕方を、取得した前記高画質化情報の内容に基づいて解釈する高画質化情報解釈部と、
   前記高画質化情報を適用して前記入力映像を高画質映像に変換する高画質化処理部と、
   を備えることを特徴とする映像情報処理装置。
2. 映像情報を処理する映像情報処理装置において、
   入力映像情報を取得し、取得した前記入力映像情報から、映像情報を特定する識別情報を得る映像情報取得部と、
   前記識別情報に基づいて、前記入力映像を高画質化する高画質化情報を、ネットワークを介して外部から取得する高画質化映像情報取得部と、
   前記高画質化情報取得部から前記高画質化情報を受け取り、前記映像情報への適用の仕方を解釈する高画質化情報解釈部と、
   前記映像情報取得部から前記入力映像を受け取り、前記高画質化情報解釈部から受け取った適用領域情報をもとに、高画質化処理を適用する領域を前記入力映像から抽出し、切り取った入力映像を同期情報のタイミングで出力する映像情報分離部と、
   前記高画質化情報解釈部から受け取った高画質化情報を、前記映像情報分離部から受け取った前記入力映像に対して適用して高画質化処理を行う高画質化処理部と
   を有することを特徴とする映像情報処理装置。
3. さらに、
   前記高画質化処理部から高画質化した映像情報を受け取り、前記高画質化情報解釈部から受け取った適用領域情報をもとに、高画質化した映像情報を合成し、該高画質化した映像情報を合成する映像情報合成部と、
   該映像情報合成部から受け取った高画質化した映像情報を出力する映像情報出力部と、映像情報、高画質化情報を保存するデータ保存部と
   を有することを特徴とする請求項２に記載の映像情報処理装置。
4. 前記高画質化処理部は、外部インターフェース部、修正情報作成部、映像情報修正部、入力シミュレータ部、映像情報位置あわせ部、終了判定部、誤差評価部、を備えており、
   前記外部インターフェース部は、ネットワークを介して高画質化情報として、入力シミュレータ情報、位置あわせ情報、誤差の評価関数情報、終了判定情報、修正方法情報、入力映像のうちの少なくともいずれかを含む情報を取得するととともに、前記映像情報分離部の出力である高画質化処理が行われる前の入力映像を受け取るとともに、高画質化処理が行われた後の高画質映像情報を外部に出力するインターフェースを構成し、高画質化情報を受け取った場合に、これらの情報を各機能構成部に振り分けて送り、
   前記修正情報作成部は、前記外部インターフェース部から受け取った修正方法情報と、前記終了判定部から受け取った誤差情報から、高画質化のための映像の修正情報を作成し前記映像情報修正部は、前記修正情報作成部から受け取った映像の修正情報を用いて、映像の高画質化を行い、
   前記入力シミュレータ部は、前記外部インターフェース部から受け取った入力シミュレータ情報を使い、映像情報を撮像したカメラの処理をモデル化して、前記映像情報修正部から受け取った高画質映像情報を変換し、
   前記映像情報位置あわせ部は、前記外部インターフェース部から受け取った位置あわせ情報を使い、複数の低解像度映像情報の間の位置あわせ処理（レジストレーション）を行い、
   前記終了判定部は、前記外部インターフェース部から受け取った前記終了判定情報を使い、高画質化処理の繰り返しの終了の判定を行い、
   前記誤差評価部は、前記外部インターフェースから受け取った誤差評価情報を使い、前記入力シミュレータ部から受け取った低解像度映像情報と、前記映像情報位置あわせ部から位置あわせ処理を行った結果としての低解像度映像情報と、の差分を抽出することを特徴とする請求項３に記載の映像情報処理装置。
5. 請求項１から４までのいずれか１項に記載の映像情報処理装置において、
   前記高画質化情報は、
   映像情報を撮像したカメラの処理をモデル化するための入力シミュレータ情報、複数の入力映像の位置あわせ/注目映像と参照映像の動き量を推定するレジストレーションをするための位置あわせ情報、入力映像と高画質映像の誤差を評価するための誤差評価情報、高画質化処理の終了条件のための終了判定情報、映像内で高画質化情報を適用する領域を示すための適用領域情報、映像のフレーム単位での高画質化情報への適用を示すための適用許可情報、の少なくとも一つを含み、
   高画質化情報取得部は、上記の情報の少なくとも一つを取得することを特徴とする映像情報処理装置。
6. 請求項５に記載の映像情報処理装置において、
   前記入力シミュレータ情報は、
   映像情報を撮像したカメラをモデル化した点広がり関数（PSF：Point Spread Function）を選択するための情報、映像情報を撮像したカメラの受光素子に光が当たり情報として取得できるまでの時間を示す受光時間情報、映像情報を撮像したカメラのシャッターが開いてから閉じるまでの時間を示す開口時間情報、の少なくとも一つを含み、
   前記高画質化情報取得部は、前記情報の少なくとも一つを取得することを特徴とする映像情報記録再生装置。
7. 請求項５に記載の映像情報処理装置において、
   前記位置あわせ情報は、
   複数の入力映像間の位置ずれの量を示す情報を含み、
   前記高画質化情報取得部は、上記の情報を取得することを特徴とする映像情報処理装置。
8. 請求項５に記載の映像情報処理装置において、
   誤差評価情報は、
   誤差評価方法の種類を選択するための情報、高画質映像のエッジ情報の少なくとも一つを含み、
   高画質化情報取得部は、上記の情報の少なくとも一つを取得することを特徴とする映像情報処理装置。
9. 請求項５に記載の映像情報処理装置において、
   終了判定情報は、誤差の閾値情報、繰り返しの回数情報、の少なくとも一つを含み、
   高画質化情報取得部は、上記の情報の少なくとも一つを取得することを特徴とする映像情報処理装置。
10. 請求項６に記載の映像情報処理装置において、
    同期情報は、高画質化情報を適用する映像情報を特定するための情報、高画質化情報を適用する映像情報のフレームを特定するための情報、の少なくとも一つを含み、
    高画質化情報取得部は、上記の情報の少なくとも一つを取得することを特徴とする映像情報処理装置。
11. 請求項６に記載の映像情報処理装置において、
    適用領域情報は、高画質化情報を適用する映像情報の空間的な範囲を特定するための情報を含み、
    高画質化情報取得部は、前記情報を取得することを特徴とする映像情報処理装置。
12. 請求項６に記載の映像情報処理装置において、
    適用許可情報は、高画質化情報を適用するか否かを示す情報を含み、
    高画質化情報取得部は、前記情報を取得することを特徴とする映像情報処理装置。
13. 映像情報を処理する映像情報処理方法であって、
    入力映像情報を取得し、取得した前記入力映像情報から、映像情報を特定する識別情報を得るステップと、
    前記識別情報に基づいて、前記入力映像を高画質化する高画質化情報を、ネットワークを介して外部から取得するステップと、
    前記高画質化情報を受け取り、前記映像情報への適用の仕方を解釈するステップと、
    前記入力映像を受け取り、前記高画質化情報解釈部から受け取った適用領域情報をもとに、高画質化処理を適用する領域を前記入力映像から抽出し、切り取った入力映像を同期情報のタイミングで出力するステップと、
    前記高画質化情報を、前記切り取った入力映像を同期情報のタイミングに基づいて受け取った前記入力映像に対して適用して高画質化処理を行うステップと
    を有することを特徴とする映像情報処理方法。
14. 請求項１３に記載の映像情報処理方法をコンピュータに実行させることを特徴とする制御プログラム。
15. 請求項１４に記載の制御プログラムを記録するコンピュータ読み取り可能な記録媒体。