JP2014123787A - 画像処理装置、画像処理方法、および、プログラム - Google Patents

画像処理装置、画像処理方法、および、プログラム Download PDF

Info

Publication number
JP2014123787A
JP2014123787A JP2012277561A JP2012277561A JP2014123787A JP 2014123787 A JP2014123787 A JP 2014123787A JP 2012277561 A JP2012277561 A JP 2012277561A JP 2012277561 A JP2012277561 A JP 2012277561A JP 2014123787 A JP2014123787 A JP 2014123787A
Authority
JP
Japan
Prior art keywords
image
high frequency
unit
pixel
original images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012277561A
Other languages
English (en)
Inventor
Shigeo Fujishiro
茂夫 藤代
Sadahito Suzuki
禎人 鈴木
Hideyori Koseki
英資 小関
Norihiro Takahashi
憲弘 高橋
Takayoshi Fujiwara
孝芳 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012277561A priority Critical patent/JP2014123787A/ja
Priority to US14/101,443 priority patent/US8792053B2/en
Priority to CN201310682585.5A priority patent/CN103888775A/zh
Publication of JP2014123787A publication Critical patent/JP2014123787A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Abstract

【課題】フレームレート変換された動画の画質を向上させる。
【解決手段】通常補間画像生成部が、時系列に沿って再生される複数の原画像の間に補間する画像を複数の原画像の各々に基づいて通常補間画像として生成する。高周波数領域抽出部が、複数の原画像の各々において空間周波数が所定値より高い領域である高周波数領域を抽出する。高周波数領域補間画像生成部が、複数の原画像の間に補間する画像を時系列上の時間の経過に伴う高周波数領域の位置の変化と複数の原画像の各々とに基づいて高周波数領域補間画像として生成する。合成部が、通常補間画像と高周波数領域補間画像とを合成する合成処理を実行する。
【選択図】図３

Description

本技術は、画像処理装置、画像処理方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、動画における単位時間当たりのフレーム数を変更する画像処理装置、画像処理方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。
テレビジョン受像機などの従来の画像処理装置では、動画における単位時間当たりのフレーム数（すなわち、フレームレート）を変更するフレームレート変換が行われることがある。例えば、動画内の物体の動きを滑らかにする際に、フレームレートを上昇させるフレームレート変換（いわゆる、アップコンバート）が行われる。
このアップコンバートにおいては、元の原フレームから新たに補間フレームを生成し、原フレーム間に補間フレームを挿入するフレーム補間法がよく用いられる。このフレーム補間法では、原フレーム中の物体の動きを検出して、その動きに基づいて補間フレームを生成する動き補償処理を行うことにより、動く物体を含む動画において自然な補間を行うことができる。
動き補償処理を行う場合、ブロック毎や画素毎に物体の動きを検出する方法が一般によく用いられるが、その方法では一部のブロックまたは画素において動きの検出に失敗するおそれがある。動きの検出に失敗した物体が高周波成分（例えば、文字テロップ）の場合、検出に失敗した箇所の画像に破綻が生じ易い。例えば、高周波成分を有する物体は、背景との境界がはっきりしているため、検出に失敗した箇所にブレが生じる。一方、低周波成分の物体の境界はぼやけているために、動きの検出に失敗してもブレが生じにくい。
動き検出の失敗に伴う破綻を抑制するために、動きのある高周波成分を含むエリアを文字テロップのエリアとして検出し、そのエリア内では、補間方法を変更する画像処理装置が提案されている（例えば、特許文献１参照。）。この画像処理装置は、文字テロップのエリア内ではエリア全体の動きを検出し、それ以外のエリアではブロック毎や画素毎に動きを検出する。そして、検出した動きの方向に沿って、原フレームにおける文字テロップのエリア全体をずらし、文字テロップ以外のエリアでは、ブロック毎または画素毎に原フレームをずらして補間フレームを生成している。文字テロップのエリア全体をずらすことにより、そのエリア内においてブレが生じなくなる。
特開２００９−２９６２８４号公報
しかしながら、上述の従来技術では、フレームレート変換された動画の画質が低下するおそれがある。具体的には、画像処理装置が、文字テロップのエリアと、それ以外のエリアとで異なる処理を行うため、それらのエリアの境界部分が不自然になるおそれがある。これにより、画質が低下するおそれがある。
本技術はこのような状況に鑑みて生み出されたものであり、フレームレート変換された動画の画質を向上させることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、時系列に沿って再生される複数の原画像の間に補間する画像を前記複数の原画像の各々に基づいて通常補間画像として生成する通常補間画像生成部と、前記複数の原画像の各々において空間周波数が所定値より高い領域である高周波数領域を抽出する高周波数領域抽出部と、前記複数の原画像の間に補間する画像を前記時系列上の時間の経過に伴う前記高周波数領域の位置の変化と前記複数の原画像の各々とに基づいて高周波数領域補間画像として生成する高周波数領域補間画像生成部と、前記通常補間画像と前記高周波数領域補間画像とを合成する合成処理を実行する合成部とを具備する画像処理装置、および、その画像処理方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、複数の原画像の各々に基づいて通常補間画像が生成され、時系列上の時間の経過に伴う前記高周波数領域の位置の変化と前記複数の原画像の各々とに基づいて高周波数領域補間画像が生成され、通常補間画像と高周波数領域補間画像とが合成されるという作用をもたらす。
また、この第１の側面において、前記時系列上の一定期間内において前記高周波数領域の位置が変化する方向および距離を示すベクトルを検出するベクトル検出部をさらに具備し、前記高周波数領域補間画像生成部は、前記ベクトルと前記複数の原画像の各々とに基づいて前記高周波数領域補間画像を生成してもよい。これにより、高周波数領域の位置が変化する方向および距離を示すベクトルと複数の原画像の各々とに基づいて高周波数領域補間画像が生成されるという作用をもたらす。
また、この第１の側面において、前記通常補間画像と前記高周波数領域補間画像とを合成する比率を前記高周波数領域内の画素の各々の画素値に応じて画素毎に決定する合成比率決定部をさらに具備し、前記合成部は、前記比率に従って前記合成処理を実行してもよい。これにより、高周波数領域内の画素の各々の画素値に応じて画素毎に決定された比率に従って合成処理が実行されるという作用をもたらす。
また、この第１の側面において、前記高周波数領域抽出部は、前記複数の原画像の各々において前記高周波数領域を抽出するフィルタ部と、前記複数の原画像のうち隣り合う２枚の原画像の画素値の差分を画素ごとに検出する差分検出部と、前記２枚の原画像の各々における前記高周波数領域内の画素の画素値を前記差分に応じて増加させて前記ベクトル検出部および前記合成比率決定部に供給する増加部とを備えてもよい。これにより、高周波数領域内の画素の画素値が差分に応じて増加するという作用をもたらす。
また、この第１の側面において、前記高周波数領域抽出部は、前記検出された差分の中から第１の差分閾値に満たない前記差分を除去する第１の差分コアリング処理を実行する第１の差分コアリング処理部をさらに備え、前記増加部は、前記第１の差分コアリング処理が実行された前記差分に応じて前記高周波数領域内の画素の画素値を増加させて前記ベクトル検出部に供給してもよい。これにより、第１の差分コアリング処理が実行された差分に応じて高周波数領域内の画素の画素値が増加するという作用をもたらす。
また、この第１の側面において、前記高周波数領域抽出部は、前記検出された差分の中から第２の差分閾値に満たない前記差分を除去する第２の差分コアリング処理を実行する第２の差分コアリング処理部をさらに備え、前記増加部は、前記第２の差分コアリング処理が実行された前記差分に応じて前記高周波数領域内の画素の画素値を増加させて前記合成比率決定部に供給してもよい。これにより、第２の差分コアリング処理が実行された差分に応じて高周波数領域内の画素の画素値が増加するという作用をもたらす。
また、この第１の側面において、前記高周波数領域抽出部は、前記抽出された高周波数領域において第１の画素値閾値に満たない画素値の画素を除去する第１の画素コアリング処理を実行する第１の画素コアリング処理部をさらに備え、前記増加部は、前記第１の画素コアリング処理が実行された前記高周波数領域内の画素の画素値を前記差分に応じて増加させて前記ベクトル検出部に供給してもよい。これにより、第１の画素コアリング処理が実行された高周波数領域内の画素の画素値が差分に応じて増加するという作用をもたらす。
また、この第１の側面において、前記高周波数領域抽出部は、前記抽出された高周波数領域において第２の画素値閾値に満たない画素値の画素を除去する第２の画素コアリング処理を実行する第２の画素コアリング処理部をさらに備え、前記増加部は、前記第２の画素コアリング処理が実行された前記高周波数領域内の画素の画素値を前記差分に応じて増加させて前記合成比率決定部に供給してもよい。これにより、第２の画素コアリング処理が実行された高周波数領域内の画素の画素値が差分に応じて増加するという作用をもたらす。
また、この第１の側面において、前記複数の原画像の各々は、所定の形状の複数のブロックからなる画像であり、前記通常補間画像生成部は、前記時系列上の時間の経過に伴う前記複数のブロックの各々の位置の変化と前記複数の原画像の各々とに基づいて前記通常補間画像を生成してもよい。これにより、時系列上の時間の経過に伴う複数のブロックの各々の位置の変化と複数の原画像の各々とに基づいて通常補間画像が生成されるという作用をもたらす。
また、この第１の側面において、前記合成部により合成された画像と前記複数の原画像とを前記時系列の順に選択して出力する選択部をさらに具備してもよい。これにより、合成された画像と複数の原画像とが時系列の順に選択して出力されるという作用をもたらす。
本技術によれば、フレームレート変換された動画の画質を向上させることができるという優れた効果を奏し得る。
第１の実施の形態における情報処理システムの一構成例を示すブロック図である。 第１の実施の形態における画像処理装置の一構成例を示すブロック図である。 第１の実施の形態における補間画像生成部の一構成例を示すブロック図である。 第１の実施の形態におけるローカル動きベクトルの検出方法を説明するための図である。 第１の実施の形態におけるローカル動きベクトルの一例を示す図である。 第１の実施の形態における通常補間画像生成部の一構成例を示すブロック図である。 第１の実施の形態における通常補間画像の生成方法を説明するための図である。 第１の実施の形態における高周波数領域抽出部の一構成例を示すブロック図である。 第１の実施の形態における差分検出部の一構成例を示すブロック図である。 第１の実施の形態における高周波数領域補間画像生成部の一構成例を示すブロック図である。 第１の実施の形態における合成比率決定部の一構成例を示すブロック図である。 第１の実施の形態における合成部の一構成例を示すブロック図である。 第１の実施の形態における通常補間画像の一例を示す図である。 第１の実施の形態における高周波数領域補間画像の一例を示す図である。 第１の実施の形態における合成比率データの一例を示す図である。 第１の実施の形態における合成補間画像の一例を示す図である。 第１の実施の形態における画像処理装置の動作の一例を示すフローチャートである。 第１の実施の形態における補間画像生成処理の一例を示すフローチャートである。 第１の実施の形態の変形例における補間画像生成部の一構成例を示すブロック図である。 第１の実施の形態の変形例における通常補間画像生成部の一構成例を示すブロック図である。 第１の実施の形態の変形例における通常補間画像の一例を示す図である。 第２の実施の形態における補間画像生成部の一構成例を示すブロック図である。 第２の実施の形態における高周波数領域抽出部の一構成例を示すブロック図である。 第２の実施の形態の変形例における高周波数領域抽出部の一構成例を示すブロック図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（通常補間画像と高周波数領域補間画像とを合成する例）
２．第２の実施の形態（通常補間画像と、コアリング処理後の差分から生成した高周波数領域補間画像とを合成する例）
＜１．第１の実施の形態＞
［情報処理システムの構成例］
図１は、第１の実施の形態における情報処理システムの一構成例を示すブロック図である。この情報処理システムは、動画供給装置１００、画像処理装置２００および表示装置４００を備える。
動画供給装置１００は、動画を含む入力信号を画像処理装置２００に信号線１０９を介して供給するものである。この動画は、時系列の順に再生される複数のフレーム（画像）を含む。以下、入力信号における画像の各々を「原画像」と称する。動画供給装置１００は、例えば、動画が乗せられた放送波を受信し、その放送波から動画を取得する。動画のフレームレートをヘルツ（Ｈｚ）により表わす場合、入力信号における動画のフレームレートは、例えば、６０ヘルツである。
なお、動画供給装置１００は、放送波以外から動画を取得してもよい。例えば、動画供給装置１００は、ＤＶＤ（Digital Versatile Disk）などの記録媒体やＨＤＤ（Hard Disk Drive）などの記憶装置に記録された動画を読み出すことにより動画を取得してもよい。
画像処理装置２００は、入力信号における動画のフレームレートを変換し、フレームレート変換後の動画を含む出力信号を表示装置４００に信号線２０９を介して出力するものである。出力信号における動画のフレームレートは、例えば、１２０ヘルツである。
ここで、一般に、入力信号および出力信号のそれぞれのフレームレートの比率が１：ｍ（ｍは１より大きな実数）となる変換は、ｍ倍速のフレームレート変換と呼ばれる。例えば、６０ヘルツから１２０ヘルツへの変換は、２倍速のフレームレート変換である。なお、画像処理装置２００は、３０ヘルツから１２０ヘルツへの４倍速のフレームレート変換など、２倍速以外のフレームレート変換を行ってもよい。
表示装置４００は、出力信号に含まれる動画を再生して表示するものである。
［画像処理装置の構成例］
図２は、第１の実施の形態における画像処理装置２００の一構成例を示すブロック図である。この画像処理装置２００は、画像メモリ２１０、２２０および２３０と、セレクタ２４０と、補間画像生成部３００とを備える。
画像メモリ２１０および２３０は、入力信号における原画像Ｆｎを保持するものである。ここで、ｎは、原画像が再生される順番を示す整数である。補間画像生成部３００およびセレクタ２４０は、画像メモリ２１０および２３０に保持された原画像を、その次の原画像が入力されたときに読み出すことにより、１画像の分、遅延した原画像を取得することができる。
補間画像生成部３００は、原画像ＦｎおよびＦｎ−１に基づいて、それらの間に補間する画像を合成補間画像ＭＣ_mixとして生成するものである。この補間画像生成部３００は、入力信号から原画像Ｆｎを取得し、また、遅延した原画像Ｆｎ−１を画像メモリ２１０から取得し、それらの原画像から合成補間画像ＭＣ_mixを生成して画像メモリ２２０に保持させる。画像メモリ２２０は、合成補間画像ＭＣ_mixを保持するものである。
セレクタ２４０は、画像メモリ２２０に保持された合成補間画像と画像メモリ２３０に保持された原画像とを時系列の順に選択して出力するものである。
［補間画像生成部の構成例］
図３は、第１の実施の形態における補間画像生成部３００の一構成例を示すブロック図である。この補間画像生成部３００は、ローカル動きベクトル検出部３１０、通常補間画像生成部３２０、高周波数領域抽出部３３０、グローバル動きベクトル検出部３４０、高周波数領域補間画像生成部３５０、合成比率決定部３６０および合成部３７０を備える。
ローカル動きベクトル検出部３１０は、原画像を所定形状の複数のブロックに区切り、それらのブロックが一定期間内に移動した方向および距離を示すベクトルをローカル動きベクトルとして検出するものである。具体的には、ローカル動きベクトル検出部３１０において、原画像は、例えば、８×８画素の正方形のブロックからなる画像として扱われる。そして、ローカル動きベクトル検出部３１０は、補間画像内のいずれかのブロックを対象ブロックとして選択する。ローカル動きベクトル検出部３１０は、補間画像内の対象ブロックと対応する原画像内のブロックから一定範囲内の領域を探索範囲Ｗとする。この探索範囲Ｗは、ブロックマッチングによりローカル動きベクトルを探索するための範囲である。例えば、原画像において、対象ブロックと、その対象ブロックの周囲の所定個数のブロックとが探索範囲Ｗとされる。
ここで、ローカル動きベクトルを探索する際に候補とするベクトルを候補動きベクトルｍｖとする。この候補動きベクトルｍｖは次の式１および式２によりｖｎとｖｎ−１とに分割することができる。
Ｖn＝（ｖｘ_ｎ，ｖｙ_ｎ）
＝（−ｍｖＸ・（１−Ｒｅｌｐｏｓ），−ｍｖＹ・（１−Ｒｅｌｐｏｓ））・・・式１
Ｖｎ-1＝（ｖｘ_ｎ-1，ｖｙ_ｎ-1）
＝（ｍｖＸ・Ｒｅｌｐｏｓ，ｍｖＹ・ＲｅｌＰｏｓ） ・・・式２
式１および式２において、ｍｖＸは、候補動きベクトルｍｖのｘ成分であり、ｍｖＹは候補動きベクトルｍｖのｙ成分である。また、式１および式２において、Ｒｅｌｐｏｓは、補間位置を示す補間位置パラメータである。ここで、補間位置は、動画を再生する時間軸上において出力信号における合成補間画像ＭＣ_mixのそれぞれの再生位置である。補間位置パラメータＲｅｌｐｏｓは、例えば、隣り合う２枚の原画像の間の時間によって、原画像および補間画像の間の時間を除した値である。２倍速のフレームレート変換では、原画像および補間画像の間の時間は、隣り合う２枚の原画像間の時間の半分であるため、補間位置パラメータＲｅｌｐｏｓは「０．５０」である。また、４倍速のフレームレート変換では、隣り合う２枚の原画像間に３枚の補間画像が挿入され、原画像および各補間画像の間の時間は、２枚の原画像間の時間の１／４、１／２および３／４である。このため、それぞれの補間画像の補間位置パラメータＲｅｌｐｏｓは「０．２５」、「０．５０」および「０．７５」である。
候補動きベクトルｍｖが対象ブロック内の座標（ｘ，ｙ）の画素を通過する場合、原画像Ｆｎにおいて候補動きベクトルｍｖの終点に該当する画素の画素値ｓｕｃｃは次の式３により表わされる。また、原画像Ｆｎ-1において候補動きベクトルｍｖの始点に該当する画素の画素値ｐｒｅｖは次の式４により表わされる。
ｓｕｃｃ＝Ｆｎ（ｘ＋ｖｘ_ｎ，ｙ＋ｖｙ_ｎ） ・・・式３
ｐｒｅｖ＝Ｆｎ−１（ｘ＋ｖｘ_ｎ−１，ｙ＋ｖｙ_ｎ−１） ・・・式４
式３において、Ｆｎ（ｘ，ｙ）は、原画像Ｆｎにおける座標（ｘ，ｙ）の画素の画素値である。式４において、Ｆｎ-1（ｘ，ｙ）は、原画像Ｆｎ-1における座標（ｘ，ｙ）の画素の画素値である。
探索範囲Ｗ内において、式３および式４により得られる画素値ｐｒｅｖおよび画素値ｓｕｃｃの差分の統計をとることにより、探索範囲Ｗ内で最も相関性の高い２つのブロックが求められる。ローカル動きベクトル検出部３１０は、最も相関性の高い２つのブロックの一方から他方への候補動きベクトルをローカル動きベクトルとして検出する。具体的には、ローカル動きベクトル検出部３１０は、次の式５および式６を満たす候補動きベクトルｍｖをローカル動きベクトルｍｖＬとして検出する。
Figure 2014123787
Figure 2014123787
式５において、ｘおよびｙは、対象ブロック内の画素の座標である。ＥＳＡＤは、２つのブロックにおいて対応する画素の値の差分絶対値の総和であり、それらのブロックの相関性の高さを示す評価値として用いられる。また、Ｂは、対象ブロックである。式６において、ｍｉｎＥＳＡＤは、ＥＳＡＤの最小値を示す。ａｒｇｍｉｎＥＳＡＤ（ｍｖ）は、ＥＳＡＤが最小値となるとき（すなわち、相関性が最も高いとき）のｍｖを返す関数である。
式６および式７に例示したように、画素値の差分絶対値の総和により相関性の高さを評価する処理は、ＳＡＤ（Sum of Absolute Difference estimation）と呼ばれる。なお、ローカル動きベクトル検出部３１０は、相関性の高さをＳＡＤ以外の処理により求めることもできる。例えば、ローカル動きベクトル検出部３１０は、画素値の差分絶対値が所定のマッチング閾値以下となる画素数を計数して、その計数値により相関性の高さを評価するＭＰＣ（Maximum matching Pixel Count）を用いてもよい。ＭＰＣでは、計数値が最大となるときの候補動きベクトルがローカル動きベクトルとして検出される。
ローカル動きベクトル検出部３１０は、補間画像内の全てのブロックのそれぞれについいてローカル動きベクトルｍｖＬを求め、式７および式８を使用して前方動きベクトルｖｎ_Ｌおよび後方動きベクトルｖｎ−１_Ｌを求める。
Ｖn_Ｌ＝（ｖｘ_ｎ_Ｌ，ｖｙ_ｎ_Ｌ）
＝（−ｍｖＸＬ・（１−Ｒｅｌｐｏｓ），−ｍｖＹＬ・（１−Ｒｅｌｐｏｓ））
・・・式７
Ｖｎ-1_Ｌ＝（ｖｘ_ｎ−１_Ｌ，ｖｙ_ｎ−１_Ｌ）
＝（ｍｖＸＬ・Ｒｅｌｐｏｓ，ｍｖＹＬ・ＲｅｌＰｏｓ） ・・・式８
式７および式８において、ｍｖＸＬは、ローカル動きベクトルｍｖＬのｘ成分であり、ｍｖＹＬはローカル動きベクトルｍｖＬのｙ成分である。
ローカル動きベクトル検出部３１０は、ブロック毎の前方動きベクトルｖｎ_Ｌおよび後方動きベクトルｖｎ−１_Ｌを通常補間画像生成部３２０に供給する。
通常補間画像生成部３２０は、ローカル動きベクトルｍｖＬと、原画像ＦｎおよびＦｎ−１とに基づいて、それらの原画像の間に補間する画像を通常補間画像として生成するものである。この通常補間画像生成部３２０は、ローカル動きベクトル検出部３１０から前方動きベクトルｖｎ_Ｌと後方動きベクトルｖｎ−１_Ｌとを受け取る。通常補間画像生成部３２０は、受け取ったベクトルを次の式９および式１０に代入して原画像ＦｎおよびＦｎ−１における画素値ｓｕｃｃおよびｐｒｅｖを取得する。
ｓｕｃｃ＝Ｆｎ（ｘ＋ｖｘ_ｎ_Ｌ，ｙ＋ｖｙ_ｎ_Ｌ） ・・・式９
ｐｒｅｖ＝Ｆｎ−１（ｘ＋ｖｘ_ｎ−１_Ｌ，ｙ＋ｖｙ_ｎ−１_Ｌ） ・・・式１０
通常補間画像生成部３２０は、式９および式１０により取得した画素値を次式に代入して画素値ｏｕｔを算出する。
ｏｕｔ＝ｐｒｅｖ・（１−Ｒｅｌｐｏｓ）＋ｓｕｃｃ・Ｒｅｌｐｏｓ ・・・式１１
通常補間画像生成部３２０は、画素値ｏｕｔからなる画像を通常補間画像ＭＣ_Ｎとして合成部３７０に供給する。
高周波数領域抽出部３３０は、原画像ＦｎおよびＦｎ−１のそれぞれにおいて空間周波数が所定値より高い領域を高周波数領域ＨＰｎおよびＨＰｎ−１として抽出するものである。また、高周波数領域抽出部３３０は、原画像ＦｎおよびＦｎ−１の画素値の差分値ｋを画素毎に検出する。そして、高周波数領域抽出部３３０は、抽出した高周波数領域ＨＰｎおよびＨＰｎ−１のそれぞれの画素値を差分値ｋに応じて増幅することにより高周波数領域ＨＰＫｎおよびＨＰＫｎ−１を生成する。高周波数領域抽出部３３０は、それらの高周波数領域ＨＰＫｎおよびＨＰＫｎ−１をグローバル動きベクトル検出部３４０および合成比率決定部３６０に供給する。
グローバル動きベクトル検出部３４０は、高周波数領域が一定期間内に移動する距離および方向を示すベクトルをグローバル動きベクトルとして検出するものである。このグローバル動きベクトル検出部３４０は、高周波数領域抽出部３３０から高周波数領域ＨＰＫｎおよびＨＰＫｎ−１を受け取り、それらの領域全体の移動方向を示すベクトルをグローバル動きベクトルｍｖＧとして検出する。具体的には探索範囲Ｗを高周波数領域ＨＰＫｎおよびＨＰＫｎ−１全体に設定し、式６と次の式１２とを満たす候補動きベクトルをグローバル動きベクトルｍｖＧとして検出する。
Figure 2014123787
 式１２において、ＭＣは、補間画像全体を示す。
グローバル動きベクトル検出部３４０は、求めたグローバル動きベクトルｍｖＬを次の式１３および式１４に代入して前方動きベクトルＶｎ_Ｇおよび後方動きベクトルＶｎ-1_Ｇを求める。
Ｖn_Ｇ＝（ｖｘ_ｎ_Ｇ，ｖｙ_ｎ_Ｇ）
＝（−ｍｖＸＧ・（１−Ｒｅｌｐｏｓ），−ｍｖＹＧ・（１−Ｒｅｌｐｏｓ）…式１３
Ｖｎ-1_Ｇ＝（ｖｘ_ｎ−１_Ｇ，ｖｙ_ｎ−１_Ｇ）
＝（ｍｖＸＧ・Ｒｅｌｐｏｓ，ｍｖＹＧ・ＲｅｌＰｏｓ） ・・・式１４
式１３および式１４において、ｍｖＸＧは、グローバル動きベクトルｍｖＧのｘ成分であり、ｍｖＹＧはグローバル動きベクトルｍｖＧのｙ成分である。
グローバル動きベクトル検出部３４０は、前方動きベクトルＶｎ_Ｇおよび後方動きベクトルＶｎ-1_Ｇを高周波数領域補間画像生成部３５０および合成比率決定部３６０に供給する。なお、グローバル動きベクトル検出部３４０は、特許請求の範囲に記載のベクトル検出部の一例である。
高周波数領域補間画像生成部３５０は、グローバル動きベクトルｍｖＬと原画像ＦｎおよびＦｎ−１とに基づいて、それの原画像の間に補間する画像を高周波数領域補間画像として生成するものである。この高周波数領域補間画像生成部３５０は、グローバル動きベクトル検出部３４０から前方動きベクトルｖｎ_Ｇと後方動きベクトルｖｎ−１_Ｇとを受け取る。高周波数領域補間画像生成部３５０は、受け取ったベクトルを次の１５および式１６に代入して原画像ＦｎおよびＦｎ−１における画素値ｓｕｃｃおよびｐｒｅｖを取得する。
ｓｕｃｃ＝Ｆｎ（ｘ＋ｖｘ_ｎ_Ｇ，ｙ＋ｖｙ_ｎ_Ｇ） ・・・式１５
ｐｒｅｖ＝Ｆｎ−１（ｘ＋ｖｘ_ｎ−１_Ｇ，ｙ＋ｖｙ_ｎ−１_Ｇ） ・・・式１６
高周波数領域補間画像生成部３５０は、式１５および式１６により取得した画素値を式１１に代入して画素値ｏｕｔを算出する。高周波数領域補間画像生成部３５０は、画素値ｏｕｔからなる画像を高周波数領域補間画像ＭＣ_ＨＰとして合成部３７０に供給する。
合成比率決定部３６０は、通常補間画像ＭＣ_Ｎと高周波数領域補間画像ＭＣ_ＨＰとの間の合成比率を決定するものである。この合成比率決定部３６０は、高周波数領域抽出部３３０から高周波数領域ＨＰＫｎおよびＨＰＫｎ−１を受け取り、それらを合成した画像を合成比率データＭＩＸとして生成する。この合成比率データＭＩＸは、画素ごとの合成比率を画素値により表わす画像データである。合成比率決定部３６０は、合成比率データＭＩＸを合成部３７０に供給する。
合成部３７０は、合成比率データＭＩＸに基づいて通常補間画像ＭＣ_Ｎおよび高周波数領域補間画像ＭＣ_ＨＰを合成するものである。合成部３７０は、合成した画像を合成補間画像ＭＣ_mixとして、画像メモリ２２０に保持させる。
図４は、第１の実施の形態におけるローカル動きベクトルの検出方法を説明するための図である。図４におけるａは、原画像５１０の一例である。図４におけるｂは、原画像５１０の次の原画像５２０の一例である。
通常補間画像において、原画像５１０内のブロック５１１と同じ位置のブロックが対象ブロックとして選択された場合を考える。この場合、原画像５１０内において、ブロック５１１と、そのブロック５１１の周囲の所定個（例えば、８個）のブロックとが探索範囲５１２として設定される。また、原画像５２０内においても、ブロック５１１と対応するブロック５２１の周囲の所定個（例えば、８個）のブロックが探索範囲５２２として設定される。そして、探索範囲５１２内のブロックと、探索範囲５２２内のブロックとの間で、式６および式７などによるブロックマッチングが行われる。
ブロックマッチングにおいて、探索範囲５１２内の右上のブロック５１３と、探索範囲５２２内の左下のブロック５２３との間の相関性が最も高いという結果が得られたものとする。この結果より、ブロック５１３からブロック５２３への方向および距離を示すベクトルがローカル動きベクトル５２４として検出される。
図４におけるｃは、前方動きベクトルおよび後方動きベクトルの一例を示す図である。ローカル動きベクトル５２４は、式７および式８により、前方動きベクトルＶｎ_Ｌと後方動きベクトルＶｎ-1_Ｌとに分割される。
図５は、第１の実施の形態におけるローカル動きベクトルの一例を示す図である。ローカル動きベクトルは、ブロックごとに求められ、それらのローカル動きベクトルのそれぞれは、前方動きベクトルＶｎ_Ｌと後方動きベクトルＶｎ-1_Ｌとに分割される。この結果、図５に例示するように、ブロック毎に、前方動きベクトルＶｎ_Ｌと後方動きベクトルＶｎ-1_Ｌとが得られる。例えば、通常補間画像内のブロックＢ１０を対象として、ローカル動きベクトル（８，０）が検出されると、式１および式２により、このベクトルは、前方動きベクトル（−４，０）と後方動きベクトル（４，０）とに分割される。
［通常補間画像生成部の構成例］
図６は、第１の実施の形態における通常補間画像生成部３２０の一構成例を示すブロック図である。この通常補間画像生成部３２０は、前方動き補償部３２１、後方動き補償部３２２、加算器３２３および乗算器３２４を備える。
前方動き補償部３２１は、前方動きベクトルｖｎ_Ｌに基づいて、通常補間画像内の各座標（ｘ，ｙ）の画素値を取得する前方動き補償処理を実行するものである。具体的には、式９により求められた原画像Ｆｎ内の画素値ｓｕｃｃが、通常補間画像内の（ｘ，ｙ）の画素値として取得される。前方動き補償部３２１は、取得した画素値の各々を加算器３２３に供給する。
後方動き補償部３２２は、後方動きベクトルｖｎ_Ｌに基づいて、通常補間画像内の各座標（ｘ，ｙ）の画素値を取得する後方動き補償処理を実行するものである。具体的には、式１０により求められた原画像Ｆｎ-1内の画素値ｐｒｅｖが、通常補間画像内の（ｘ，ｙ）の画素値として取得される。後方動き補償部３２２は、取得した画素値の各々を加算器３２３に供給する。
加算器３２３は、入力値同士を加算するものである。加算器３２３には、前方動き補償部３２１により取得された画素値ｓｕｃｃと、後方動き補償部３２２により取得された画素値ｐｒｅｖとが入力される。加算器３２３は、これらの入力値を加算して乗算器３２４に供給する。
乗算器３２４は、入力値に所定値を乗算するものである。乗算器３２４には、加算器３２３からの加算値が入力される。乗算器３２４は、この入力値に、０．５を乗算した値を、通常補間画像ＭＣ_Ｎにおける画素値ｏｕｔとして合成部３７０に供給する。
加算器３２３および乗算器３２４により、補間位置パラメータＲｅｌｐｏｓが０．５のときにおける式１１の演算が実現される。
なお、通常補間画像生成部３２０は、前方動き補償処理および後方動き補償処理の両方を実行しているが、前方動き補償処理および後方動き補償処理のいずれか一方のみを実行してもよい。その場合、通常補間画像生成部３２０は、前方動き補償部３２１および後方動き補償部３２２の一方のみを備え、他方の動き補償部と加算器３２３および乗算器３２４とを備えない。そして、前方動き補償部３２１および後方動き補償部３２２の一方により生成された画素値が、通常補間画像の画素値として、そのまま合成部３７０に出力される。
図７は、第１の実施の形態における通常補間画像の生成方法を説明するための図である。図７におけるａは、前方動き補償部３２１により生成された前方動き補償画像５３０の一例である。前方動き補償部３２１は、式９を使用して、前方動き補償画像５３０内の対象ブロック５４１内の画素（ｘ，ｙ）から、前方動きベクトルＶｎ_Ｌに沿って移動させた位置の画素の画素値ｓｕｃｃを原画像Ｆｎから取得する。この画素値ｓｕｃｃが、対象ブロック５４１内の画素（ｘ，ｙ）の画素値として用いられる。言い換えれば、原画像Ｆｎ内の画素を前方動きベクトルＶｎ_Ｌに従って移動させた画素により前方動き補償画像５３０が生成される。
図７におけるｂは、後方動き補償部３２２により生成された後方動き補償画像５４０の一例である。後方動き補償部３２２は、式１０を使用して、後方動き補償画像５４０内の対象ブロック５４１内の画素（ｘ，ｙ）から、後方動きベクトルＶｎ−１_Ｌに沿って移動させた位置の画素の画素値ｐｒｅｖを原画像Ｆｎ−１から取得する。この画素値ｐｒｅｖが、対象ブロック５４１内の画素（ｘ，ｙ）の画素値として用いられる。言い換えれば、原画像Ｆｎ−１内の画素を前方動きベクトルＶｎ−１_Ｌに従って移動させた画素により後方動き補償画像５４０が生成される。
図７におけるｃは、図７におけるａの前方動き補償画像５３０と、図７におけるｂの後方動き補償画像５４０を式１１に基づいて合成することにより生成された通常補間画像５５０の一例を示す図である。前方動きベクトルＶｎ_Ｌおよび後方動きベクトルＶｎ−１_Ｌは、ローカル動きベクトルｍｖＬを分割したベクトルである。このため、これら前方動きベクトルＶｎおよび後方動きベクトルＶｎ−１に従って画素を移動したものを合成することにより、ローカル動きベクトルｍｖＬに従って動いたブロックの間のブロックが補間される。
［高周波数領域抽出部の構成例］
図８は、第１の実施の形態における高周波数領域抽出部３３０の一構成例を示すブロック図である。この高周波数領域抽出部３３０は、ローパスフィルタ３３１、減算器３３２、乗算器３３３、画像メモリ３３４および差分検出部３３５を備える。
ローパスフィルタ３３１は、原画像Ｆｎから、空間周波数が所定値より低い低周波数領域ＬＰｎを抽出するものである。ローパスフィルタ３３１は、例えば、ＦＩＲ（Finite Impulse Response）フィルタにより実現される。ローパスフィルタ３３１は、抽出した低周波数領域ＬＰｎ内の画素のそれぞれの画素値を減算器３３２に供給する。
減算器３３２は、２つの入力値の一方から他方を減算するものである。減算器３３２には、ローパスフィルタ３３１により抽出された低周波数領域ＬＰｎにおける画素値と、原画像Ｆｎにおける画素値とが順に入力される。減算器３３２は、原画像Ｆｎにおける画素値から、低周波数領域ＬＰｎにおける画素値を減算した値を高周波数領域ＨＰｎの画素値として乗算器３３３に供給する。
なお、高周波数領域抽出部３３０は、ローパスフィルタ３３１および減算器３３２により、高周波数領域ＨＰｎを抽出しているが、これらの代わりに、ハイパスフィルタを備え、原画像Ｆｎにハイパスフィルタを通過させて高周波数領域ＨＰｎを抽出してもよい。また、ローパスフィルタ３３１および減算器３３２は、特許請求の範囲に記載のフィルタ部の一例である。
差分検出部３３５は、原画像ＦｎおよびＦｎ−１の画素値の差分を画素ごとに検出するものである。差分検出部３３５は、画素毎に差分の値ｋを検出する。差分検出部３３５は、これらの差分値ｋからなる差分データＫを生成する。差分検出部３３５は、差分データＫにおける差分値ｋの各々を順に乗算器３３３に供給する。
乗算器３３３は、入力値を乗算するものである。この乗算器３３３には、差分データＫｎにおける差分値ｋと高周波数領域ＨＰｎにおける画素値とが入力される。乗算器３３３は、これらの入力値を乗算した値を高周波数領域ＨＰＫｎにおける画素値としてグローバル動きベクトル検出部３４０および合成比率決定部３６０に供給する。また、乗算器３３３は、乗算した値を画像メモリ３３４に保持させる。なお、乗算器３３３は、特許請求の範囲に記載の増加部の一例である。
乗算器３３３が、高周波数領域ＨＰｎの画素値に差分値ｋを乗じることにより、原画像ＦｎおよびＦｎ−１の間において移動する高周波数領域の画素値が増幅される。これにより、グローバル動きベクトル検出部３４０は、移動する高周波数領域の移動方向を示すベクトルをグローバル動きベクトルとして容易に検出することができる。また、移動する高周波数領域の画素値の増幅により、移動する高周波数領域の合成比率を優先して高くすることができる。
画像メモリ３３４は、高周波数領域を保持するものである。グローバル動きベクトル検出部３４０および合成比率決定部３６０は、画像メモリ３３４に保持された高周波数領域を、その次の高周波数領域が生成されたときに読み出すことにより、遅延した高周波数領域ＨＰＫｎ−１を取得することができる。
［差分検出部の構成例］
図９は、第１の実施の形態における差分検出部３３５の一構成例を示すブロック図である。この差分検出部３３５は、減算器３３６、絶対値取得部３３７および差分調整フィルタ３３８を備える。
減算器３３６は、２つの入力値の一方から他方を減算するものである。この減算器３３６には、原画像Ｆｎにおける画素の画素値と、原画像Ｆｎ−１における画素の画素値とが順に入力される。減算器３３６は、これらの入力値の一方から他方を減算した値（すなわち、画素値の差分）を絶対値取得部３３７に供給する。
絶対値取得部３３７は、入力値の絶対値を取得するものである。この絶対値取得部３３７には、減算器３３６からの差分が順に入力される。絶対値取得部３３７は、これらの差分の絶対値ｄｉｆｆからなるデータを差分絶対値データＤＩＦとして差分調整フィルタ３３８に供給する。
差分調整フィルタ３３８は、差分絶対値データＤＩＦにおける各絶対値ｄｉｆｆを調整するものである。例えば、差分調整フィルタ３３８は、絶対値が入力されるたびに、次式を使用して、その絶対値を増幅した値を差分値ｋとして算出する。差分調整フィルタ３３８は、これらの差分値ｋからなるデータを差分データＫとして、乗算器３３３に出力する。
Figure 2014123787
 式１７において、ａおよびｂは、実数の係数である。また、Ｔｈｄ１は、０より大きくＴｈｄ２未満の閾値であり、Ｔｈｄ２は、Ｔｈｄ１より大きく、２５５未満の閾値である。
なお、式１７は、画素値が８ビットにより表現される値、具体的には０乃至２５５の値であることを前提とした式であるが、画素値に割り当てられるビット数は、８ビットに限定されない。例えば、画素値を１０ビットで表現してもよい。その場合、式１７において「２５５」は、「１０２３」に置き換えられる。
差分調整フィルタ３３８が絶対値を増幅することにより、動きのある高周波数領域の画素値が大きくなる。これにより、グローバル動きベクトルの検出が容易となり、動きのある高周波数領域の方の合成比率が優先的に高く設定される。
なお、差分調整フィルタ３３８は、差分の絶対値を増幅しているが、増幅を行わずに絶対値をそのまま差分値ｋとして出力してもよい。また、差分調整フィルタ３３８は、絶対値を減衰させてもよい。差分の絶対値が大きすぎると、ノイズ成分の動きが誤ってグローバル動きベクトルとして検出されるおそれがあるが、絶対値の減衰により誤検出が抑制される。また、差分の絶対値が大きすぎると、ノイズ成分に基づいて不適切な合成比率が決定されるおそれがあるが、絶対値の減衰により、適切な合成比率が決定される。
［高周波数領域補間画像生成部の構成例］
図１０は、第１の実施の形態における高周波数領域補間画像生成部３５０の一構成例を示すブロック図である。この高周波数領域補間画像生成部３５０は、前方動き補償部３５１、後方動き補償部３５２、加算器３５３および乗算器３５４を備える。
前方動き補償部３５１の構成は、前方動きベクトルＶｎ_Ｌの代わりに前方動きベクトルｖｎ_Ｇに基づいて前方動き補償処理を実行する点以外は、通常補間画像生成部３２０における前方動き補償部３２１と同様である。前方動き補償部３５１は、前方動き補償処理により取得した画素値ｓuｃｃの各々を加算器３５３に供給する。
後方動き補償部３５２の構成は、後方動きベクトルＶｎ−１_Ｌの代わりに後方動きベクトルｖｎ−１_Ｇに基づいて後方動き補償処理を実行する点以外は、通常補間画像生成部３２０における後方動き補償部３２２と同様である。後方動き補償部３５２は、後方動き補償処理により取得した画素値ｐｒｅｖの各々を加算器３５３に供給する。
加算器３５３は、入力値同士を加算するものである。加算器３５３には、前方動き補償部３５１により取得された画素値ｓｕｃｃと、後方動き補償部３５２により取得された画素値ｐｒｅｖとが入力される。加算器３５３は、これらの入力値を加算して乗算器３５４に供給する。
乗算器３５４は、入力値に所定値を乗算するものである。乗算器３５４には、加算器３５３からの加算値が入力される。乗算器３５４は、この入力値に、０．５を乗算した値を、高周波数領域補間画像ＭＣ_ＨＰにおける画素値ｏｕｔとして合成部３７０に供給する。
なお、高周波数領域補間画像生成部３５０は、前方動き補償処理および後方動き補償処理の両方を実行しているが、前方動き補償処理および後方動き補償処理のいずれか一方のみを実行してもよい。その場合、高周波数領域補間画像生成部３５０は、前方動き補償部３５１および後方動き補償部３５２の一方のみを備え、他方と加算器３５３および乗算器３５４とを備えない。そして、前方動き補償部３５１および後方動き補償部３５２の一方により生成された画素値が、通常補間画像の画素値として、そのまま合成部３７０に出力される。
［合成比率決定部の構成例］
図１１は、第１の実施の形態における合成比率決定部３６０の一構成例を示すブロック図である。この合成比率決定部３６０は、前方動き補償部３６１、後方動き補償部３６２、乗算器３６３、ゲイン調整部３６４および補間フィルタ３６５を備える。
前方動き補償部３６１の構成は、原画像Ｆｎの代わりに、高周波数領域ＨＰＫｎに対して前方動き補償処理を実行する点以外は、高周波数領域補間画像生成部３５０における前方動き補償部３５１と同様である。前方動き補償部３６１は、前方動き補償処理により取得した画素値ｓuｃｃの各々を乗算器３６３に供給する。
後方動き補償部３６２の構成は、原画像Ｆｎ−１の代わりに、高周波数領域ＨＰＫｎ−１に対して後方動き補償処理を実行する点以外は、高周波数領域補間画像生成部３５０における後方動き補償部３５２と同様である。後方動き補償部３６２は、後方動き補償処理により取得した画素値ｐｒｅｖの各々を乗算器３６３に供給する。
乗算器３６３は、入力値同士を乗算するものである。乗算器３６３には、前方動き補償部３６１により取得された画素値ｓｕｃｃと、後方動き補償部３６２により取得された画素値ｐｒｅｖとが入力される。加算器３５３は、これらの入力値同士を乗算してゲイン調整部３６４に供給する。
乗算器３６３が、画素値ｓｕｃｃおよび画素値ｐｒｅｖを乗算することにより、加算する場合よりも高周波数領域の画素値が増幅される。これにより、高周波数領域の合成比率が優先的に高く設定される。
ゲイン調整部３６４は、ゲインを調整して乗算器３６３からの画素値を減衰するものである。ゲイン調整部３６４において、乗算器３６３からの画素値は、ゲインの調整により、値が一定の範囲内になるように減衰される。例えば、画素値のデータサイズが８ビットである場合、８ビットの画素値同士を乗算すると、乗算後の値のデータサイズは、１６ビットとなる。このデータサイズが８ビットになるように、乗算結果が減衰される。ゲイン調整部３６４は、調整後の画素値を補間フィルタ３６５に供給する。
補間フィルタ３６５は、ゲイン調整部３６４により生成された画素値からなる画像ＭＣ_Ｍにおいて、エッジの途切れた部分を補間して合成比率データＭＩＸを生成するものである。補間フィルタ３６５は、例えば、次式を使用して、補間を行う。補間フィルタ３６５は、生成した合成比率データＭＩＸを合成部３７０に供給する。
Figure 2014123787
 式１８において、ＭＣ_Ｍ（ｘ，ｙ）は、画像ＭＣ_Ｍにおける座標（ｘ，ｙ）の画素の画素値である。ＭＩＸ（ｘ，ｙ）は、合成比率データＭＩＸにおける座標（ｘ，ｙ）の画素の画素値である。ｍａｘ（）は、（）内の画素値の中の最大値を示す。
［合成部の構成例］
図１２は、第１の実施の形態における合成部３７０の一構成例を示すブロック図である。合成部３７０は、レベル調整部３７１と、乗算器３７２、減算器３７３、乗算器３７４および加算器３７５とを備える。
レベル調整部３７１は、合成比率データＭＩＸにおける画素値を、０乃至１の範囲内に調整するものである。例えば、画素値が０乃至２５５の値である場合、レベル調整部３７１は、この画素値を２５５で除することにより、０乃至１の値に調整する。レベル調整部３７１は、調整した値のそれぞれを合成比率ｍｉｘとして減算器３７３および乗算器３７２に順に供給する。
乗算器３７２は、入力値同士を乗算するものである。乗算器３７２には、レベル調整部３７１からの合成比率ｍｉｘと、高周波数領域補間画像ＭＣ_ＨＰにおける画素値とが入力される。乗算器３７２は、これらの入力値を乗算して加算器３７５に供給する。
減算器３７３は、所定値から入力値を減算するものである。減算器３７３には、レベル調整部３７１からの合成比率ｍｉｘが入力される。減算器３７３は、１．０から、この合成比率ｍｉｘを減算した値（１．０−ｍｉｘ）を乗算器３７４に供給する。
乗算器３７４は、入力値同士を乗算するものである。乗算器３７４には、減算器３７３から供給された値（１．０−ｍｉｘ）と、通常補間画像ＭＣ_Ｎにおける画素値とが入力される。乗算器３７４は、これらの入力値を乗算して加算器３７５に供給する。
加算器３７５は、入力値同士を加算するものである。加算器３７５には、乗算器３７２および３７４のそれぞれの乗算結果が入力される。加算器３７５は、これらの入力値を加算した値を合成補間画像ＭＣ_ｍｉｘにおける画素値として画像メモリ２２０に保持させる。
まとめると、これらの乗算器３７２、減算器３７３、乗算器３７４および加算器３７５により、次式の演算が実行される。
ＭＣ_ｍｉｘ（ｘ，ｙ）＝ＭＣ_Ｎ（ｘ，ｙ）×（１．０−ｍｉｘ）
＋ＭＣ_ＨＰ（ｘ，ｙ）×ｍｉｘ ・・・式１９
式１９において、ＭＣ_ｍｉｘ（ｘ，ｙ）は、合成補間画像ＭＣ_ｍｉｘにおける座標（ｘ，ｙ）の画素の画素値である。ＭＣ_Ｎ（ｘ，ｙ）は、通常補間画像ＭＣ_Ｎにおける座標（ｘ，ｙ）の画素の画素値である。ＭＣ_ＨＰ（ｘ，ｙ）は、高周波数領域補間画像ＭＣ_ＨＰにおける座標（ｘ，ｙ）の画素の画素値である。ｍｉｘは、合成比率データＭＩＸにおける座標（ｘ，ｙ）の画素値に基づいてレベル調整部３７１により生成された合成比率である。
図１３は、第１の実施の形態における通常補間画像６１０の一例を示す図である。ここで、画像処理装置２００には、文字テロップが画面下部に表示され、時間の経過に伴って、その文字テロップが水平方向に移動する動画が入力されたものとする。画像処理装置２００は、この動画における原画像ＦｎおよびＦｎ−１から、通常補間画像６１０を生成する。この通常補間画像６１０の下部には、文字テロップ６１１が含まれる。なお、文字テロップ６１１の上部にも文字が表示されているが、この文字の部分は、時間の経過に伴って移動することはないものとする。
画像処理装置２００は、前述したように、ブロックごとにローカル動きベクトルを検出して、そのローカル動きベクトルに基づいて、原画像内のブロックを移動させて、通常補間画像６１０を生成する。文字テロップの領域は、領域全体が水平方向に移動するため、文字テロップ内の全てのローカル動きベクトルの値は同一となるはずである。
しかし、文字テロップ内のブロック数が多いと、文字テロップ内の一部のブロックで、周りのブロックのローカル動きベクトルと異なる値のベクトルが検出されてしまうことがある。この場合、そのブロックでのローカル動きベクトルは正確な値でないため、ローカル動きベクトル検出に失敗したと評価される。
ローカル動きベクトルの検出に失敗したブロックの移動量は、文字テロップの実際の移動量とは異なるため、失敗したブロックと、そうでないブロックとの境界にブレが生じてしまう。例えば、通常補間画像６１０内の文字テロップ６１１では、ブレ６１２および６１３など、複数の箇所にブレが生じている。
図１４は、第１の実施の形態における高周波数領域補間画像６２０の一例を示す図である。画像処理装置２００は、文字テロップ６２１の動きを示すグローバル動きベクトルに従って、原画像全体を移動させて高周波数領域補間画像６２０を生成するため、文字テロップ６２１にはブレが生じない。一方、文字テロップ６２１以外の部分は移動しないにも関らず、グローバル動きベクトルに従って移動させたため、文字テロップ６２１以外の部分にブレが生じる。
図１５は、第１の実施の形態における合成比率データ６３０の一例を示す図である。合成比率データ６３０は、動きのある高周波数領域の画素値を増幅した画素を含む画像データである。このため、動きのある高周波数領域として抽出された文字テロップの部分の画素値が、それ以外の部分よりも高くなっている。従って、文字テロップの部分の合成比率ｍｉｘは、それ以外の部分より高い値に設定される。
図１６は、第１の実施の形態における合成補間画像６４０の一例を示す図である。画像処理装置２００は、通常補間画像６１０と高周波数領域補間画像６２０とを、合成比率データ６３０に基づいて合成する。合成比率データ６３０においては文字テロップの部分の合成比率が高く設定されているため、文字テロップ６３１では高周波数領域補間画像６２０の比率が高く、それ以外の部分では通常補間画像６１０の比率が高い合成補間画像６４０が生成される。高周波数領域補間画像６２０では、文字テロップのブレが生じず、通常補間画像６１０では、文字テロップ以外の部分にブレが生じてない。このため、これらのブレのない部分の比率を高くして合成した合成補間画像６４０においては全体的にブレが生じない。この合成補間画像６４０を原画像に補間することにより、フレームレート変換された動画の画質が向上する。
［画像処理装置の動作例］
図１７は、第１の実施の形態における画像処理装置２００の動作の一例を示すフローチャートである。この動作は、例えば、画像処理装置２００がフレームレートを変換するための処理を実行させたときに開始する。
画像処理装置２００は、原画像が入力されたか否かを判断する（ステップＳ９１０）。原画像が入力された場合には（ステップＳ９１０：Ｙｅｓ）、画像処理装置２００は、合成補間画像を生成するための補間画像生成処理を実行する（ステップＳ９２０）。そして、画像処理装置２００は、補間画像と原画像とを時系列の順に出力する（ステップＳ９３０）。原画像が入力されていない場合（ステップＳ９１０：Ｎｏ）、または、ステップＳ９３０の後、画像処理装置２００は、ステップＳ９１０に戻る。
図１８は、第１の実施の形態における補間画像生成処理の一例を示すフローチャートである。画像処理装置２００における補間画像生成部３００は、ブロック毎にローカル動きベクトルを検出する（ステップＳ９２１）。そして、補間画像生成部３００は、ローカル動きベクトルに基づいて、原画像から通常補間画像を生成する（ステップＳ９２２）。
また、補間画像生成部３００は、原画像から高周波数領域を抽出する（ステップＳ９２３）。そして、補間画像生成部３００は、高周波数領域の動きベクトルをグローバル動きベクトルとして検出する（ステップＳ９２４）。補間画像生成部３００は、グローバル動きベクトルに基づいて、原画像から高周波数領域補間画像を生成する（ステップＳ９２５）。
補間画像生成部３００は、高周波数領域に基づいて画素毎に合成比率を決定する（ステップＳ９２６）。そして、補間画像生成部３００は、合成比率に従って、通常補間画像と高周波数領域補間画像とを合成する（ステップＳ９２７）。ステップＳ９２７の後、補間画像生成部３００は、補間画像生成処理を終了する。
このように、第１の実施の形態によれば、画像処理装置２００は、高周波数領域の位置の変化に基づいて生成した高周波数領域補間画像と通常補間画像とを合成することにより、高周波数領域においてブレが生じない補間画像を生成することができる。また、画像処理装置２００は、通常補間画像と高周波数領域画像とを合成することにより、高周波数領域と、それ以外の領域との境界が自然な補間画像を生成することができる。この補間画像を原画像の間に補間することにより、フレームレート変換を行った動画の画質が向上する。
［変形例］
第１の実施の形態では、ローカル動きベクトルを検出して通常補間画像を生成していたが、画像処理装置２００は、ローカル動きベクトルを検出せずに通常補間画像を生成することもできる。変形例の画像処理装置２００は、ローカル動きベクトルを検出しない点において第１の実施の形態と異なる。
［補間画像生成部の構成例］
図１９は、第１の実施の形態の変形例における補間画像生成部３００の一構成例を示すブロック図である。変形例の補間画像生成部３００は、ローカル動きベクトル検出部３１０および通常補間画像生成部３２０の代わりに、通常補間画像生成部３２５を備える点において第１の実施の形態と異なる。
通常補間画像生成部３２５は、原画像ＦｎおよびＦｎ−１を合成することにより、通常補間画像ＭＣ_Ｎを生成するものである。
図２０は、第１の実施の形態の変形例における通常補間画像生成部３２５の一構成例を示すブロック図である。この通常補間画像生成部３２５は、加算器３２３および乗算器３２４を備える。
加算器３２３は、入力値同士を加算するものである。加算器３２３には、原画像Ｆｎにおける画素値と、原画像Ｆｎ−１における画素値とが入力される。加算器３２３は、これらの入力値を加算して乗算器３２４に供給する。
乗算器３２４は、入力値に所定値を乗算するものである。乗算器３２４には、加算器３２３からの加算値が入力される。乗算器３２４は、この入力値に、０．５を乗算した値を画素値ｏｕｔとして合成部３７０に供給する。このように、通常補間画像生成部３２５は、動き補償処理を実行せずに通常補間画像を生成する。
なお、通常補間画像生成部３２５は、原画像ＦｎおよびＦｎ−１を合成することにより通常補間画像を生成しているが、いずれか一方の原画像をそのまま通常補間画像として用いてもよい。
図２１は、第１の実施の形態の変形例における通常補間画像６６０の一例を示す図である。通常補間画像６６０は動き補償を行わずに生成された画像であるため、水平方向に動く文字テロップ６６１の部分にブレが生じる。しかし、この通常補間画像６６０は、文字テロップがブレない高周波数領域補間画像と合成されるため、最終的に生成される合成補間画像において、ブレの発生は抑制される。
＜２．第２の実施の形態＞
第１の実施の形態では画像処理装置２００は、高周波数領域における画素の画素値を差分に応じて増幅していた。しかし、差分にはノイズ成分が含まれることもあるため、このノイズ成分を除去するためのコアリング処理を実行してから、増幅することが望ましい。第２の実施の形態の画像処理装置２００は、差分に対してコアリング処理を実行する点において第１の実施の形態と異なる。
［補間画像生成部の構成例］
図２２は、第２の実施の形態における補間画像生成部３００の一構成例を示すブロック図である。第２の実施の形態の補間画像生成部３００は、高周波数領域抽出部３３０の代わりに高周波数領域抽出部３８０を備える点において第１の実施の形態と異なる。
高周波数領域抽出部３８０は、差分値ｋから、差分閾値Ｔｈｋ１未満の値を除去するコアリング処理を実行することにより差分値ｋ１を生成する。また、高周波数領域抽出部３８０は、差分値ｋから、差分閾値Ｔｈｋ２未満の値を除去するコアリング処理を実行することにより差分値ｋ２を生成する。高周波数領域抽出部３８０は、高周波数領域ＨＰｎおよびＨＰｎ−１の画素値を差分値ｋ１に応じて増幅することにより高周波数領域ＨＰＫ１ｎおよびＨＰＫ１ｎ−１を生成する。また、高周波数領域抽出部３８０は、高周波数領域ＨＰｎおよびＨＰｎ−１の画素値を差分値ｋ２に応じて増幅することにより高周波数領域ＨＰＫ２ｎおよびＨＰＫ２ｎ−１を生成する。
高周波数領域抽出部３８０は、高周波数領域ＨＰＫ１ｎおよびＨＰＫ１ｎ−１をグローバル動きベクトル検出部３４０に供給し、高周波数領域ＨＰＫ２ｎおよびＨＰＫ２ｎ−１を合成比率決定部３６０に供給する。
［高周波数領域抽出部の構成例］
図２３は、第２の実施の形態における高周波数領域抽出部３８０の一構成例を示すブロック図である。高周波数領域抽出部３８０は、コアリング処理部３８１および３８２と、乗算器３８３と、画像メモリ３８４とをさらに備える点において高周波数領域抽出部３３０と異なる。
コアリング処理部３８１は、差分閾値Ｔｈｋ１未満の差分値ｋを除去するコアリング処理を実行するものである。例えば、コアリング処理部３８１は、差分データＫにおける差分値ｋから、次式を使用してｋ１を求める。コアリング処理部３８１は、差分値ｋ１からなる差分データＫ１を乗算器３３３に供給する。なお、コアリング処理部３８１は、特許請求の範囲に記載の第１の差分コアリング処理部の一例である。
Figure 2014123787
乗算器３３３は、高周波数領域ＨＰｎにおける画素値と、差分データＫ１における差分値ｋ１とを乗算する。この乗算結果からなるデータが高周波数領域ＨＰＫ１ｎとしてグローバル動きベクトル検出部３４０に供給される。
コアリング処理部３８２は、差分閾値Ｔｈｋ２未満の差分値ｋを除去するコアリング処理を実行するものである。例えば、コアリング処理部３８２は、差分データＫにおける差分値ｋから、次式を使用してｋ２を求める。コアリング処理部３８２は、差分値ｋ２からなる差分データＫ２を乗算器３８３に供給する。なお、コアリング処理部３８２は、特許請求の範囲に記載の第２の差分コアリング処理部の一例である。
Figure 2014123787
乗算器３８３は、入力値同士を乗算するものである。乗算器３８３には、高周波数領域ＨＰｎにおける画素値と、差分データＫ２における差分値ｋ２とが入力される。乗算器３８３は、これらの入力値を乗算して、その乗算結果からなるデータを高周波数領域ＨＰＫ２ｎとして合成比率決定部３６０に供給するとともに画像メモリ３８４に保持させる。
なお、高周波数領域抽出部３８０は、差分閾値Ｔｈｋ１によるコアリング処理と差分閾値Ｔｈｋ２によるコアリング処理とをいずれも実行しているが、いずれか一方のみを実行してもよい。
このように、第２の実施の形態によれば、画像処理装置２００は、差分閾値未満の差分を除去するコアリング処理を実行することにより、ノイズ成分を差分から除去することができる。これにより、グローバル動きベクトルの検出が容易となり、また、適切な合成比率が求められる。
［変形例］
第２の実施の形態では、画像処理装置２００は、差分に対してコアリング処理を実行していたが、高周波数領域に対してコアリング処理を実行してもよい。変形例の画像処理装置２００は、高周波数領域に対してコアリング処理を実行する点において第２の実施の形態と異なる。
［高周波数領域抽出部の構成例］
図２４は、第２の実施の形態の変形例における高周波数領域抽出部３８０の一構成例を示すブロック図である。高周波数領域抽出部３８０は、コアリング処理部３８１および３８１の代わりにコアリング処理部３８５および３８６を備える点において第１の実施の形態と異なる。
コアリング処理部３８５は、高周波数領域ＨＰｎにおいて、画素閾値Ｔｈｐ１未満の画素値の画素を除去するコアリング処理を実行するものである。コアリング処理部３８５は、コアリング処理後の高周波数領域ＨＰｎにおける画素値を順に乗算器３３３に供給する。乗算器３３３は、コアリング処理部３８５からの画素値と差分値ｋとを乗算する。
コアリング処理部３８６は、高周波数領域ＨＰｎにおいて、画素閾値Ｔｈｐ２未満の画素値の画素を除去するコアリング処理を実行するものである。コアリング処理部３８６は、コアリング処理後の高周波数領域ＨＰｎにおける画素値を順に乗算器３８３に供給する。乗算器３８３は、コアリング処理部３８６からの画素値と差分値ｋとを乗算する。
なお、高周波数領域抽出部３８０は、画素閾値ｐ１によるコアリング処理と画素閾値ｐ２によるコアリング処理とをいずれも実行しているが、いずれか一方のみを実行してもよい。また、コアリング処理部３８５は、特許請求の範囲に記載の第１の画素コアリング処理部の一例である。また、コアリング処理部３８６は、特許請求の範囲に記載の第２の画素コアリング処理部の一例である。
このように変形例によれば、画像処理装置２００は、高周波数領域ＨＰｎに対してコアリング処理を実行することにより、高周波数領域ＨＰｎにおけるノイズ成分を除去することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
なお、本技術は以下のような構成もとることができる。
（１）時系列に沿って再生される複数の原画像の間に補間する画像を前記複数の原画像の各々に基づいて通常補間画像として生成する通常補間画像生成部と、
前記複数の原画像の各々において空間周波数が所定値より高い領域である高周波数領域を抽出する高周波数領域抽出部と、
前記複数の原画像の間に補間する画像を前記時系列上の時間の経過に伴う前記高周波数領域の位置の変化と前記複数の原画像の各々とに基づいて高周波数領域補間画像として生成する高周波数領域補間画像生成部と、
前記通常補間画像と前記高周波数領域補間画像とを合成する合成処理を実行する合成部と
を具備する画像処理装置。
（２）前記時系列上の一定期間内において前記高周波数領域の位置が変化する方向および距離を示すベクトルを検出するベクトル検出部をさらに具備し、
前記高周波数領域補間画像生成部は、前記ベクトルと前記複数の原画像の各々とに基づいて前記高周波数領域補間画像を生成する
前記（１）記載の画像処理装置。
（３）前記通常補間画像と前記高周波数領域補間画像とを合成する比率を前記高周波数領域内の画素の各々の画素値に応じて画素毎に決定する合成比率決定部をさらに具備し、
前記合成部は、前記比率に従って前記合成処理を実行する
前記（２）記載の画像処理装置。
（４）前記高周波数領域抽出部は、
前記複数の原画像の各々において前記高周波数領域を抽出するフィルタ部と、
前記複数の原画像のうち隣り合う２枚の原画像の画素値の差分を画素ごとに検出する差分検出部と、
前記２枚の原画像の各々における前記高周波数領域内の画素の画素値を前記差分に応じて増加させて前記ベクトル検出部および前記合成比率決定部に供給する増加部とを備える
前記（３）記載の画像処理装置。
（５）前記高周波数領域抽出部は、前記検出された差分の中から第１の差分閾値に満たない前記差分を除去する第１の差分コアリング処理を実行する第１の差分コアリング処理部をさらに備え、
前記増加部は、前記第１の差分コアリング処理が実行された前記差分に応じて前記高周波数領域内の画素の画素値を増加させて前記ベクトル検出部に供給する
前記（４）記載の画像処理装置。
（６）前記高周波数領域抽出部は、前記検出された差分の中から第２の差分閾値に満たない前記差分を除去する第２の差分コアリング処理を実行する第２の差分コアリング処理部をさらに備え、
前記増加部は、前記第２の差分コアリング処理が実行された前記差分に応じて前記高周波数領域内の画素の画素値を増加させて前記合成比率決定部に供給する
前記（４）または（５）記載の画像処理装置。
（７）前記高周波数領域抽出部は、前記抽出された高周波数領域において第１の画素値閾値に満たない画素値の画素を除去する第１の画素コアリング処理を実行する第１の画素コアリング処理部をさらに備え、
前記増加部は、前記第１の画素コアリング処理が実行された前記高周波数領域内の画素の画素値を前記差分に応じて増加させて前記ベクトル検出部に供給する
前記（４）乃至（６）のいずれかに記載の画像処理装置。
（８）前記高周波数領域抽出部は、前記抽出された高周波数領域において第２の画素値閾値に満たない画素値の画素を除去する第２の画素コアリング処理を実行する第２の画素コアリング処理部をさらに備え、
前記増加部は、前記第２の画素コアリング処理が実行された前記高周波数領域内の画素の画素値を前記差分に応じて増加させて前記合成比率決定部に供給する
前記（４）乃至（７）のいずれかに記載の画像処理装置。
（９）前記複数の原画像の各々は、所定の形状の複数のブロックからなる画像であり、
前記通常補間画像生成部は、前記時系列上の時間の経過に伴う前記複数のブロックの各々の位置の変化と前記複数の原画像の各々とに基づいて前記通常補間画像を生成する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）前記合成部により合成された画像と前記複数の原画像とを前記時系列の順に選択して出力する選択部をさらに具備する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）通常補間画像生成部が、時系列に沿って再生される複数の原画像の間に補間する画像を前記複数の原画像の各々に基づいて通常補間画像として生成する通常補間画像生成手順と、
高周波数領域抽出部が、前記複数の原画像の各々において空間周波数が所定値より高い領域である高周波数領域を抽出する高周波数領域抽出手順と、
高周波数領域補間画像生成部が、前記複数の原画像の間に補間する画像を前記時系列上の時間の経過に伴う前記高周波数領域の位置の変化と前記複数の原画像の各々とに基づいて高周波数領域補間画像として生成する高周波数領域補間画像生成手順と、
合成部が、前記通常補間画像と前記高周波数領域補間画像とを合成する合成処理を実行する合成手順と
を具備する画像処理方法。
（１２）通常補間画像生成部が、時系列に沿って再生される複数の原画像の間に補間する画像を前記複数の原画像の各々に基づいて通常補間画像として生成する通常補間画像生成手順と、
高周波数領域抽出部が、前記複数の原画像の各々において空間周波数が所定値より高い領域である高周波数領域を抽出する高周波数領域抽出手順と、
高周波数領域補間画像生成部が、前記複数の原画像の間に補間する画像を前記時系列上の時間の経過に伴う前記高周波数領域の位置の変化と前記複数の原画像の各々とに基づいて高周波数領域補間画像として生成する高周波数領域補間画像生成手順と、
合成部が、前記通常補間画像と前記高周波数領域補間画像とを合成する合成処理を実行する合成手順と
をコンピュータに実行させるためのプログラム。
１００ 動画供給装置
２００ 画像処理装置
２１０、２２０、２３０、３３４、３８４ 画像メモリ
２４０ セレクタ
３００ 補間画像生成部
３１０ ローカル動きベクトル検出部
３２０、３２５ 通常補間画像生成部
３２１、３５１、３６１ 前方動き補償部
３２２、３５２、３６２ 後方動き補償部
３２３、３５３、３７５ 加算器
３２４、３３３、３５４、３６３、３７２、３７４、３８３ 乗算器
３３０、３８０ 高周波数領域抽出部
３３１ ローパスフィルタ
３３２、３３６、３７３ 減算器
３３５ 差分検出部
３３７ 絶対値取得部
３３８ 差分調整フィルタ
３４０ グローバル動きベクトル検出部
３５０ 高周波数領域補間画像生成部
３６０ 合成比率決定部
３６４ ゲイン調整部
３６５ 補間フィルタ
３７０ 合成部
３７１ レベル調整部
３８１、３８２、３８５、３８６ コアリング処理部
４００ 表示装置

Claims (12)

  1. 時系列に沿って再生される複数の原画像の間に補間する画像を前記複数の原画像の各々に基づいて通常補間画像として生成する通常補間画像生成部と、
    前記複数の原画像の各々において空間周波数が所定値より高い領域である高周波数領域を抽出する高周波数領域抽出部と、
    前記複数の原画像の間に補間する画像を前記時系列上の時間の経過に伴う前記高周波数領域の位置の変化と前記複数の原画像の各々とに基づいて高周波数領域補間画像として生成する高周波数領域補間画像生成部と、
    前記通常補間画像と前記高周波数領域補間画像とを合成する合成処理を実行する合成部と
    を具備する画像処理装置。
  2. 前記時系列上の一定期間内において前記高周波数領域の位置が変化する方向および距離を示すベクトルを検出するベクトル検出部をさらに具備し、
    前記高周波数領域補間画像生成部は、前記ベクトルと前記複数の原画像の各々とに基づいて前記高周波数領域補間画像を生成する
    請求項１記載の画像処理装置。
  3. 前記通常補間画像と前記高周波数領域補間画像とを合成する比率を前記高周波数領域内の画素の各々の画素値に応じて画素毎に決定する合成比率決定部をさらに具備し、
    前記合成部は、前記比率に従って前記合成処理を実行する
    請求項２記載の画像処理装置。
  4. 前記高周波数領域抽出部は、
    前記複数の原画像の各々において前記高周波数領域を抽出するフィルタ部と、
    前記複数の原画像のうち隣り合う２枚の原画像の画素値の差分を画素ごとに検出する差分検出部と、
    前記２枚の原画像の各々における前記高周波数領域内の画素の画素値を前記差分に応じて増加させて前記ベクトル検出部および前記合成比率決定部に供給する増加部とを備える
    請求項３記載の画像処理装置。
  5. 前記高周波数領域抽出部は、前記検出された差分の中から第１の差分閾値に満たない前記差分を除去する第１の差分コアリング処理を実行する第１の差分コアリング処理部をさらに備え、
    前記増加部は、前記第１の差分コアリング処理が実行された前記差分に応じて前記高周波数領域内の画素の画素値を増加させて前記ベクトル検出部に供給する
    請求項４記載の画像処理装置。
  6. 前記高周波数領域抽出部は、前記検出された差分の中から第２の差分閾値に満たない前記差分を除去する第２の差分コアリング処理を実行する第２の差分コアリング処理部をさらに備え、
    前記増加部は、前記第２の差分コアリング処理が実行された前記差分に応じて前記高周波数領域内の画素の画素値を増加させて前記合成比率決定部に供給する
    請求項４記載の画像処理装置。
  7. 前記高周波数領域抽出部は、前記抽出された高周波数領域において第１の画素値閾値に満たない画素値の画素を除去する第１の画素コアリング処理を実行する第１の画素コアリング処理部をさらに備え、
    前記増加部は、前記第１の画素コアリング処理が実行された前記高周波数領域内の画素の画素値を前記差分に応じて増加させて前記ベクトル検出部に供給する
    請求項４記載の画像処理装置。
  8. 前記高周波数領域抽出部は、前記抽出された高周波数領域において第２の画素値閾値に満たない画素値の画素を除去する第２の画素コアリング処理を実行する第２の画素コアリング処理部をさらに備え、
    前記増加部は、前記第２の画素コアリング処理が実行された前記高周波数領域内の画素の画素値を前記差分に応じて増加させて前記合成比率決定部に供給する
    請求項４記載の画像処理装置。
  9. 前記複数の原画像の各々は、所定の形状の複数のブロックからなる画像であり、
    前記通常補間画像生成部は、前記時系列上の時間の経過に伴う前記複数のブロックの各々の位置の変化と前記複数の原画像の各々とに基づいて前記通常補間画像を生成する
    請求項１記載の画像処理装置。
  10. 前記合成部により合成された画像と前記複数の原画像とを前記時系列の順に選択して出力する選択部をさらに具備する
    請求項１記載の画像処理装置。
  11. 通常補間画像生成部が、時系列に沿って再生される複数の原画像の間に補間する画像を前記複数の原画像の各々に基づいて通常補間画像として生成する通常補間画像生成手順と、
    高周波数領域抽出部が、前記複数の原画像の各々において空間周波数が所定値より高い領域である高周波数領域を抽出する高周波数領域抽出手順と、
    高周波数領域補間画像生成部が、前記複数の原画像の間に補間する画像を前記時系列上の時間の経過に伴う前記高周波数領域の位置の変化と前記複数の原画像の各々とに基づいて高周波数領域補間画像として生成する高周波数領域補間画像生成手順と、
    合成部が、前記通常補間画像と前記高周波数領域補間画像とを合成する合成処理を実行する合成手順と
    を具備する画像処理方法。
  12. 通常補間画像生成部が、時系列に沿って再生される複数の原画像の間に補間する画像を前記複数の原画像の各々に基づいて通常補間画像として生成する通常補間画像生成手順と、
    高周波数領域抽出部が、前記複数の原画像の各々において空間周波数が所定値より高い領域である高周波数領域を抽出する高周波数領域抽出手順と、
    高周波数領域補間画像生成部が、前記複数の原画像の間に補間する画像を前記時系列上の時間の経過に伴う前記高周波数領域の位置の変化と前記複数の原画像の各々とに基づいて高周波数領域補間画像として生成する高周波数領域補間画像生成手順と、
    合成部が、前記通常補間画像と前記高周波数領域補間画像とを合成する合成処理を実行する合成手順と
    をコンピュータに実行させるためのプログラム。
JP2012277561A 2012-12-20 2012-12-20 画像処理装置、画像処理方法、および、プログラム Pending JP2014123787A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012277561A JP2014123787A (ja) 2012-12-20 2012-12-20 画像処理装置、画像処理方法、および、プログラム
US14/101,443 US8792053B2 (en) 2012-12-20 2013-12-10 Image processing apparatus, image processing method, and program
CN201310682585.5A CN103888775A (zh) 2012-12-20 2013-12-12 图像处理装置、图像处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012277561A JP2014123787A (ja) 2012-12-20 2012-12-20 画像処理装置、画像処理方法、および、プログラム

Publications (1)

Publication Number Publication Date
JP2014123787A true JP2014123787A (ja) 2014-07-03

Family

ID=50957465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012277561A Pending JP2014123787A (ja) 2012-12-20 2012-12-20 画像処理装置、画像処理方法、および、プログラム

Country Status (3)

Country Link
US (1) US8792053B2 (ja)
JP (1) JP2014123787A (ja)
CN (1) CN103888775A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
US20180020229A1 (en) * 2016-07-14 2018-01-18 Sharp Laboratories Of America, Inc. Computationally efficient motion compensated frame rate conversion system
WO2018220711A1 (ja) * 2017-05-30 2018-12-06 オリンパス株式会社 画像処理装置
CN110059685B (zh) * 2019-04-26 2022-10-21 腾讯科技（深圳）有限公司 文字区域检测方法、装置及存储介质
TWI790600B (zh) * 2021-04-21 2023-01-21 宏芯科技股份有限公司 區域式視訊影像插補裝置及其方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6049339A (ja) * 1983-08-30 1985-03-18 Dainippon Screen Mfg Co Ltd 複製画像の編集装置
JP2003069998A (ja) * 2001-08-28 2003-03-07 Canon Inc 画像処理装置及び画像処理方法
JP4225795B2 (ja) * 2003-01-22 2009-02-18 オリンパス株式会社 撮像システム、画像処理プログラム
JP4500360B2 (ja) * 2007-06-15 2010-07-14 パナソニック株式会社 画像処理装置
JP4535114B2 (ja) * 2007-10-26 2010-09-01 ソニー株式会社 撮像装置および撮像方法、表示制御装置および表示制御方法、並びに、プログラム
WO2009145201A1 (ja) * 2008-05-27 2009-12-03 三洋電機株式会社 画像処理装置、画像処理方法及び撮像装置
JP5188272B2 (ja) 2008-06-05 2013-04-24 株式会社日立製作所 映像処理装置及び映像表示装置
JP2010028722A (ja) * 2008-07-24 2010-02-04 Sanyo Electric Co Ltd 撮像装置及び画像処理装置
JP2010063088A (ja) * 2008-08-08 2010-03-18 Sanyo Electric Co Ltd 撮像装置
JP5144456B2 (ja) * 2008-10-09 2013-02-13 富士フイルム株式会社 画像処理装置および方法、画像再生装置および方法並びにプログラム
KR101548285B1 (ko) * 2009-01-20 2015-08-31 삼성전자주식회사 고해상도 영상 획득 장치 및 그 방법
JP2011151345A (ja) * 2009-12-25 2011-08-04 Hoya Corp 撮像素子および撮像装置
JP2011134204A (ja) * 2009-12-25 2011-07-07 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP5366855B2 (ja) * 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム

Also Published As

Publication number Publication date
CN103888775A (zh) 2014-06-25
US20140176794A1 (en) 2014-06-26
US8792053B2 (en) 2014-07-29

Similar Documents

Publication Publication Date Title
JP4857916B2 (ja) ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
JP2014123787A (ja) 画像処理装置、画像処理方法、および、プログラム
JP4564564B2 (ja) 動画像再生装置、動画像再生方法および動画像再生プログラム
JPWO2006025396A1 (ja) 画像処理装置および画像処理プログラム
US9667939B2 (en) Image processing apparatus, image processing method, and program
US8213736B2 (en) Image processing device and image processing method
KR101805625B1 (ko) 영상 스케일링을 통한 영상 레이트 변환 방법 및 그 장치
JP2012034327A5 (ja)
JP2011065339A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体
JP5116602B2 (ja) 映像信号処理装置及び方法、プログラム
US20090310679A1 (en) Video processing apparatus and methods
JPWO2011155258A1 (ja) 画像処理装置および方法、画像表示装置および方法
US8244055B2 (en) Image processing apparatus and method, and program
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
KR101517233B1 (ko) 움직임 추정을 이용한 잡음 제거장치
US20120293711A1 (en) Image processing apparatus, method, and program
JP2007060192A (ja) 補間フレーム生成装置、その方法、画像表示システム、並びに、プログラムおよび記録媒体
JP5372721B2 (ja) 映像信号処理装置、方法及びプログラム
US20070222890A1 (en) Picture processing circuit and picture processing method
JP5147655B2 (ja) 映像信号処理装置および映像表示装置
US8699577B2 (en) Method and apparatus for interpolating image
CN101304531B (zh) 图像变换装置
JP2007179211A (ja) 画像処理装置、画像処理方法、およびそのプログラム
WO2011033675A1 (ja) 画像処理装置および画像表示装置
KR101107255B1 (ko) 움직임이 보상된 보간 화소를 이용한 영상 보간 방법 및 그장치