JP2016054459A - 画像処理装置、テレビジョン受像機、画像処理方法、プログラム、および、記録媒体 - Google Patents

Abstract

【課題】アップスケールされた画像に含まれる文字を均一に表示することで文字表示品質を改善する技術を提供する。
【解決手段】入力画像をアップスケールするスケーリング部（１６）と、アップスケール画像に超解像処理を適用可能なスーパーレゾリューション部（２１）と、画像に文字が含まれているか否かを判別する文字検出部（１５）と、信号経路制御部（１７）と、を備え、信号経路制御部が、文字検出部による判別結果を参照し、アップスケール画像に文字が含まれる領域にはスーパーレゾリューション部による超解像処理を適用しない画像処理装置（１）。
【選択図】図１

Description

本発明は、画像処理装置、テレビジョン受像機、画像処理方法、プログラム、および、記録媒体に関する。

最近、テレビの大画面化、高画質化の一環として４Ｋ２Ｋ（横４０００×縦２０００ピクセル前後の高解像度）の規格に対応した製品が市場に投入されている。ただし、現時点において、４Ｋ２Ｋのコンテンツはまだ少ない状況であり、ＦＨＤ（Full High Definition）コンテンツが主流となっている。

このため、４Ｋ２Ｋの画像表示装置において、ＦＨＤ以下のコンテンツを拡大（以下、アップスケールと呼ぶ）して表示する際に、いかにきれいに表示するかが課題となっている。それに対して、画像表示装置にスーパーレゾリューション回路を搭載することにより、ＦＨＤコンテンツの高画質化に対応する方法がある。確かに、スーパーレゾリューション回路により、一般画像を高画質に表示することが可能である。

特開２００１−１６９１９９号公報（２００１年６月２２日公開）

しかしながら、スーパーレゾリューション回路では、多様な演算によるスケーリング処理を実行するため、一般画像の画質は改善されるものの、主として文字データの表示品位が低下しやすいという問題がある。

例えば、ＦＨＤコンテンツに文字データ（例えば、取扱説明書の画像データ）が含まれる場合には、１ドットの縦線を表示する際に、横２倍×縦２倍にアップスケールするので、本来２ドットの線になるべきところ、文字によっては１ドット程度の線になったり３ドット程度の線になったりして、文字品位がアンバランスになることがあるという問題がある。

なお、特許文献１には、映像の状態に応じた映像の補間を可能とし、映像の状態に左右されることなく字幕の補間を可能とするとともに、字幕としての機能を保った状態でのスケーリングが可能であるとされる字幕補正回路が開示されているが、この技術は、近年のスーパーレゾリューション処理に対応した処理を提供するものではない。

本発明は、上記課題に鑑みてなされたものであり、その目的は、アップスケールされた画像に含まれる文字を均一に表示することで文字表示品質を改善する技術を提供することにある。

上記課題を解決するために、本発明の一態様に係る画像処理装置は、入力画像をアップスケールするアップスケーリング手段と、上記アップスケーリング手段によってアップスケールされたアップスケール画像に対して超解像処理を適用可能な超解像処理手段と、画像に文字が含まれているか否かを判別する判別手段と、制御手段と、を備え、上記制御手段が、上記判別手段による判別結果を参照し、上記アップスケール画像において文字が含まれている領域に対しては上記超解像処理手段による超解像処理を適用しない。

また、本発明の一態様に係る画像処理方法は、上記課題を解決するために、入力画像をアップスケールするアップスケーリング手段と、上記アップスケーリング手段によってアップスケールされたアップスケール画像に対して超解像処理を適用可能な超解像処理手段と、を備えた画像処理装置を用いた画像処理方法であって、画像に文字が含まれているか否かを判別する判別ステップと、上記超解像処理手段を制御する制御ステップと
を含み、上記制御ステップでは、上記判別ステップによる判別結果を参照し、上記アップスケール画像において文字が含まれている領域に対しては上記超解像処理手段による超解像処理を適用しない。

本発明の一態様によれば、アップスケールされた画像に含まれる文字をバランスよく均一に表示することができるという効果を奏する。

本発明の実施形態１に係る画像処理装置１の機能ブロック構成を示す図である。 本発明の実施形態１に係るＦＨＤ画像に含まれる文字を４Ｋ画像に拡大処理した結果を示す図であり、（ａ）はＦＨＤ画像に含まれる文字をスケーリング部１６およびスーパーレゾリューション部２１により処理した結果を示し、（ｂ）は当該結果の一部を拡大表示したものを示し、（ｃ）はＦＨＤ画像に含まれる文字をスケーリング部１６により処理した結果を示し、（ｄ）は当該結果の一部を拡大表示したものを示す。 本発明の実施形態１に係るテレビジョン受像機４の外観を示す図である。

〔実施形態１〕
以下、本発明の実施の形態について、詳細に説明する。ただし、この実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。

〔画像処理装置の構成概要〕
まず、本実施形態１に係る画像処理装置の構成を図１に基づいて説明する。図１は、本発明の実施形態１に係る画像処理装置１の機能ブロック構成を示す図である。図１に示すように、画像処理装置１は、入力信号切換部１１、文字データ取得部１２、信号処理部１３、操作信号取得部１４、文字検出部（判別手段）１５、スケーリング部（アップスケーリング手段）１６、信号経路制御部（制御手段）１７、ＯＳＤ（On Screen Display）生成部１８、画像信号切換部１９、ＯＳＤ重畳部２０、スーパーレゾリューション部（超解像処理手段）２１、４Ｋ信号処理部２２、ＦＲＣ（Frame Rate Control）制御部２３、ガンマ補正部２４、液晶表示タイミング制御部２５、および、ＨＤＭＩ（High Definition Multimedia Interface；登録商標）信号切換部３１を備える。

〔ＦＨＤ以下の解像度の画像に対する各部の処理〕
まず、外部から入力した画像（入力画像）であり、解像度がＦＨＤ以下である画像データ（以下、ＦＨＤ画像と呼ぶ）に対する各部の処理に関して説明する。なお、以下では、ＦＨＤ画像を解像度が４Ｋである画像データ（以下、４Ｋ画像と呼ぶ）にアップスケールする処理について説明するが、本発明はそれに限られるものではなく、アップスケール前後の画像の解像度は何れであってもよい。

入力信号切換部１１は、ＦＨＤ画像を取得し、信号処理部１３に出力するとともに、その取得先を切り換えるものであり、その取得先には、チューナ、ＣＶＢＳ（コンポジット映像信号；Composite Video, Blanking and Sync）、ＹＰＢＰＲ（ＹＰｂＰｒ）、Ｄ−ＳＵＢ（D-Subminiature）などがある。チューナは、放送波の受信信号を出力する。ＣＶＢＳは、映像を構成する同期信号、輝度信号、および、色差信号を合成して、１本のケーブルで扱えるようにした信号である。ＹＰＢＰＲは、輝度信号Ｙと、２つの色差信号を使って表現される色空間による映像信号である。Ｄ−ＳＵＢは、コンピュータから入力する映像信号である。なお、ＦＨＤ画像は、文字を含まない一般画像または文字画像か、それら画像の領域が混在したものである。

文字データ取得部１２は、解像度がＦＨＤ以下である文字画像データ（以下、ＦＨＤ文字画像と呼ぶ）を取得し、信号処理部１３に出力するものであり、例えば、内蔵されるフラッシュメモリから電子番組表（ＥＰＧ：Electronic Program Guide）の画像データなどを取得する。信号処理部１３は、入力信号切換部１１からＦＨＤ以下の画像を取得し、文字データ取得部１２からＦＨＤ文字画像を取得し、それぞれの画像を文字検出部１５に順次出力する。

操作信号取得部１４は、テレビの画面に文字画像を表示するための入力操作が行われた場合に、その旨を示す操作信号を取得し、文字検出部１５に文字画像検出のトリガ信号を出力する。例えば、電子番組表を表示するボタン操作が行われた場合には、テレビ内部のシステムマイコンが「ＥＰＧ表示」と認識するので、そのときに「ＥＰＧ表示」を示す操作信号を出力し、操作信号取得部１４が当該操作信号を受け付けるようにする。

文字検出部１５は、信号処理部１３からＦＨＤ画像を取得し、スケーリング部１６に出力するとともに、当該ＦＨＤ画像に文字が含まれていると判断したときに、その旨を示す第１文字検出信号（判別結果）を信号経路制御部１７に出力する。また、文字検出部１５は、操作信号取得部１４から操作信号を取得したときに、当該操作信号は文字画像を表示する操作が行われたことを示すので、文字画像が伝送される旨を示す第２文字検出信号（判別結果）を信号経路制御部１７に出力する。

文字検出部１５による文字検出処理には様々な方法を用いることができる。例えば、文字検出部１５は、信号処理部１３によってデコードされたデコード画像に対して、加重方向指数ヒストグラム法を適用することによって文字の検出を行い、文字が検出された領域を文字領域に設定する。

なお、文字検出部１５は、デコード画像に対して、輪郭検出処理、白黒反転処理、ぼかし処理、２値化処理、およびノイズ除去処理を順に施した上で、加重方向指数ヒストグラム法等を適用することによって文字の検出を行う構成としてもよい。これにより、文字検出精度の向上を図ることができる。

また、文字検出部１５は、黒画素を縦横方向等の所定の方向に投影し、射影ヒストグラムの谷を検出することによって文字列の存在を推定し、文字領域を設定する構成としてもよい。

なお、上記の文字領域には、より一般には、文字以外の一般画像も含まれる。したがって、「文字領域」とは、「少なくとも文字を含む領域」であると表現することもできる。

〈スケーリング部１６、信号経路制御部１７〉
スケーリング部１６は、文字検出部１５からＦＨＤ文字画像を取得した場合には、当該画像データを単純に４倍（横２倍×縦２倍）にアップスケールして４Ｋ画像にする画像処理を行い、当該アップスケールされた４Ｋ画像（アップスケール画像）を信号経路制御部１７に出力する。信号経路制御部１７は、文字検出部１５から取得した文字検出信号の有無に応じて、画像信号の経路を制御する。画像全体が文字であるという判定結果を示す第２文字検出信号を取得した場合には、スケーリング部１６からアップスケールされた４Ｋ画像を取得し、信号経路を切換えて、４Ｋ信号処理部２２に出力する。

一方、文字検出部１５からＦＨＤ一般画像を取得した場合には、スケーリング部１６は、ＦＨＤから４Ｋへのスケーリングの処理を実施せずに、取得したＦＨＤ一般画像を信号経路制御部１７に出力する。信号経路制御部１７は、文字検出部１５から文字検出信号を取得しない（すなわち、一般画像である）場合には、スケーリング部１６からＦＨＤ一般画像を取得し、ＯＳＤ生成部１８に出力する。

さらに、信号経路制御部１７は、画像データに文字が含まれているという判定結果を示す第１文字検出信号を取得した場合には、画像データから文字が含まれる領域（以下、文字領域と呼ぶ）を抽出し、当該領域の画像を４Ｋ信号処理部２２に出力し、一方、文字が含まれる領域以外の領域（以下、一般画像領域と呼ぶ）の画像をＯＳＤ生成部１８に出力する。

〈ＯＳＤ生成部１８、画像信号切換部１９、ＯＳＤ重畳部２０、スーパーレゾリューション部２１〉
ＯＳＤ生成部１８、画像信号切換部１９、ＯＳＤ重畳部２０およびスーパーレゾリューション部２１は、ＦＨＤ画像信号を取得した場合と、４Ｋ画像信号を取得した場合とにより、処理が異なる。ここでは、ＦＨＤ画像信号を取得した場合の処理を説明し、４Ｋ画像信号を取得した場合の処理は後述する。

ＯＳＤ生成部１８は、ディスプレイに表示される各種設定画面を含むＯＳＤ信号を必要に応じて生成する。ＯＳＤ生成部１８は、信号経路制御部１７からＦＨＤ画像信号を取得した場合には、取得したＦＨＤ画像信号および生成したＯＳＤ信号を重畳し、当該重畳したＦＨＤ画像信号を画像信号切換部１９に出力する。画像信号切換部１９は、４ＫからＦＨＤへの画像信号の切り換えを実施した後、ＯＳＤ生成部１８からＦＨＤ画像信号を取得し、ＯＳＤ重畳部２０に出力する。ＯＳＤ重畳部２０は、画像信号切換部１９からＦＨＤ画像信号を取得し、スーパーレゾリューション部２１に出力する。

スーパーレゾリューション部２１は、ＦＨＤ画像信号（一般画像）を取得した場合には、ＦＨＤから４Ｋへの超解像度を使用したアップスケーリング処理を実施した後、アップスケールされた４Ｋ画像を４Ｋ信号処理部２２に出力する。なお、超解像度処理の詳細は後述する。

４Ｋ信号処理部２２は、一般的な画質補正（コントラスト、ブライトネス、カラー、ティント、シャープネス、アクティブコントラスト、ノイズリダクション等）の処理を実施し、処理された画像をＦＲＣ制御部２３に出力する。詳細には、スケーリング部１６から４Ｋ文字画像を取得した場合、または、スーパーレゾリューション部２１から４Ｋ一般画像を取得した場合に、取得した４Ｋ画像に対して画質補正を実施し、ＦＲＣ制御部２３に出力する。４Ｋ画像に一般画像および文字画像が混在している場合には、スケーリング部１６から文字領域の画像を取得し、スーパーレゾリューション部２１から一般画像領域の画像を取得し、それらを合成した４Ｋ画像に対して画質補正を実施し、ＦＲＣ制御部２３に出力する。

ＦＲＣ制御部２３は、４Ｋ信号処理部から４Ｋ画像を取得し、自然で滑らかな映像にするためのＦＲＣ処理を施して、ガンマ補正部２４に出力する。ＦＲＣは、液晶ディスプレイである表示部に供給する画像のフレームレート（画面のフレームが新しく書き換えられる頻度）を変換する。フレームレートを増加させる場合には、ＦＲＣ制御部２３は、補間画像を生成し、所定のフレーム数毎に補間画像を挿入する。

ガンマ補正部２４は、ＦＲＣ制御部２３から４Ｋ画像を取得し、液晶ディスプレイに応じたガンマ補正を施して、液晶表示タイミング制御部２５に出力する。

液晶表示タイミング制御部２５は、ガンマ補正部２４から４Ｋ画像を取得し、表示タイミングを調整しながら、液晶ディスプレイである表示部に出力する。

なお、ＨＤＭＩを通じてＦＨＤ画像を取得した場合には、ＨＤＭＩ信号切換部３１がＦＨＤ画像を入力信号切換部１１に供給する。

〔４Ｋ画像に対する各部の処理〕
次に、外部から入力した４Ｋ画像に対する各部の処理に関して説明する。

ＨＤＭＩ信号切換部３１は、ＨＤＭＩを通じてリアル（オリジナル）の４Ｋ画像を取得し、画像信号切換部１９に出力する。ＯＳＤ生成部１８は、信号経路制御部１７から４Ｋ信号を取得した場合に、４Ｋ解像度の各種設定画面を含むＯＳＤ信号のみを画像信号切換部１９に出力する。画像信号切換部１９は、ＯＳＤ生成部１８から４ＫＯＳＤ信号を取得し、ＯＳＤ重畳部２０に出力するとともに、ＨＤＭＩ信号切換部３１から４Ｋ画像信号を取得し、ＯＳＤ重畳部２０に出力する。ＯＳＤ重畳部２０は、画像信号切換部１９から４ＫＯＳＤ信号および４Ｋ画像信号を取得し、それらの信号を重畳した後、スーパーレゾリューション部２１に出力する。

ＯＳＤ重畳部２０は、画像信号切換部１９から４Ｋ画像信号および４ＫＯＳＤ信号を取得し、当該４Ｋ画像信号に当該４ＫＯＳＤ信号を重畳させて、スーパーレゾリューション部２１に出力する。

スーパーレゾリューション部２１は、ＯＳＤ重畳部２０から４Ｋ画像信号を取得する。当該４Ｋ画像信号は、リアルの４Ｋ画像信号であり、アップスケールされたものではないので、スーパーレゾリューション部２１は、当該４Ｋ画像信号に対する超解像度を使用した処理を実施せず、そのままリアル４Ｋ画像を４Ｋ信号処理部２２に出力する。

４Ｋ信号処理部２２は、スーパーレゾリューション部２１から４Ｋ画像信号を取得し、ＦＲＣ制御部２３に出力する。

ＦＲＣ制御部２３、ガンマ補正部２４、および、液晶表示タイミング制御部２５は、リアルの４Ｋ画像信号に関しても、上記ＦＨＤ画像データを処理する構成で説明した処理（ＦＨＤ画像からアップスケールされた４Ｋ画像）と同様の処理を行う。

〔超解像処理の例〕
本明細書における超解像処理とは、一般には、画像を鮮鋭化して画質を改善するための高精細化処理のことを指す。より具体的には、単純にアップスケールされた画像に対してより有効な高精細化処理のことを指す。

ＯＳＤ重畳部２０の出力画像に対して、スーパーレゾリューション部２１が実行する超解像処理には、以下の各処理例の少なくとも何れかが含まれている。スーパーレゾリューション部２１は、以下の処理を組み合わせて用いる構成としてもよい。なお、以下の処理例において、「入力された画像信号」とは、ＯＳＤ重畳部２０から出力され、スーパーレゾリューション部２１に入力される信号のことを指す。

（処理例１）
入力された画像信号の示す対象画像の輪郭に相当する映像信号の立ち上がりや立ち下がりを急峻にする輪郭補償処理を行う。この処理では映像信号の高周波成分を抽出し、その高周波成分を増幅して映像信号に加算することによって輪郭の鮮鋭化を行う。

（処理例２）
入力された画像信号の示す対象動画像のフレーム間相関又はフレーム内での自己相関を利用して、高解像度化処理を行う。

（処理例３）
入力された画像信号の示す対象画像に対してエッジの接線方向とエッジに垂直な方向とで強度の異なる平滑化処理を行う非等方拡散フィルタを用いて高解像度化処理を行う。

（処理例４）
入力された画像信号における高周波成分を強調して画質を改善するために画像信号に加算すべき信号のコアリング量、クリッピング量、エンハンス量、及びリミット量等を調整するための非線形回路を用いた画像処理を行う。

（処理例５）
入力された画像信号におけるパルス波形やステップ波形のエッジ部でのリンギング発生を抑制するために非線形回路を使用する。

（処理例６）
入力された画像信号から直流成分を除去し、直流成分が除去された画像信号に非線形処理を施したうえで、当該入力された画像信号に加算することによって画像を強調する。

（処理例７）
入力された画像信号を複数の周波数帯域の周波数成分に分解し、分解された周波数成分のうち、最も低い周波数帯域の周波数成分を除いた周波数成分の一部または全部のそれぞれの高調波を生成し、当該高調波を用いた画像処理を行う。

（処理例８）
入力された画像信号から低周波成分を除去し、低周波成分が除去された画像信号に対して非線形処理を施したうえで、当該除去した低周波成分を加算する。

（処理例９）
入力された動画像のフレーム間での動き検出結果に応じてブロックを分類し、動き検出されたブロックの動画像信号を鮮鋭化することによって生成された高調波を利用して画質を向上させる。

（処理例１０）
入力された画像信号のうち所定の周波数帯域の信号の高調波信号を生成し、当該生成した高調波信号を、画像信号に補うことによって画質の高精細化を行う。

（処理例１１）
入力された画像信号に含まれる画素の色を表す情報に基づいて、当該画素の画素値に含まれているノイズを低減することによって画質を向上させる。

〔文字に対して超解像処理を適用しない場合の効果〕
続いて、本実施形態に係る、ＦＨＤ画像に含まれる文字に対して超解像処理を適用しない場合の効果を、図２に基づいて説明する。図２は、本発明の実施形態１に係るＦＨＤ画像に含まれる文字を４Ｋ画像に拡大処理した結果を示す図である。図２（ａ）はＦＨＤ画像に含まれる文字をスケーリング部１６およびスーパーレゾリューション部２１により処理した結果を示し、図２（ｂ）は当該結果の一部を拡大表示したものを示す。一方、図２（ｃ）はＦＨＤ画像に含まれる文字をスケーリング部１６により処理した結果を示し、図２（ｄ）は当該結果の一部を拡大表示したものを示す。

図２（ａ）および（ｂ）に示すように、スーパーレゾリューション部２１による超解像処理を適用すると、“ｄｉｓ”におけるｉの文字について、上の点と、下の縦棒とがつながっており、さらに、点および縦棒の一部が欠落している。すなわち、余計な画素が増加し、必要な画素が消失するという現象が起きている。このような現象は、上記超解像処理の処理例１（輪郭の鮮鋭化）、処理例３（平滑化処理）などが文字に対して悪影響している結果である。

図２（ｃ）および（ｄ）に示すように、スーパーレゾリューション部２１による超解像処理を適用しなければ、“ｄｉｓ”におけるｉの文字について、上の点と、下の縦棒とが明確に分かれており、点に欠落はなく、縦棒の横幅が均一になっている。これは、上記ＦＨＤ画像に対する各部の処理において説明したように、ＦＨＤ文字画像を４Ｋにアップスケールする際に、スケーリング部１６による単純拡大処理だけを行い、スーパーレゾリューション部２１による超解像処理を行わないことにより、余計な画素が増加したり、必要な画素が消失したりすることがなくなったためである。

上記によれば、ＦＨＤ画像に含まれる文字（例えば、電子番組表の画像データ）を４Ｋの表示装置に表示する際に、バランスがよく見やすい画像表示が可能になり、最適な画質をユーザに供給することが可能となる。

なお、図３は、本発明の実施形態１に係るテレビジョン受像機４の外観を示す図である。図３に示すような、画像処理装置１、チューナ、および表示部を備えるテレビジョン受像機４も本明細書に記載された発明に含まれる。

＜実施形態１の付記事項＞
上記実施形態１では、電子番組表を表示するボタン操作が行われた場合には、当該電子番組表を表す画面に超解像処理を施さない旨の説明を行ったが、上記実施形態１では、当該電子番組表を表す画面全体に超解像処理を施さない構成としてもよいし、電子番組表が画面の一部に表示される場合には、当該電子番組表に対してのみ、超解像処理を施さない構成としてもよい。また、電子番組表が画面の一部に表示される場合であっても、画面全体に対して、超解像処理を施さない構成としてもよい。

したがって、実施形態１に記載の構成は、少なくとも電子番組表が表示されている領域に対して、超解像処理を適用しない構成であると表現できる。

〔実施形態２〕
次に、本実施形態２に係る電子取扱説明書（以下、電子取説と呼ぶ）の表示について説明する。ユーザは、テレビの電子取説を閲覧する際に、ユーザからの電子取説の表示指示操作としてリモコンの「電子取説」ボタンを押す。

画像処理装置１において、文字データ取得部１２は、上記表示指示操作をトリガにして、内蔵されるフラッシュメモリから電子取説の画像データを取得し、信号処理部１３に出力する。信号処理部１３は、文字データ取得部１２から電子取説の画像データを取得し、文字検出部１５に出力する。

操作信号取得部１４は、上記表示指示操作が行われた旨を示す操作信号を取得し、文字検出部１５に出力する。

文字検出部１５は、信号処理部１３から電子取説の画像データを取得し、スケーリング部１６に出力するとともに、操作信号取得部１４から上記操作信号を取得し、文字画像が伝送される旨を示す第２文字検出信号を信号経路制御部１７に出力する。

これ以降の処理は、上記「ＦＨＤ以下の解像度の画像に対する各部の処理」で説明した処理内容と同様である。

＜実施形態２の付記事項＞
上記実施形態２では、電子取説を表示するボタン操作が行われた場合には、当該電子取説を表す画面に超解像処理を施さない旨の説明を行ったが、上記実施形態１では、当該電子取説を表す画面全体に超解像処理を施さない構成としてもよいし、電子取説が画面の一部に表示される場合には、当該電子取説に対してのみ、超解像処理を施さない構成としてもよい。また、電子取説が画面の一部に表示される場合であっても、画面全体に対して、超解像処理を施さない構成としてもよい。

したがって、実施形態２に記載の構成は、少なくとも電子取扱説明書が表示されている領域に対して、超解像処理を適用しない構成であると表現できる。

〔ソフトウェアによる実現例〕
図１に示す画像処理装置１の各機能ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、画像処理装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）又は記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（又はＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る画像処理装置（１）は、入力画像をアップスケールするアップスケーリング手段（スケーリング部１６）と、上記アップスケーリング手段によってアップスケールされたアップスケール画像に対して超解像処理を適用可能な超解像処理手段（スーパーレゾリューション部２１）と、画像に文字が含まれているか否かを判別する判別手段（文字検出部１５）と、制御手段（信号経路制御部１７）と、を備え、上記制御手段は、上記判別手段による判別結果を参照し、上記アップスケール画像において少なくとも文字が含まれている領域に対しては上記超解像処理手段による超解像処理を適用しない。

上記の構成によれば、入力画像をアップスケールし、そのアップスケール画像において文字が含まれている領域に対しては超解像処理を適用しないように制御を行う。文字に対して超解像処理を適用すると、不要な画素の増加および必要な画素の消失が発生し得るので、上記の制御を行うことにより、アップスケールされた画像に含まれる文字をバランスよく均一に表示することができる。

本発明の態様２に係る画像処理装置は、上記態様１において、上記判別手段が、ユーザからの入力操作を参照して、画像に文字が含まれているか否かを判別するものであり、上記制御手段が、文字が含まれていると判断された画像の全体に対して、上記超解像処理手段による超解像処理を適用しないこととしてもよい。

上記の構成によれば、ユーザからの入力操作に応じて文字の画像が表示される場合には、上記判別手段は、入力操作があれば、画像に文字が含まれていると判断し、その画像の全体に対して超解像処理を適用しないように制御を行う。よって、入力操作を参照することにより、画像に文字が含まれているか否かを容易に判別でき、その判別結果に応じて画像の全体に対して超解像処理を適用するか否かを決めることができる。

本発明の態様３に係る画像処理装置は、上記態様１において、上記判別手段が、ユーザからの電子取扱説明書の表示指示操作を参照して、画像に文字が含まれているか否かを判別するものであり、上記制御手段が、少なくとも電子取扱説明書が表示されている領域に対して、上記超解像処理手段による超解像処理を適用しないこととしてもよい。

本発明の態様４に係る画像処理装置は、上記態様１において、上記判別手段が、文字が含まれている領域である文字領域を画像から抽出するものであり、上記制御手段が、上記文字領域以外の領域に対しては、上記超解像処理手段による超解像処理を適用し、上記文字領域に対しては、上記超解像処理手段による超解像処理を適用しないこととしてもよい。

上記の構成によれば、文字領域を画像から抽出し、文字領域以外の一般画像領域に対して超解像処理を適用し、文字領域に対して超解像処理を適用しないように制御する。よって、画像の中に、文字領域と、一般画像領域とが混在していても、首尾よく一般画像領域だけに対して超解像処理を適用することができる。

本発明の態様５に係る画像処理装置は、上記態様１から４において、上記超解像処理手段による超解像処理には、画像の高周波成分を増幅することによって輪郭を鮮鋭化する処理が含まれていることとしてもよい。

本発明の態様６に係るテレビジョン受像機（４）は、上記態様１から５の画像処理装置を備えている。

本発明の態様７に係る画像処理方法は、入力画像をアップスケールするアップスケーリング手段と、上記アップスケーリング手段によってアップスケールされたアップスケール画像に対して超解像処理を適用可能な超解像処理手段と、を備えた画像処理装置を用いた画像処理方法であって、画像に文字が含まれているか否かを判別する判別ステップと、上記超解像処理手段を制御する制御ステップとを含み、上記制御ステップでは、上記判別ステップによる判別結果を参照し、上記アップスケール画像において文字が含まれている領域に対しては上記超解像処理手段による超解像処理を適用しない。

本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置のプログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、文字を含む画像を処理する画像処理装置に利用することができる。

１ 画像処理装置
１５ 文字検出部（判別手段）
１６ スケーリング部（アップスケーリング手段）
１７ 信号経路制御部（制御手段）
２１ スーパーレゾリューション部（超解像処理手段）
４ テレビジョン受像機

Claims (9)

1. 入力画像をアップスケールするアップスケーリング手段と、
   上記アップスケーリング手段によってアップスケールされたアップスケール画像に対して超解像処理を適用可能な超解像処理手段と、
   画像に文字が含まれているか否かを判別する判別手段と、
   制御手段と、
   を備え、
   上記制御手段は、上記判別手段による判別結果を参照し、上記アップスケール画像において少なくとも文字が含まれている領域に対しては上記超解像処理手段による超解像処理を適用しない
   ことを特徴とする画像処理装置。
2. 上記判別手段は、ユーザからの入力操作を参照して、画像に文字が含まれているか否かを判別するものであり、
   上記制御手段は、文字が含まれていると判断された画像の全体に対して、上記超解像処理手段による超解像処理を適用しない
   ことを特徴とする請求項１に記載の画像処理装置。
3. 上記判別手段は、ユーザからの電子取扱説明書の表示指示操作を参照して、画像に文字が含まれているか否かを判別するものであり、
   上記制御手段は、少なくとも電子取扱説明書が表示されている領域に対して、上記超解像処理手段による超解像処理を適用しない
   ことを特徴とする請求項１に記載の画像処理装置。
4. 上記判別手段は、文字が含まれている領域である文字領域を画像から抽出するものであり、
   上記制御手段は、
   上記文字領域以外の領域に対しては、上記超解像処理手段による超解像処理を適用し、
   上記文字領域に対しては、上記超解像処理手段による超解像処理を適用しない
   ことを特徴とする請求項１に記載の画像処理装置。
5. 上記超解像処理手段による超解像処理には、画像の高周波成分を増幅することによって輪郭を鮮鋭化する処理が含まれている
   ことを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 請求項１から５の何れか１項に記載の画像処理装置を備えていることを特徴とするテレビジョン受像機。
7. 入力画像をアップスケールするアップスケーリング手段と、
   上記アップスケーリング手段によってアップスケールされたアップスケール画像に対して超解像処理を適用可能な超解像処理手段と、
   を備えた画像処理装置を用いた画像処理方法であって、
   画像に文字が含まれているか否かを判別する判別ステップと、
   上記超解像処理手段を制御する制御ステップと
   を含み、
   上記制御ステップでは、上記判別ステップによる判別結果を参照し、上記アップスケール画像において文字が含まれている領域に対しては上記超解像処理手段による超解像処理を適用しない
   ことを特徴とする画像処理方法。
8. 請求項１から５のいずれか１項に記載の画像処理装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
9. 請求項８に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images