JP2004336681A

JP2004336681A - 画像処理方法及び画像処理装置

Info

Publication number: JP2004336681A
Application number: JP2003167149A
Authority: JP
Inventors: Akito Masumura; 明人益村; Hiroyuki Yoshizu; 博行吉津; Hidefumi Yoshida; 英史吉田; Masataka Enomoto; 正孝榎本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-05-07
Filing date: 2003-05-07
Publication date: 2004-11-25

Abstract

【課題】ＪＰＥＧ圧縮した画像を任意のサイズに圧縮、伸張、回転させて表示可能な画像処理装置を提供する。
【解決手段】ＪＰＥＧ圧縮画像を第１のリサイズ処理で粗く展開後にリサイズし、更に表示しようとする表示画像サイズに細かく第２のリサイズを直列的に行なうことでどの様なサイズにも圧縮伸張可能な画像処理方法及びその装置を得る。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明はテレビジョン画像等を記録再生する記録再生装置内の画像処理方法及び画像処理装置に係わり、特に表示装置に表示する画像をリサイズする様に成した画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
従来から、メモリカードに記録した静止画像データ、ＤＶＤの如き記録媒体に記録した動画像データ、ＣＳチューナ等から取得したテレビジョン画像データ等をハードディスク記録再生装置に大量に記憶させ、記録再生可能にしたデジタル記録再生装置が知られている。この様な装置の画像処理の基本的操作の１つに画像リサイズ技法も広く利用されている。
【０００３】
一般にデジタル画像をリサイズする画像処理装置では画像に対して２つの動作、即ちサンプリングレートの変更と、低域フィルタリングを行なっている。
【０００４】
元画像を縮小するリサイズの場合にはアンチエイリアシング低域フィルタを用い各次元で率２のダウンサンプリングまたは間引きが画像領域で行なわれる。
【０００５】
また、元画像を拡大するリサイズ技法の場合には多次元で率２でアップサンプリングを行ない補間用のアンチイメージング低域フィルタによるフィルタリングを画素領域で行なっている。
【０００６】
画像のサイズを縮小する他の方法として画像に対して順離散コサイン変換（ＤＣＴ）を適用し、更にこの順ＤＣＴに比べて小さい逆離散コサイン変換（ＩＤＣＴ）が適用されている。また、このＤＣＴは多くの圧縮規格、例えばＪＰＥＧ（ＪｏｉｎｔＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）等のデジタルフィルタとして広く利用されている。
【０００７】
従来、ＤＣＴ変換は一般にフィルタリングの為にしか利用されず間引き／補間等のプロセスではあまり使用されていなかった。
【０００８】
この様なフィルタリング機能と間引き／補間機能をＤＣＴ領域で組み合わせた画像処理方法及び画像処理装置が特許文献１に開示されている。
【０００９】
上記特許文献１では例えばＪＰＥＧ形式でデコードすると同時にリサイズを行なうことによって圧縮前とサイズの異なる画像を得るため、画像データを８×８のブロックに分割し、夫々のブロックに対し、以下の処理を行なうことでデータ量の圧縮を図っている。
▲１▼ レベルシフト
▲２▼ 順方向ＤＣＴ
▲３▼ 量子化、ジグザグシーケンス化
▲４▼ ハフマン符号化
【００１０】
次に、この圧縮されたデータに対し、圧縮と逆の手順、即ち、以下の処理を行なうことで画像データを復号している。
▲１▼ ハフマン復号化
▲２▼ ８×８配列化・逆量子化
▲３▼ 逆方向ＤＣＴ（ＩＤＣＴ）
▲４▼ 逆レベルシフト
【００１１】
この手法では画像の復号時にＩＤＣＴに対して変換を行なう段階で、リサイズされた画像データを得ることが出来る。縮小の場合はＩＤＣＴが簡略化されるためリサイズを含めた画像復号にかかる処理時間を軽減することが出来る。
【００１２】
また、入力された画像をある程度推測し、異なるサンプリングレートで画像データを再生成する一般的なリサイズプロセスでは画面サイズが大きくなると、すべての画素を参照するため処理時間が大きくなってくる。
【００１３】
この様な処理時間を軽減するために、図８の表示変更のフローチャートに示す様にリモートコントローラ等からの速度指示値をコンピュータ（ＣＰＵ）が判断すると、ＣＰＵは表示装置に表示するサムネル画像を決定し、表示サムネルサイズ位置を決定する（ステップＳ１）。次に、速度指示値が所定スピードか否かを判断し（ステップＳ２）、所定のスピード以上であればスピード優先のリサイズ処理を行なう（ステップＳ３）。一方、所定のスピード未満であれば画質優先リサイズ処理を行なう（ステップＳ４）。リサイズ処理が終了したら、各サムネル画像を所定の位置に対応するＤＲＡＭの領域に転送（ステップＳ５）して表示変更が終了する。また次フレーム以降も同様のステップＳ１〜ステップＳ５の処理を繰り返すことが示されている。
【００１４】
即ち、複数の画像を表示する画像表示装置において、画質を優先する第１のリサイズ手段と、処理速度を優先する第２のリサイズ手段と、リモートコントローラにより指示される速度と所定の閾値とを比較して、第１のリサイズ手段または第２のリサイズ手段のいずれか一方を選択して原画像データを選択する選択手段を有する画像表示装置が特許文献２に開示されている。
【００１５】
【特許文献１】
特許第３２６６２７３号公報（図１）
【特許文献２】
特開２０００−２９３６７６号公報（段落〔００２４〕、〔００８４〕、図９）
【００１６】
【発明が解決しようとする課題】
上述の特許文献１に記載の構成では８×８のブロックに対してリサイズを行なうことになるので、例えば、図９（Ａ）の様に６００×６００ピクセルの画面１を３００×３００ピクセルの縮小表示画面２とする様に１／２、１／４、１／８‥‥等の比率でのサイズ変換には都合が良いが、図９（Ｂ）の様に７００×７００ピクセルの画面１を３００×３００ピクセルの縮小表示画面２とするには一度７００×７００ピクセルの画面を１／２とした３５０×３５０ピクセルとした縮小画面３とした後に３００×３００ピクセルの縮小表示画面２とする必要があるため、任意の画面サイズとすること、例えば元画面サイズを１／３に変換することは困難性を伴う課題を有している。
【００１７】
また、特許文献２に開示された記載の構成は一般的な手法で入力画像から元画面をある程度推測し、異なるサンプリングレートで画像データを再生成する処理を行なうことになる。この元画像を推測するために、すべての画素を一旦、参照するため画面サイズが大きくなるにしたがって、その処理時間も大きくなる。この処理時間の大きさは多くのアプリケーションにとって不都合である。この処理時間を軽減する為に特許文献２では
（イ）画質を優先するリサイズ手法、
（ロ）処理時間を優先するリサイズ手法を選択手段で選択する手法、
としたものであり、（イ）では元画像を推測する通常のリサイズ処理であり、画質はよいものが得られるが、処理時間は大きくなる。また、（ロ）では元画像の推測を行なわずに、単純に画素を水増し、間引きしている。従って、処理時間はそれほどかからないが、得られる画像の質は劣化する。即ち、この構成では平均的な処理時間が軽減されるだけで（処理時間の掛かる手法が用いられる確率が減るだけで）、すべての時間が軽減されるわけではない。また、（ロ）を選択した時は処理画面の著しい劣化を発生するリスクを生ずる課題を有している。
【００１８】
本発明は叙上の課題を解消するために成されたもので、ＪＰＥＧデコード時に縮小のリサイズ処理を行ない。次にＲ，Ｇ，Ｂ画像データに対するリサイズや回転処理を直列的に行なうことで任意の画像サイズのリサイズ及び回転処理を行なうことが可能な画像処理方法及び画像処理装置を得ることが出来る。
【００１９】
【課題を解決するための手段】
本発明の画像処理方法及び画像処理装置は元画像データを適宜の第１の画像サイズに粗く生成する第１のリサイズ処理（装置）と、次に、この粗く生成した第１の画面サイズを細かく生成する第２のリサイズ処理（装置）とを直列的にリサイズ処理することで任意のサイズの画像を表示することが可能となる。
【００２０】
本発明の画像処理方法は画像入力部から供給した元画像データ或は内蔵記憶媒体に記憶させた元画像データをリサイズさせて所定の表示画像サイズで出力する画像処理方法であって、元画像データを適宜の第１の画像サイズに生成する第１のリサイズ処理ステップと、第１のリサイズ処理ステップで得られた第１の画像サイズから上記表示画像サイズに第１の画像サイズをリサイズさせる第２のリサイズ処理ステップとから成るものである。
【００２１】
本発明の画像処理装置は画像入力部から供給した元画像データ或は内蔵記憶媒体に記憶させた元画像データをリサイズさせて所定の表示画像サイズで出力する画像処理装置であって、元画像データを適宜の第１の画像サイズに生成する第１のリサイズ処理手段と、第１のリサイズ処理手段で得られた第１の画像サイズから上記表示画像サイズに第１の画像サイズをリサイズさせる第２のリサイズ処理手段とから成るものである。
【００２２】
本発明の画像処理方法及び画像処理装置では画像データの任意サイズへのリサイズ時における処理時間の軽減を図ることが出来ると共に画質を優先させた画像を得ることも可能と成る。
【００２３】
【発明の実施の形態】
以下、本発明の一実施の形態を添付図面を参照して詳記する。
【００２４】
本発明ではテレビジョン放送画像やメモリカードに記憶させた静止画像を記録、再生可能なハードディスク記録再生装置内の画像データをリサイズ或は回転させて表示装置に表示させる様に成したシステム構成で適用される画像処理方法及び画像処理装置について説明する。
【００２５】
図１乃至図４によって、本発明を説明する前に、本発明の画像処理方法と画像処理装置が適用される画像記録再生装置の全体的システム構成例を図５乃至図７によって説明する。
【００２６】
図５は、本実施の形態によるシステム構成例を示した図である。本例においては、テレビジョン放送を録画するハードディスク記録再生装置１００と、ＣＳ放送を受信するＣＳチューナ２００とを接続し、さらにテレビジョン受像機等の表示装置３００を接続する構成として、ハードディスク記録再生装置１００は、テレビジョン放送番組を録画し再生するハードディスクが内蔵された画像記録再生装置として構成する。このハードディスク記録再生装置１００には、地上波のテレビジョン放送を受信するチューナが内蔵されて、例えば地上波用アンテナ９１を接続する。ＣＳチューナ２００は、ＣＳ放送を受信するチューナであり、例えばパラボラアンテナ９２を接続し、パラボラアンテナ９２に取付けられたコンバータ９３からＣＳ放送の受信波が供給される。
【００２７】
ＣＳチューナ２００は、２つのＣＳ放送サービスを受信するように構成し、ＣＳチューナ２００で受信されたテレビジョン放送（ＣＳ放送）の映像信号と音声信号を、それぞれケーブル８３，８４を介してハードディスク記録再生装置１００に送る。なお、２つの放送サービスは、電波を中継する通信衛星が異なる衛星であり、放送データの形式についても若干異なる。また、ハードディスク記録再生装置１００とＣＳチューナ２００は、それぞれの機器に用意されたデータ通信ポートをケーブル８５で接続して双方向に通信できるようにしてあり、ＣＳチューナ２００で受信された放送データなどをハードディスク記録再生装置１００に送ることができる。
【００２８】
ハードディスク記録再生装置１００では、内蔵された地上波のチューナで受信した地上波のテレビジョン放送番組のハードディスクへの記録と、接続されたＣＳチューナ２００で受信したＣＳ放送のテレビジョン放送番組のハードディスクへの記録とが行える。
【００２９】
本例の場合には、ＣＳチューナ２００で受信するＣＳ放送サービスは、デジタルデータ化された映像信号や音声信号が伝送されるデジタル放送サービスであり、これらのデータが伝送されるパケットには、ＥＰＧデータと称される電子番組データが付加されている。この電子番組データが付加されたパケットが、データ通信ポートを介してＣＳチューナ２００からハードディスク記録再生装置１００に送られる。
【００３０】
また、このデータ通信ポート間の接続で、ハードディスク記録再生装置１００側から、ＣＳチューナ２００の動作を制御するコントロール信号を送ることができる。このコントロール信号による指令としては、ＣＳチューナ２００の電源オン・オフ指令や、チャンネル切換え指令、受信する放送サービスの切換え指令などがある。但し、受信する放送サービスの切換え指令は、接続されるＣＳチューナ２００の構成によっては不要である。また、直接的に動作を指示する指令ではなく、ＣＳチューナ２００の現在の動作状態を問い合わせる指令（例えば電源オン状態であるかスタンバイ状態であるかの問い合わせ）を送るようにしても良い。
【００３１】
また、ハードディスク記録再生装置１００が出力する映像信号と音声信号を、ケーブル８１，８２を介してテレビジョン受像機等の表示装置３００に接続している。表示装置３００では、ハードディスク記録再生装置１００に内蔵されたハードディスクに記録された映像の表示及び音声の出力が行える。なお、図５では図示してないが、ＣＳチューナ２００と表示装置３００を直接接続しても良い。また、ハードディスク記録再生装置１００には、ＣＳチューナ２００以外の映像信号源を接続して、その映像信号源から供給される映像信号及び音声信号を、ハードディスクに記録することもできる。
【００３２】
次に、ハードディスク記録再生装置１００の構成を、図６を参照して説明する。ハードディスク記録再生装置１００に接続された地上波用アンテナ９１は、装置１００に内蔵された地上波用チューナ１０１に接続してあり、チューナ１０１で受信して得た地上波のテレビジョン放送の映像信号及び音声信号を、切換スイッチ１１０の端子１１１に供給する。
【００３３】
地上波用チューナ１０１での受信チャンネルについては、このハードディスク記録再生装置１００のコントローラ１２１により制御される。チューナ１０１で受信する地上波は、アナログ放送波であるが、予め決められた特定のチャンネルについては、１日に数回、決められた時間に、映像信号のブランキング期間へのデータの重畳などで、電子番組表を表示させるためのＥＰＧデータを送るようにしてある。このＥＰＧデータは、そのＥＰＧデータが重畳されたチャンネルの案内だけでなく、その地域で受信可能なほとんどの地上波のチャンネルについての番組を案内するデータを含み、チューナ１０１で受信されたＥＰＧデータは、コントローラ１２１に送られる。
【００３４】
切換スイッチ１１０は、チューナ１０１の受信信号と、外部からの入力端子１３１，１３２，１３３，１３４に得られる信号とを切り換えるスイッチである。入力端子１３１，１３２は第１の入力部として使用される映像信号の入力端子及び音声信号の入力端子であり、これらの入力端子に得られる信号を、切換スイッチ１１０の端子１１２に供給する。入力端子１３３，１３４は第２の入力部として使用される映像信号の入力端子及び音声信号の入力端子であり、これらの入力端子に得られる信号を、切換スイッチ１１０の端子１１３に供給する。これらの端子１１１，１１２，１１３に得られる映像信号，音声信号の内の、コントローラ１２１の制御で選択された信号が、端子１１４に得られる。なお、図６では、映像信号と音声信号の供給や切換えなどが同時に行われる場合であり、この場合の両信号の伝送路を１本の伝送線で示してある。
【００３５】
外部からの入力部の内の、第１の入力部（入力端子１３１，１３２）については、ＣＳチューナ２００で受信して出力する映像信号及び音声信号が供給される専用の入力端子として使用される。但し、ＣＳチューナを接続しない場合には、この第１の入力部に、その他の映像信号源を接続しても良い。
【００３６】
第２の入力部（入力端子１３３，１３４）については、このハードディスク記録再生装置１００で記録したい映像信号及び音声信号が出力される映像信号源が接続される。例えば、ＢＳチューナやビデオテープ記録再生装置などが接続される。
【００３７】
切換スイッチ１１０で選択された映像信号と音声信号（端子１１４に得られる信号）は、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅｃｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）エンコーダ１０２に供給して、例えばＭＰＥＧ２方式で圧縮符号化されたデジタル映像データとデジタル音声データとする。このＭＰＥＧエンコーダ１０２に供給される信号は、アナログ信号であるので、アナログ信号をデジタルデータ化するデジタル変換についても、ＭＰＥＧエンコーダ１０２内（あるいは別体の回路）で行うようにしてある。
【００３８】
ＭＰＥＧエンコーダ１０２で得られたＭＰＥＧ２方式の映像データ及び音声データは、記録再生処理部１０３に供給する。記録再生処理部１０３は、ハードディスク１０５に映像データや音声データなどを記録し再生するための処理を行う回路である。記録再生処理部１０３にはバッファメモリ１０４を接続し、このバッファメモリ１０４にデータを一時蓄積させながら、記録や再生を行うようにしてある。なお、電子番組データについても、コントローラ１２１の制御で、ハードディスク１０５に記録し再生するようにしてある。ハードディスク１０５については、スピンドルモータにより高速回転させた状態で、ヘッドにより記録し再生する構成としてあり、例えば数十Ｇバイトの記録容量で、数十時間のテレビジョン放送信号を記録することが可能である。
【００３９】
ハードディスク１０５から再生されて、記録再生処理部１０３で処理された映像データ及び音声データについては、ＭＰＥＧデコーダ１０６に供給して、ＭＰＥＧ２方式からのデコードを行う。デコードされた映像データについては、混合器１０７を介してＮＴＳＣエンコーダ１０８に供給し、ＮＴＳＣ方式のアナログ映像信号として、出力端子１３５に供給する。デコードされた音声データについては、デジタル／アナログ変換器１０９でアナログ音声信号に変換し、そのアナログ音声信号を出力端子１３６に供給する。この出力端子１３５，１３６が、図５のケーブル８１，８２でテレビジョン受像機に接続される端子に相当する。
【００４０】
また、本例のハードディスク記録再生装置１００は、ＣＳチューナ２００と通信を行うためのデータ通信ポート１３７を備えている。このデータ通信ポート１３７でＣＳチューナ２００側から伝送されたデータの中から、インターフェース１２２で必要なデータを抽出して、コントローラ１２１に送る構成としてある。ＣＳチューナ２００側からハードディスク記録再生装置１００に送られるデータとしては、例えば電子番組データがある。また、コントローラ１２１からＣＳチューナ２００側に送りたいデータ（図１の説明で述べた各種指令など）を、インターフェース１２２を介してデータ通信ポート１３７から出力させるようにしてある。
【００４１】
ハードディスク記録再生装置１００を操作する指令については、操作キーやリモートコントロール信号の受信部（受光部）で構成される入力部１２３から供給される構成とされ、例えば、図示しないリモートコントロール装置から赤外線信号で操作指令が入力部１２３に届くと、その受信した指令をコントローラ１２１に送る。リモートコントロール装置やキーの操作などによる指令としては、例えば直接的に録画，再生，チャンネル切換えなどを指示する指令の他に、このハードディスク記録再生装置１００に接続された表示装置３００での表示を参照しながら、カーソルキーや確定キーなどの操作で多機能の操作を行う、いわゆるＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）操作の指令もある。
【００４２】
コントローラ１２１は、このＧＵＩ操作のための画面を生成させる処理を行った場合、その生成された画面のデータを混合器１０７に送り、ＭＰＥＧデコーダ１０６が出力する映像データに混合して、出力端子１３５から出力される映像信号に、対応した画面が表示されるようにしてある。
【００４３】
このＧＵＩ操作のための画面以外でも、このハードディスク記録再生装置１００で各種表示を行う必要がある場合には、コントローラ１２１が同様にその表示画面のデータを生成させて、混合器１０７に送るようにしてある。これらの処理で表示される画面の例については、後述する。
【００４４】
またコントローラ１２１には、時計部１２４が接続してあり、時計部１２４で現在時刻（年月日，時分秒）をカウントした結果をコントローラ１２１で随時判断するようにしてある。この時計部１２４でカウントした日時をコントローラ１２１で判断して、予約された録画の実行などを行うようにしてある。時計部１２４でカウントする時刻については、ユーザ操作で設定や修正を行うようにしても良いが、チューナ１０１（又は接続されたＣＳチューナ２００）で受信した信号に基づいて、時刻を自動修正するようにしても良い。
【００４５】
また本例のハードディスク記録再生装置１００は、メモリカードが着脱自在に装着可能なカードスロット１２５を備え、カードスロット１２５に装着されたメモリカード１２６に記憶されたデータを、コントローラ１２１が読み出して、各種処理が行えるようにしてある。例えば、装着されたメモリカード１２６に静止画像データや動画像データが記憶されている場合、その画像データをコントローラ１２１が読み出して混合器１０７側に送り、この記録再生装置１００に接続された表示装置３００に表示させることができる。或いは、メモリカード１２６から読み出したデータを、ハードディスク１０５などに記録させても良い。
【００４６】
さらに本例のハードディスク記録再生装置１００は、インターネットに接続するためのポート１３８を備えて、そのインターネット接続用ポート１３８で接続された通信手段を介したデータのやり取りが、インターフェース１２７を介してコントローラ１２１で行えるようにしてある。
【００４７】
インターネット接続用ポート１３８については、例えばインターネット接続用のルータやモデムと、所定のケーブルを介して接続できるようにしてある。このインターネット接続用ポート１３８を介して所定のアドレスのサーバにアクセスして、電子番組データを取得することもできる。
【００４８】
コントローラ１２１は、種々の処理により電子番組データを取得した場合に、その電子番組データを、ハードディスク１０５の一部の領域に保存して、その保存されたデータを活用して電子番組表の表示処理や、録画予約処理を行うようにしてある。コントローラ１２１が取得する電子番組データとしては、内蔵されたチューナ１０１で受信した電子番組データと、接続されたＣＳチューナ２００からポート１３７を介して得られた電子番組データと、インターネットを介して取得した電子番組データの３種類があり、どの電子番組データを使用するかが予め設定で決められる。
【００４９】
なお、コントローラ１２１には、ＲＯＭ等の不揮発性メモリ（図１参照）１４４が接続してあり、各種設定事項を記憶するようにしてある。また、録画予約の情報についても、この不揮発性メモリに記憶させる。但し、不揮発性メモリ１４４を設けないで、ハードディスク１０５の一部の記録領域を代わりに使用しても良い。
【００５０】
次に、本例のハードディスク記録再生装置１００に接続されるＣＳチューナ２００の構成を、図７を参照して説明する。
【００５１】
ＣＳチューナ２００には、衛星放送波を受信するパラボラアンテナ９２を接続し、アンテナ９２のコンバータ９３から供給される信号の中から、受信するチャンネルのデータが含まれるパケットをチューナ２０１で受信処理する。受信するパケットの選択は、コントローラ２１０により制御される。チューナ２０１で受信されたパケットは、ＱＰＳＫ（ＱｕａｄｒａｔｕｒｅＰｈａｓｅＳｈｉｆｔＫｅｙｉｎｇ）復調部２０２に供給して、受信パケットのデータをＱＰＳＫ復調処理する。その復調されたデータを、エラー訂正部２０３に供給して、エラー訂正処理を行う。
【００５２】
エラー訂正された受信データをデマルチプレクサ２０４に供給し、受信パケットの中から受信するチャンネルの映像データ，音声データ，その他のデータを抽出する。その他のデータとしては、例えば電子番組データがある。この抽出処理は、コントローラ２１０の制御に基づいて実行され、データ処理に必要なデータの一時記憶を、接続したバッファメモリ２０５で行うようにしてある。
【００５３】
デマルチプレクサ２０４で抽出された映像データと音声データは、ＭＰＥＧデコーダ２０６に供給し、ＭＰＥＧ−２方式で符号化された映像データと音声データをデコードする。ＭＰＥＧデコーダ２０６でデコードされた映像データは、混合器２０７を介してＮＴＳＣエンコーダ２０８に供給し、ＮＴＳＣ方式のアナログ映像信号として、出力端子２２１に供給する。デコードされた音声データについては、デジタル／アナログ変換器２０９でアナログ音声信号に変換し、そのアナログ音声信号を出力端子２２２に供給する。この出力端子２２１，２２２が、図５のケーブル８３，８４でハードディスク記録再生装置１００に接続される端子に相当する。デマルチプレクサ２０４で抽出された電子番組データについては、コントローラ２１０に送るようにしてある。
【００５４】
端子２２１から出力される映像信号については、コントローラ２１０で生成された各種案内表示用の画像による映像信号である場合もある。即ち、コントローラ２１０で生成された案内表示用の画像データを、混合器２０７に供給して、ＭＰＥＧデコーダ２０６が出力する映像データに重畳させて、ＮＴＳＣエンコーダ２０８に供給できる構成とし、この案内表示用の画像データとしては、例えば受信したチャンネルの信号に付加された電子番組データに基づいた電子番組表を表示させる画像データがある。
【００５５】
また、本例のＣＳチューナ２００は、ハードディスク記録再生装置１００と通信を行うためのデータ通信ポート２２３を備えている。このデータ通信ポート２２３は、専用のケーブル（図５に示したケーブル８５）で、ハードディスク記録再生装置１００側のデータ通信ポート１３７と接続される。このデータ通信ポート２２３を使用して送るための放送データを、デマルチプレクサ２０４からインターフェース２１１に送り、インターフェース２１１でポート２２３から出力させる形式のデータとして出力させるようにしてある。本例の場合には、受信した放送データが含まれるパケットそのもの（即ち映像データ，音声データ，ＥＰＧデータなどが含まれたデータ）を、ポート２２３からハードディスク記録再生装置１００側に送るようにしてある。ハードディスク記録再生装置１００側では、その伝送されたパケットデータの中から、ＥＰＧデータだけを抽出する。
【００５６】
また、データ通信ポート２２３を介してインターフェース２１１で、ハードディスク記録再生装置１００側から送られたデータ（各種指令など）を受信した場合には、そのデータをコントローラ２１０に送るようにし、勿論コントローラ２１０からインターフェース２１１を介してハードディスク記録再生装置１００側にデータを送る場合もある。
【００５７】
ＣＳチューナ２００を操作する指令については、操作キーやリモートコントロール信号の受信部（受光部）で構成される入力部２１２から供給される構成とし、例えば、図示しないリモートコントロール装置から赤外線信号で操作指令が入力部２１２に届くと、その受信した指令をコントローラ２１０に送る。
【００５８】
また、このＣＳチューナ２００は、ユーザの登録情報や視聴記録などの受信契約に関するデータを保持するＩＣカード２１３が装着される構成とされ、このＩＣカード２１３に記憶された情報に基づいて、コントローラ２１０が有料チャンネルの受信などの処理を行うようにしてある。
【００５９】
さらに、このＣＳチューナ２００には、電話回線の接続端子２２４を備え、コントローラ２１０からインターフェース２１４を介して、端子２２４に接続された電話回線側に、データを送ることができる。この電話回線を介して送るデータとしては、有料チャンネルの視聴記録などの受信契約に関するデータがある。
【００６０】
なお、本例のＣＳチューナ２００は、既に説明したように、２つの放送サービス（サービスＡとサービスＢ）の受信が可能であり、それぞれの放送サービス毎に受信する衛星が異なるが、サービスＡのチャンネルを受信している状態から、サービスＢのチャンネルに切り換える場合（或いはその逆の場合）には、チューナの構成上、衛星切換え操作を行った後に、チャンネル切換え操作が必要な形式のチューナと、チャンネル切換え操作だけで放送サービスが自動的に切換わるチューナの、２つの形式のものが存在する。チャンネル切換え操作が必要な形式のチューナは、比較的古い形式のチューナに多く存在する。
【００６１】
次に、以上説明した構成のハードディスク記録再生装置１００とＣＳチューナ２００とを図５に示すように接続して、ハードディスク記録再生装置１００で記録（録画）や再生を行うための処理について、説明する。これらの処理を行うためのユーザ操作は、例えば、ハードディスク記録再生装置１００に付属するリモートコントロール装置（図示せず）により行うものとする。具体的には、ハードディスク記録再生装置１００の出力端子１３５から出力される映像（ＧＵＩ操作用の映像）を表示装置３００で表示させた状態で、リモートコントロール装置のカーソルキーや決定キーなどの操作で各項目の入力を行うようにしてある。
【００６２】
本例のハードディスク記録再生装置１００での放送番組の録画としては、既に説明したように、ハードディスク記録再生装置１００に内蔵されたチューナ１０１で受信した地上波のテレビジョン放送番組の録画と、ＣＳチューナ２００で受信したＣＳ放送波のテレビジョン放送番組の録画とがある。これらの放送番組の録画を行うために、まずハードディスク記録再生装置１００でセットアップを必要とする。このセットアップ処理は、コントローラ１２１の制御で実行され、そのセットアップされた事項については、コントローラ１２１に接続された不揮発性のメモリ１４４やハードディスク１０５などに記憶（記録）される。
【００６３】
上述の如きチャンネルサーバシステム内のハードディスク記録再生装置１００に取り込んだメモリカード１２６等に記憶した静止画像や動画像を表示装置３００の画面にリサイズ表示させる場合の要部のハードウエア構成を図１に示す。尚図１で図５乃至図７で説明したと同一部分に同一符号を付して重複説明を省略する。
【００６４】
図１で画像生成装置１４５は図６及び図７のアンテナ９１及び９２からのテレビジョン画像データやメモリカード１２６等の記録或は記憶されたＪＰＥＧ等の形式の静止画像等であるが、イメージスキャナやインターネットから取り込んだ画像データであってもよい。
【００６５】
画像再生装置１４５で生成された画像データはハードディスク記録再生装置１００内のコントローラ（以下ＣＰＵと記す）１２１内に供給される。ＣＰＵは上記した様に記録再生処理部１０３を介して上述の各種画像データをハードディスク１０６、バッファ１０４等に記憶させ、ＭＰＥＧ方式の画像データはＭＰＥＧデコーダ１０６を介して復号し、必要に応じて所定の大きさに圧縮／伸張した画像データを混合器１０７で混合して、ＮＴＳＣ等のエンコーダ１０８を介して表示装置３００に例えばサムネル画像を表示する様に成されている。
【００６６】
ＣＰＵ１２１はワーク及び上記した各種設定事項用の不揮発性のメモリからなるＲＯＭ１４４を有する。１４６は画像データの圧縮及び伸張を行なう圧縮伸張処理部であり、例えばデータ圧縮方式はＪＰＥＧ方式、ＭＰＥＧ方式等の任意の圧縮、伸張方式を用いることが出来る。
【００６７】
リサイズ処理部１４７はＲＡＭ等の記憶手段１４８を有し、画像データの表示の大きさである画素数を変化させることで縮小（解凍）及び拡大を行なうことが可能でバス１５９を介してＣＰＵ１２１に接続されている。
【００６８】
圧縮伸張処理部１４６及びリサイズ処理部１４８で処理された画像データは混合器１０７を介してＣＲＴ，ＰＤＰ，ＬＣＤ等の表示装置３００に供給される様な構成と成されている。
【００６９】
上述の構成の動作を図２乃至図４を用いて説明する。
【００７０】
メモリカード１２６にＪＰＥＧ方式で記憶された画像データを図１の画像生成装置１４５のカードスロット１２５に挿入し、ＣＰＵ１２１にＪＰＥＧ方式で記録した静止画像データとして、図３及び図４に示す様な８×８のブロックに分割した実画像サイズ４の画像データを図２のフローチャートの第１ステップＳＴ１の様にＣＰＵ１２１内に取り込む。
【００７１】
上述ではメモリカード１２６に記憶されたＪＰＥＧ方式の静止画像データを取り込んだが、アンテナ９１，９２から取り込んだ動画像データ等を取り込み、圧縮伸張部１４６でＪＰＥＧ方式に圧縮伸張させる様にしてもよい。
【００７２】
ＣＰＵ１２１は第２ステップＳＴ２に於いて、画質を優先して表示する場合と、処理時間及び使用するメモリを軽減する場合の２通りのいずれかを選択するために、表示装置３００に表示しようとする表示画像サイズ６より大きめに圧縮するか、表示画像サイズ６より小さめに圧縮するかを選択する。
【００７３】
表示画像サイズ６より大きく圧縮する場合（ＹＥＳ）では第３ステップＳＴ３で図３の解凍後（圧縮後）画像サイズ５ａの様に、ＪＰＥＧ画像データを表示画像サイズ３より大きめにデコードと同時に第１のリサイズを行なう。
【００７４】
この様にＪＰＥＧの画像データをデコードすると同時に第１のリサイズを行なう方法は８×８のブロックに分割されているＪＰＥＧ画像データの各ブロックに対し、特許文献１に詳記した様に圧縮と逆の手順で上記した▲１▼項乃至▲４▼項の画像データの復号化を行なう際の▲４▼項に説明したＩＤＣＴ処理を調整した後に、図３に示す解凍後画像サイズ５ａの如き第１のリサイズを行なう。
【００７５】
この第３ステップＳＴ３では縮小の場合はＩＤＣＴが簡略化されることになるため、第１のリサイズ処理を含めた画像復号の処理時間が軽減される。然し、ＪＰＥＧ方式の８×８のブロック毎にリサイズを行なうため実画像サイズを１／３等に変換することが困難となる。
【００７６】
そこで、本例では第４ステップＳＴ４及び図３に示す様に大きめに解凍した部分７を表示画像サイズ６と成る様に第２のリサイズを行なう。
【００７７】
この第２のリサイズ方法は一般的なリサイズ手法でよく用いられる要素技術も種々のものが考えられる。本例では、具体的な手法に関しては特に限定しないが、基本的には、どの手法に於いても入力画像から元画像をある程度推測し、異なるサンプリングレートで画像データを再生するものであり、各手法に依って、元画像の推測方法が異なり、その推測方法の精度によって、サイズ後の画質が決定されるので、元画像を推測するために、すべての画素を一旦参照する必要があるので、画像サイズが大きくなるにしたがって、その処理時間は大きくなるが、本例では大きめに解凍した部分７だけのリサイズを行なうため処理時間の短縮を図ることが出来るが実画像サイズ４と表示画像サイズ６の関係によっては解凍後のサイズ５ａが表示画像サイズ６のほぼ２倍になる場合があり、そのとき、第２のリサイズ処理が重くなり、全体的な処理が重くなるが全体としては良質の画質を得られる。
【００７８】
上述の如く、第４ステップＳＴ４で第２のリサイズを行なった後に第５ステップＳＴ５に進めてＲＡＭ１４８に描画させ、必要に応じてＭＰＥＧデコード１０６からの動画像データ等と混合器１０７で混合された静止画像（例えばサムネル画像）はＮＴＳＣエンコーダ１０８を介して表示装置３００の画面に表示されて表示変更終了する。
【００７９】
また、第２ステップＳＴ２で表示サイズ３より大きく圧縮しないＮＯ（表示サイズ３より小さめに圧縮する）の場合は、処理時間と使用するメモリを軽減することが出来る。
【００８０】
この場合は、第６ステップＳＴ６で図４の解凍後（圧縮後）画像サイズ５ｂの様に、ＪＰＥＧ画像データを表示画像サイズ６より小さめに展開し、デコードを行なうと同時に第１のリサイズを行なう。
【００８１】
この様にＪＰＥＧの画像データをデコードすると同時に第１のリサイズを行なう方法は第３ステップＳＴ３で詳記したと同様の処理方法で行なうことで粗い第１のリサイズが行なわれる。
【００８２】
次に、第７ステップＳＴ７及び図４に示す様に、表示画像サイズ６のサイズと小さめに解凍した解凍後サイズ５ｂとの差の部分（斜線で示す）８を補間等を行なうことで表示画像サイズ６と成る様に第２のリサイズを行なう。この第２のリサイズ方法は第４ステップＳＴ４で詳記したと同様の方法で行なうことが出来る。
【００８３】
この第２のリサイズに於ける処理が軽減されるため全体的な処理時間も軽減されるが実画像サイズ４と表示サイズの関係によっては解凍後のサイズ５ｂが表示画像サイズ６のほぼ１／２倍になる場合があり、そのとき、表示される画像が粗くなる。
然し、本発明では第１のリサイズ時にＪＰＥＧをデコードすると同時にリサイズして元画像に対し、「粗く」リサイズし、次に、この様に「粗く」リサイズした画像を「細かく」第２のリサイズを直列的に行なう様にしたので最終的には第２のリサイズによって任意のサイズの画像を得ることが出来る。これにより、任意のサイズの画像表示領域に対して、任意の原画像サイズのＪＰＥＧ画像を一様に表示することが出来る。
【００８４】
上述の説明では第１及び第２のリサイズ処理に於いて、画像の圧縮及び画像を平行移動させた場合について説明したが、勿論、伸張及び回転処理を行なう様に成してもよい。図２のフローチャートではＣＰＵが表示画像サイズより大きく圧縮するか否かを選択させたが、この第２ステップＳＴ２を予め定めて置き、画質を優先する場合は第３ステップＳＴ３及び第４ステップＳＴ４を選択し、処理時間及び使用メモリを軽減する場合は第６ステップＳＴ６及び第７ステップＳＴ７を選択する様にしてもよい。
【００８５】
【発明の効果】
本発明の画像処理方法及び画像処理装置によれば、ＪＰＥＧ画像を１／３等の任意の画像サイズにも変換することが出来るので任意のＪＰＥＧ元画像サイズを一様のサイズに変換表示することが可能で画質を優先する様に或は処理時間及び使用メモリを軽減する様に選択することも出来る。
【図面の簡単な説明】
【図１】本発明の画像処理装置の要部の一形態例を示す系統図である。
【図２】本発明の画像処理方法の一形態例を示すフローチャートである。
【図３】本発明のリサイズ方法の一形態例を説明するための画面遷移図である。
【図４】本発明のリサイズ方法の他の形態例を説明するための画面遷移図である。
【図５】本発明の画像処理装置が用いられたチャンネルサーバシステムの全体的構成図である。
【図６】本発明のチャンネルサーバシステム中のハードディスク記録再生装置の系統図である。
【図７】本発明のチャンネルサーバシステム中のＣＳチューナの系統図である。
【図８】従来の画像処理装置の表示変更方法を示すフローチャートである。
【図９】従来のＪＰＥＧ画像の縮小方法を説明する画面遷移図である。
【符号の説明】
１２１‥‥コントローラ（ＣＰＵ）、１４５‥‥画像生成装置、１４６‥‥圧縮伸張処理部、１４７‥‥リサイズ処理部、３００‥‥表示装置

Claims

画像入力部から供給した元画像データ或は内蔵記憶媒体に記憶させた元画像データをリサイズさせて所定の表示画像サイズで出力する画像処理方法であって、
上記元画像データを適宜の第１の画像サイズに生成する第１のリサイズ処理ステップと、
上記第１のリサイズ処理ステップで得られた第１の画像サイズから上記表示画像サイズに該第１の画像サイズをリサイズさせる第２のリサイズ処理ステップとから成ることを特徴とする画像処理方法。
前記元画像データを前記第１のリサイズ処理ステップを介して前記表示画像サイズより大きいサイズに解凍させて所定の第１の画像サイズを得る様に成したことを特徴とする請求項１記載の画像信号処理方法。
前記元画像データを前記第１のリサイズ処理ステップを介して前記表示画像サイズより小さいサイズに解凍させて所定の第１の画像サイズを得る様に成したことを特徴とする請求項１記載の画像処理方法。
前記第１のリサイズ処理ステップが前記元画像データをＪＰＥＧ形式でデコードすると共に同時にリサイズを行なう処理方法であることを特徴とする請求項１乃至請求項３記載のいずれか１項記載の画像信号処理方法。
画像入力部から供給した元画像データ或は内蔵記憶媒体に記憶させた元画像データをリサイズさせて所定の表示画像サイズで出力する画像処理装置であって、
上記元画像データを適宜の第１の画像サイズに生成する第１のリサイズ処理手段と、
上記第１のリサイズ処理手段で得られた第１の画像サイズから上記表示画像サイズに該第１の画像サイズをリサイズさせる第２のリサイズ処理手段とから成ることを特徴とする画像処理装置。
前記元画像データを前記第１のリサイズ処理手段を介して前記表示画像サイズより大きいサイズに解凍させて所定の第１の画像サイズを得る様に成したことを特徴とする請求項１記載の画像信号処理装置。
前記元画像データを前記第１のリサイズ処理手段を介して前記表示画像サイズより小さいサイズに解凍させて所定の第１の画像サイズを得る様に成したことを特徴とする請求項６記載の画像処理装置。
前記第１のリサイズ処理手段が前記元画像データをＪＰＥＧ形式でデコードすると共に同時にリサイズを行なうように成したことを特徴とする請求項５乃至請求項７記載のいずれか１項記載の画像信号処理装置。