JP2009016964A - 映像表示装置及び映像表示方法 - Google Patents
映像表示装置及び映像表示方法 Download PDFInfo
- Publication number
- JP2009016964A JP2009016964A JP2007173472A JP2007173472A JP2009016964A JP 2009016964 A JP2009016964 A JP 2009016964A JP 2007173472 A JP2007173472 A JP 2007173472A JP 2007173472 A JP2007173472 A JP 2007173472A JP 2009016964 A JP2009016964 A JP 2009016964A
- Authority
- JP
- Japan
- Prior art keywords
- video
- scene change
- display
- frame
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】この発明は、画面上に同時に表示されている複数の映像について、それぞれシーンチェンジ検出結果に応じて生成された補間フレームによるフレームレート変換を行なうことができ、多画面表示された映像の高品位化を十分に促進させるようにした映像処理装置及び映像処理方法を提供することを目的としている。
【解決手段】表示画面を複数の表示領域に分割し、各表示領域にそれぞれ異なる映像を表示させるように作成された映像フレームの時間的に連続する前後の映像フレーム間で、表示領域毎にシーンチェンジの有無を検出し、シーンチェンジ有りと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後いずれかの映像フレームの対応する表示領域の映像を補間映像とし、シーンチェンジ無しと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後の映像フレームの対応する表示領域の映像を演算した映像を補間映像とした補間フレームを生成する。
【選択図】 図1
【解決手段】表示画面を複数の表示領域に分割し、各表示領域にそれぞれ異なる映像を表示させるように作成された映像フレームの時間的に連続する前後の映像フレーム間で、表示領域毎にシーンチェンジの有無を検出し、シーンチェンジ有りと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後いずれかの映像フレームの対応する表示領域の映像を補間映像とし、シーンチェンジ無しと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後の映像フレームの対応する表示領域の映像を演算した映像を補間映像とした補間フレームを生成する。
【選択図】 図1
Description
この発明は、例えばデジタルテレビジョン放送受信装置等に使用して好適する映像処理装置及び映像処理方法に関する。
周知のように、近年では、テレビジョン放送のデジタル化が推進されてきている。例えば、日本国内においては、BS(broadcasting satellite)デジタル放送及び110度CS(communication satellite)デジタル放送等の衛星デジタル放送だけでなく、地上デジタル放送も開始されている。
そして、このようなデジタルテレビジョン放送を受信するデジタルテレビジョン放送受信装置では、受信した映像信号に対して、そのフレームレートが例えば2倍になるようにフレームレート変換を行なうことにより、残像やフリッカ等を削減して表示映像の動特性を改善することが行なわれている。
具体的には、受信した映像信号の時間的に連続する2つのフレームに基づいて、それら2つのフレーム間に挿入すべき補間フレームを生成し、その生成された補間フレームを、当該補間フレームの生成に供した元の映像信号の2つのフレーム間に挿入することによって、フレームレート変換を行なっている。
ここで、受信した映像信号の時間的に連続する2つのフレームから補間フレームを生成する場合には、その2つのフレームが、全く異なるシーン、つまり、シーンチェンジとなっているか、連続する同一のシーンとなっているかを検出する、いわゆるシーンチェンジ検出を行なう必要がある。
そして、シーンチェンジであることが検出された場合には、シーンチェンジ検出に供された2つのフレームのうちのいずれか一方のフレームをそのまま補間フレームとし、同一シーンであることが検出された場合には、シーンチェンジ検出に供された2つのフレームを演算して補間フレームを生成するようにしている。
なお、シーンチェンジ検出は、受信した映像信号の時間的に連続する2つのフレームに対し、フレーム全体または予め設定された一部の領域について、対応する各画素同士の差分を算出し、その差分の累積加算値が予め設定された閾値より実質的に大きい場合にシーンチェンジと判断することにより行なわれる。
一方、特にデジタルテレビジョン放送受信装置にあっては、同時に放送されている複数のテレビジョン放送番組をそれぞれ選局し、その選局した各テレビジョン放送番組の映像を、1つの映像表示画面を複数の領域に分割した各分割画面にそれぞれ同時に表示させるようにした、いわゆる多画面表示機能を備えたものがある。
ところで、このような多画面表示機能を備えたデジタルテレビジョン放送受信装置において、各分割画面に表示される映像はそれぞれ独立した内容であり、シーンチェンジも異なるタイミングで発生する。このため、フレームレート変換を行なうにあたっては、補間フレームの生成に対策が必要となる。
特許文献1には、補間フレームを挿入することにより映像信号のフレームレートを変換して、高画質な画像を表示させる場合、画面内に表示された1つの映像についてシーンチェンジの検出を行ない、シーンチェンジが検出された場合に、補間処理を変更するようにした構成が開示されている。
特開2006−165602号公報
そこで、この発明は上記事情を考慮してなされたもので、画面上に同時に表示されている複数の映像に対し、それぞれシーンチェンジ検出結果に応じて生成された補間フレームによるフレームレート変換を行なって、多画面表示された映像の高品位化を十分に促進させるようにした映像処理装置及び映像処理方法を提供することを目的とする。
この発明に係る映像処理装置は、表示画面を複数の表示領域に分割し、各表示領域にそれぞれ異なる映像を表示させるように作成された映像フレームが入力される入力手段と、入力手段に入力された時間的に連続する前後の映像フレーム間で、表示領域毎にシーンチェンジの有無を検出する検出手段と、検出手段によりシーンチェンジ有りと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後いずれかの映像フレームの対応する表示領域の映像を補間映像とし、検出手段によりシーンチェンジ無しと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後の映像フレームの対応する表示領域の映像を演算した映像を補間映像とした補間フレームを生成する生成手段と、入力手段に入力された時間的に連続する前後の映像フレーム間に、生成手段で生成された補間フレームを挿入して出力する出力手段とを備えるようにしたものである。
また、この発明に係る映像処理方法は、表示画面を複数の表示領域に分割し、各表示領域にそれぞれ異なる映像を表示させるように作成された映像フレームを入力する第1の工程と、第1の工程で入力された時間的に連続する前後の映像フレーム間で、表示領域毎にシーンチェンジの有無を検出する第2の工程と、第2の工程でシーンチェンジ有りと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後いずれかの映像フレームの対応する表示領域の映像を補間映像とし、第2の工程でシーンチェンジ無しと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後の映像フレームの対応する表示領域の映像を演算した映像を補間映像とした補間フレームを生成する第3の工程と、第1の工程で入力された時間的に連続する前後の映像フレーム間に、第3の工程で生成された補間フレームを挿入して出力する第4の工程とを備えるようにしたものである。
上記した発明によれば、画面上に同時に表示されている複数の映像に対し、それぞれシーンチェンジ検出結果に応じて生成された補間フレームによるフレームレート変換を行なうようにしたので、多画面表示された映像の高品位化を十分に促進することができる。
以下、この発明の実施の形態について図面を参照して詳細に説明する。図1は、この実施の形態で説明するデジタルテレビジョン放送受信装置11の外観と、このデジタルテレビジョン放送受信装置11を中心として構成されるネットワークシステムの一例とを概略的に示している。
すなわち、デジタルテレビジョン放送受信装置11は、主として、薄型のキャビネット12と、このキャビネット12を起立させて支持する支持台13とから構成されている。そして、このキャビネット12には、例えばSED(surface-conduction electron-emitter display)表示パネルまたは液晶表示パネル等でなる平面パネル型の映像表示器14、スピーカ15、操作部16、リモートコントローラ17から送信される操作情報を受ける受光部18等が設置されている。
また、このデジタルテレビジョン放送受信装置11には、例えばSD(secure digital)メモリカード、MMC(multimedia card)及びメモリスティック等の第1のメモリカード19が着脱可能となっており、この第1のメモリカード19に対して番組や写真等の情報の記録再生が行なわれるようになっている。
さらに、このデジタルテレビジョン放送受信装置11には、例えば契約情報等の記録された第2のメモリカード[IC(integrated circuit)カード等]20が着脱可能となっており、この第2のメモリカード20に対して情報の記録再生が行なわれるようになっている。
また、このデジタルテレビジョン放送受信装置11は、第1のLAN(local area network)端子21、第2のLAN端子22、USB(universal serial bus)端子23及びIEEE(institute of electrical and electronics engineers)1394端子24を備えている。
このうち、第1のLAN端子21は、LAN対応HDD専用ポートとして使用される。すなわち、この第1のLAN端子21は、それに接続されたNAS(network attached storage)であるLAN対応のHDD25に対して、イーサネット(登録商標)により情報の記録再生を行なうために使用される。
このように、デジタルテレビジョン放送受信装置11にLAN対応HDD専用ポートとしての第1のLAN端子21を設けることにより、他のネットワーク環境やネットワーク使用状況等に影響されることなく、HDD25に対してハイビジョン画質による放送番組の情報記録を安定して行なうことができる。
また、第2のLAN端子22は、イーサネット(登録商標)を用いた一般的なLAN対応ポートとして使用される。すなわち、この第2のLAN端子22は、ハブ26を介して、LAN対応のHDD27、PC(personal computer)28、HDD内蔵のDVD(digital versatile disk)レコーダ29等の機器を接続して、例えば家庭内ネットワークを構築し、これらの機器と情報伝送を行なうために使用される。
この場合、PC28及びDVDレコーダ29については、それぞれ、家庭内ネットワークにおいてコンテンツのサーバ機器として動作するための機能を持ち、さらにコンテンツのアクセスに必要なURI(uniform resource identifier)情報を提供するサービスを備えたUPnP(universal plug and play)対応機器として構成される。
なお、DVDレコーダ29については、第2のLAN端子22を介して通信されるデジタル情報が制御系のみの情報であるため、デジタルテレビジョン放送受信装置11との間でアナログの映像及び音声情報を伝送するために、専用のアナログ伝送路30が設けられている。
さらに、この第2のLAN端子22は、ハブ26に接続されたブロードバンドルータ31を介して、例えばインターネット等の外部のネットワーク32に接続される。そして、この第2のLAN端子22は、ネットワーク32を介してPC33や携帯電話34等と情報伝送を行なうためにも使用される。
また、上記USB端子23は、一般的なUSB対応ポートとして使用されるもので、例えばハブ35を介して、携帯電話36、デジタルカメラ37、メモリカードに対するカードリーダ/ライタ38、HDD39、キーボード40等のUSB機器を接続し、これらのUSB機器と情報伝送を行なうために使用される。
さらに、上記IEEE1394端子24は、例えばAV−HDD41及びD(digital)−VHS(video home system)42等のような複数の情報記録再生機器をシリアル接続し、各機器と選択的に情報伝送を行なうために使用される。
図2は、上記したデジタルテレビジョン放送受信装置11の主要な信号処理系を示している。すなわち、BS/CS(broadcasting satellite/communication satellite)デジタル放送受信用のアンテナ43で受信した衛星デジタルテレビジョン放送信号は、入力端子44を介して衛星デジタル放送用のチューナ45に供給されることにより、所望のチャンネルの放送信号が選局される。
そして、このチューナ45で選局された放送信号は、PSK(phase shift keying)復調器46及びTS(transport stream)復号器47に順次供給されることにより、デジタルの映像信号及び音声信号に復調された後、信号処理部48に出力される。
また、地上波放送受信用のアンテナ49で受信した地上デジタルテレビジョン放送信号は、入力端子50を介して地上デジタル放送用のチューナ51に供給されることにより、所望のチャンネルの放送信号が選局される。
そして、このチューナ51で選局された放送信号は、例えば日本ではOFDM(orthogonal frequency division multiplexing)復調器52及びTS復号器53に順次供給されることにより、デジタルの映像信号及び音声信号に復調された後、上記信号処理部48に出力される。
また、上記地上波放送受信用のアンテナ49で受信した地上アナログテレビジョン放送信号は、入力端子50を介して地上アナログ放送用のチューナ54に供給されることにより、所望のチャンネルの放送信号が選局される。そして、このチューナ54で選局された放送信号は、アナログ復調器55に供給されてアナログの映像信号及び音声信号に復調された後、上記信号処理部48に出力される。
ここで、上記信号処理部48は、TS復号器47,53からそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部56及び音声処理部57に出力している。
また、上記信号処理部48には、複数(図示の場合は4つ)の入力端子58a,58b,58c,58dが接続されている。これら入力端子58a〜58dは、それぞれ、アナログの映像信号及び音声信号を、デジタルテレビジョン放送受信装置11の外部から入力可能とするものである。
信号処理部48は、上記アナログ復調器55及び各入力端子58a〜58dからそれぞれ供給されたアナログの映像信号及び音声信号を選択的にデジタル化し、このデジタル化された映像信号及び音声信号に対して所定のデジタル信号処理を施した後、グラフィック処理部56及び音声処理部57に出力する。
グラフィック処理部56は、信号処理部48から供給されるデジタルの映像信号に、OSD(on screen display)信号生成部59で生成されるOSD信号を重畳して出力する機能を有する。このグラフィック処理部56は、信号処理部48の出力映像信号と、OSD信号生成部59の出力OSD信号とを選択的に出力すること、また、両出力をそれぞれ画面の半分を構成するように組み合わせて出力することができる。
グラフィック処理部56から出力されたデジタルの映像信号は、映像処理部60に供給される。この映像処理部60は、入力されたデジタルの映像信号を、前記映像表示器14で表示可能なフォーマットのアナログ映像信号に変換した後、映像表示器14に出力して映像表示させるとともに、出力端子61を介して外部に導出させる。
また、上記音声処理部57は、入力されたデジタルの音声信号を、前記スピーカ15で再生可能なフォーマットのアナログ音声信号に変換した後、スピーカ15に出力して音声再生させるとともに、出力端子62を介して外部に導出させる。
ここで、このデジタルテレビジョン放送受信装置11は、上記した各種の受信動作を含むその全ての動作を制御部63によって統括的に制御されている。この制御部63は、CPU(central processing unit)64を内蔵しており、前記操作部16からの操作情報、または、リモートコントローラ17から送出され前記受光部18に受信された操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
この場合、制御部63は、主として、そのCPU64が実行する制御プログラムを格納したROM(read only memory)65と、該CPU64に作業エリアを提供するRAM(random access memory)66と、各種の設定情報及び制御情報等が格納される不揮発性メモリ67とを利用している。
また、この制御部63は、カードI/F(interface)68を介して、前記第1のメモリカード19が装着可能なカードホルダ69に接続されている。これによって、制御部63は、カードホルダ69に装着された第1のメモリカード19と、カードI/F68を介して情報伝送を行なうことができる。
さらに、上記制御部63は、カードI/F70を介して、前記第2のメモリカード20が装着可能なカードホルダ71に接続されている。これにより、制御部63は、カードホルダ71に装着された第2のメモリカード20と、カードI/F70を介して情報伝送を行なうことができる。
また、上記制御部63は、通信I/F72を介して第1のLAN端子21に接続されている。これにより、制御部63は、第1のLAN端子21に接続されたLAN対応のHDD25と、通信I/F72を介して情報伝送を行なうことができる。この場合、制御部63は、DHCP(dynamic host configuration protocol)サーバ機能を有し、第1のLAN端子21に接続されたLAN対応のHDD25にIP(internet protocol)アドレスを割り当てて制御している。
さらに、上記制御部63は、通信I/F73を介して第2のLAN端子22に接続されている。これにより、制御部63は、第2のLAN端子22に接続された各機器(図1参照)と、通信I/F73を介して情報伝送を行なうことができる。
また、上記制御部63は、USB I/F74を介して前記USB端子23に接続されている。これにより、制御部63は、USB端子23に接続された各機器(図1参照)と、USB I/F74を介して情報伝送を行なうことができる。
さらに、上記制御部63は、IEEE1394 I/F75を介してIEEE1394端子24に接続されている。これにより、制御部63は、IEEE1394端子24に接続された各機器(図1参照)と、IEEE1394 I/F75を介して情報伝送を行なうことができる。
ここで、上記制御部63は、多画面表示制御部76を備えている。この多画面表示制御部76は、同時に放送されている複数のテレビジョン放送番組をそれぞれ選局させ、その選局した各テレビジョン放送番組の映像を、映像表示器14の表示画面を複数の領域に分割した各分割画面にそれぞれ同時に表示させる、多画面表示機能を司るものである。
この場合、多画面表示制御部76は、映像表示器14に複数の映像を多画面表示させるにあたって、その分割数の設定、各分割画面の領域の設定、どの分割画面にどの放送番組の映像を表示させるかの設定等を、ユーザがリモートコントローラ17を操作することにより容易に行なうことができるようにしている。
そして、上記信号処理部48は、多画面用フレームレート変換部77を備えている。この多画面用フレームレート変換部77は、映像表示器14の画面上に同時に表示されている複数の映像に対して、それぞれシーンチェンジの有無を検出し、その検出結果に応じた補間フレームを生成してフレームレート変換を行なわせるように機能するものである。
すなわち、今、図3に示すフレームAと、このフレームAの後に連続して続く図4に示すフレームBとの間に補間フレームを挿入して、フレームレートを変換する場合について考える。
この場合、1フレーム中には、チャンネル1の放送番組の映像とチャンネル2の放送番組の映像とが、相互に重なり合うことなく多画面表示されている。そして、チャンネル1の映像は、フレームAとフレームBとで異なるシーン(違いの大きなシーン)となっており、チャンネル2の映像は、フレームAとフレームBとで同一のシーン(あまり違いのないシーン)となっているものとする。
ここで、先にも述べたように、フレームAとフレームBとから補間フレームを生成し、その補間フレームをフレームAとフレームBとの間に挿入してフレームレート変換を行なう場合には、フレームAとフレームBとで異なるシーンとなっているか否かを検出するシーンチェンジ検出を行なう必要がある。
現状のシーンチェンジ検出では、フレームA及びフレームBに対し、フレーム全体または予め設定された一部の領域について、対応する各画素同士の差分を算出し、その差分の累積加算値が予め設定された閾値より実質的に大きい場合にシーンチェンジと判断し、累積加算値が閾値より実質的に大きくない場合に同一のシーンであると判断するようにしている。
そして、シーンチェンジであることが検出された場合には、2つのフレームA,Bのうちのいずれか一方のフレームをそのまま補間フレームとし、同一シーンであることが検出された場合には、2つのフレームA,Bを演算して補間フレームを生成するようにしている。
このため、もし、フレームAとフレームBとに対するシーンチェンジ検出の結果、フレームAとフレームBとが同一シーンであると判断された場合には、図5に示すように、両フレームA,Bを演算した補間フレームが生成される。この場合、チャンネル1については、シーンチェンジされているので、フレームA,Bのいずれかで補間されなければならないところ、フレームA,Bが加算された映像が表示されるため、誤補間されてしまう可能性がある。
そこで、この実施の形態では、上記多画面用フレームレート変換部77を設けることにより、チャンネル1,2の各映像を表示している各々の領域に対して、それぞれシーンチェンジの有無を検出し、その検出結果に応じた補間フレームを生成してフレームレート変換を行なわせるようにしている。
このため、チャンネル1の映像を表示している領域では、フレームA,B間の対応する各画素同士の差分の累積加算値が閾値より実質的に大きくなるため、異なるシーン(シーンチェンジ)であると判断される。また、チャンネル2の映像を表示している領域では、フレームA,B間の対応する各画素同士の差分の累積加算値が閾値より小さくなるため、同一シーンであると判断される。
これにより、図6に示すように、チャンネル1の映像を表示している領域について、フレームA,Bのいずれかのフレーム(図6ではフレームA)の映像が使用され、チャンネル2の映像を表示している領域について、フレームA,Bを演算した映像が使用された補間フレームが生成され、フレームA,B間に挿入される。
このため、チャンネル1,2の映像が、それぞれ正しいシーンチェンジ検出結果に基づいて生成された映像で補間されることになるので、多画面表示された各映像を高品位に保つことが可能となる。
図7は、上記多画面用フレームレート変換部77の一例を示している。すなわち、この多画面用フレームレート変換部77は、多画面表示させる複数の映像信号を、ユーザの設定した多画面表示形態(例えば図3に示した形態)に対応するように処理した映像フレームが入力される入力端子77aを備えている。このフレームは、制御部63の多画面表示制御部76の制御に基づいて作成される。そして、この入力端子77aに入力されたフレームは、フレーム入力部77bを介してフレームバッファ77cに転送され格納される。
また、この多画面用フレームレート変換部77は、多画面表示させるための各分割画面の領域、つまり、シーンチェンジ検出を行なう各領域を示す領域情報が入力される入力端子77dを備えている。この領域情報も、制御部63の多画面表示制御部76の制御に基づいて得られる。そして、この入力端子77dに入力された各領域情報は、設定保持部77eに保持される。
ここで、上記フレームバッファ77c及び設定保持部77eは、シーンチェンジ検出部77fに接続されている。このシーンチェンジ検出部77fは、フレームバッファ77cから時間的に連続する前後のフレームを読み出し、設定保持部77eに保持された領域情報毎に、シーンチェンジ検出を実行する。そして、このシーンチェンジ検出部77fで検出された領域毎のシーンチェンジ検出結果は、シーンチェンジ検出結果格納部77gに格納される。
その後、このシーンチェンジ検出結果格納部77gに格納されたシーンチェンジ検出結果は、補間フレーム生成部77hに供給される。この補間フレーム生成部77hは、フレームバッファ77cから読み出した時間的に連続する前後のフレームを使用して、領域毎にそのシーンチェンジ検出結果に基づいた補間映像を生成することにより、補間フレームを生成する。そして、補間フレーム生成部77hで生成された補間フレームは、フレームバッファ77cに書き戻される。
このようにしてフレームバッファ77cに格納された元の映像信号のフレームと補間フレームとは、フレーム出力部77iによって選択的に読み出され、出力端子77jを介して外部に導出されて、上記映像表示器14による映像表示に供される。
図8は、上記した補間フレームの生成処理とフレームの出力処理とを具体的に示している。図3に示した例と同様に、1フレーム中には、チャンネル1,2の2つのチャンネルの映像が同時表示されているものとする。まず、フレームAが入力されると、そのフレームAが次の時間に出力される。
次に、フレームBが入力されると、フレームAとフレームBとについて、チャンネル1及びチャンネル2のそれぞれの表示領域におけるシーンチェンジ検出が行なわれる。この場合、チャンネル1は異なるシーンであり、チャンネル2は同一のシーンであると検出されたとする。すると、その検出結果に基づいて、フレームAとフレームBとの間に挿入される補間フレームA´が生成され出力される。この場合、補間フレームA´では、チャンネル1の表示領域にフレームAの映像が表示され、チャンネル2の表示領域にフレームAとBとを演算した映像が表示されることになる。そして、補間フレームA´の次の時間には、フレームBが出力される。
次に、フレームCが入力されると、フレームBとフレームCとについて、チャンネル1及びチャンネル2のそれぞれの表示領域におけるシーンチェンジ検出が行なわれる。この場合、チャンネル1は同一のシーンであり、チャンネル2は異なるシーンであると検出されたとする。すると、その検出結果に基づいて、フレームBとフレームCとの間に挿入される補間フレームB´が生成され出力される。この場合、補間フレームB´では、チャンネル1の表示領域にフレームBとCとを演算した映像が表示され、チャンネル2の表示領域にフレームBの映像が表示されることになる。そして、補間フレームB´の次の時間には、フレームCが出力され、以後同様の処理が繰り返される。
図9は、上記した多画面表示におけるフレームレート変換処理動作をまとめたフローチャートを示している。すなわち、多画面表示処理が開始(ステップS1)されると、ステップS2で、同時表示すべき各チャンネルの表示領域が設定され、その設定された各表示領域にそれぞれ映像表示が行なわれる。
その後、ステップS3で、各表示領域においてシーンチェンジ検出を行ない、ステップS4で、表示領域毎に、そのシーンチェンジ検出結果に応じた映像で補間された補間フレームを生成する。そして、ステップS5で、元の映像信号のフレーム及び補間フレームをフレームバッファ77cから選択的に読み出して外部に出力し、ここに、フレームレート変換処理が終了(ステップS6)される。
次に、上記した実施の形態の変形例について説明する。すなわち、この変形例では、多画面表示される各表示領域の一部または全部が、他の表示領域の一部または全部と重複している場合の処理について説明している。一例として、複数の重複した表示領域が存在する場合、それぞれの重複領域において、どの表示領域でのシーンチェンジ検出結果に基づいた補間映像の生成を行なうかの優先順位を設定し、その設定に応じて補間フレームを生成することが可能である。
すなわち、今、図10に示すフレームAと、このフレームAの後に連続して続く図11に示すフレームBとの間に補間フレームを挿入して、フレームレートを変換する場合について考える。
この場合、1フレーム中には、チャンネル1の放送番組の映像とチャンネル2の放送番組の映像とが、それらの一部を重複させて多画面表示されている。なお、2つの表示領域の一部が重複していることを示す情報は、設定保持部77eに格納されている。そして、チャンネル1の映像は、フレームAとフレームBとで異なるシーン(違いの大きなシーン)となっており、チャンネル2の映像は、フレームAとフレームBとで同一のシーン(あまり違いのないシーン)となっているものとする。
ここで、先にも述べたように、フレームAとフレームBとから補間フレームを生成し、その補間フレームをフレームAとフレームBとの間に挿入してフレームレート変換を行なう場合には、フレームAとフレームBとで異なるシーンとなっているか否かを検出するシーンチェンジ検出を行なう必要がある。
現状のシーンチェンジ検出では、フレームA及びフレームBに対し、フレーム全体または予め設定された一部の領域について、対応する各画素同士の差分を算出し、その差分の累積加算値が予め設定された閾値より実質的に大きい場合にシーンチェンジと判断し、累積加算値が閾値より実質的に大きくない場合に同一のシーンであると判断するようにしている。
そして、シーンチェンジであることが検出された場合には、2つのフレームA,Bのうちのいずれか一方のフレームをそのまま補間フレームとし、同一シーンであることが検出された場合には、2つのフレームA,Bを演算して補間フレームを生成するようにしている。
このため、もし、フレームAとフレームBとに対するシーンチェンジ検出の結果、フレームAとフレームBとが同一シーンであると判断された場合には、図12に示すように、両フレームA,Bを演算した補間フレームが生成される。この場合、チャンネル1については、シーンチェンジされているので、フレームA,Bのいずれかで補間されなければならないところ、フレームA,Bが加算された映像が表示されるため、誤補間されてしまう可能性がある。
ここで、上記した実施の形態のように、表示領域毎にシーンチェンジ検出を行ない、その検出結果に基づいて補間フレームを生成することを考える。この場合、チャンネル1,2に対応する2つの表示領域の重複部分に対して、いずれの表示領域のシーンチェンジ検出結果を適用するかを設定せず、例えば重複した表示領域に、チャンネル2の表示領域におけるシーンチェンジ検出結果(同一シーン)を適用して補間映像を生成したとする、すると、重複した表示領域に表示される映像のうち、チャンネル1の映像については、フレームAとフレームBとを演算した補間映像が表示されるため、図13示すように、誤補間されてしまう可能性がある。
ここで説明する変形例では、重複した表示領域に適用すべきシーンチェンジ検出結果を設定することを可能としており、その設定に基づいて、重複した表示領域に表示させる補間映像を生成する。すなわち、上記の例の場合、チャンネル1の表示領域におけるシーンチェンジ検出結果(異なるシーン)を、重複部分に適用した場合には、図14に示すように、重複部分がチャンネル1のフレームBの映像で正常に補間されることになる。
すなわち、チャンネル1,2に対応する2つの表示領域の重複部分については、2つの表示領域のうちシーンチェンジが検出された方のチャンネルの検出結果を適用して補間映像を生成することによって、誤補間のない高品位な多画面表示を行なうことができるようになる。
また、複数の表示領域が指定され、いくつかの重複領域が形成された場合、自動的に各重複領域を検出し、それぞれの重複領域毎にシーンチェンジ検出を行ない、各検出結果を対応する重複領域のみに適用して補間映像を生成することも可能である。例えば、図10に示すフレームAと図11に示すフレームBとを使用して補間フレームを生成する際、両フレームA,Bの重複領域のみについて、対応する各画素同士の差分を算出し、その差分の累積加算値を閾値と比較して、重複領域のシーンチェンジ検出を行なったとする。このとき、異なるシーンであると判断した場合にも、図14示したように、正常な補間フレームを表示することが可能となる。
さらに、各表示領域のシーンチェンジ検出結果に基づいて、重複領域の補間映像を生成するのか、重複領域はそれのみのシーンチェンジ検出結果に基づいて補間映像を処理するのかを、ユーザが選択的に設定できるようにすることも可能である。
また、他の表示領域と重複している表示領域を除いた表示領域のみについて、その表示領域に対するシーンチェンジ検出を行なうか否かを設定可能とし、その設定に基づいて補間フレームの生成処理を行なうようにすることも可能である。
すなわち、シーンチェンジ検出を行なう領域は、分割された表示領域毎や、重複領域毎に個別で設定することも可能である。例えば、チャンネル1については、重複部分も含めた表示領域でシーンチェンジ検出を行ない、チャンネル2については、重複部分を除いた表示領域でシーンチェンジ検出を行なう等のように設定が可能である。
また、上記した実施の形態では、シーンチェンジを検出する表示領域を2つとしているが、任意の複数の表示領域を設定し、それぞれの表示領域においてシーンチェンジ検出することも可能である。さらに、重複する領域が1つだけに限らず、複数個所存在する場合や、3つ以上の表示領域が重なり合う重複領域等についても、シーンチェンジ検出結果に基づいた補間フレームの生成が、上記と同様に可能である。なお、シーンチェンジ検出を行なう領域は、矩形のみでなく任意の形状に設定することも可能である。さらに、上記した多画面用フレームレート変換部77は、映像表示器14を構成する表示パネルに一体的に内蔵されるようにしてもよいことはもちろんである。
図15は、上記した重複部分を含む多画面表示におけるフレームレート変換処理動作をまとめたフローチャートを示している。すなわち、多画面表示処理が開始(ステップS7)されると、ステップS8で、シーンチェンジ検出を行なう領域を設定する。この設定は、例えば、表示領域毎や重複領域毎のように、適宜設定可能である。
その後、ステップS9で、各領域においてシーンチェンジ検出を行ない、ステップS10で、領域毎に、そのシーンチェンジ検出結果に応じた映像で補間された補間フレームを生成する。そして、ステップS11で、元の映像信号のフレーム及び補間フレームをフレームバッファ77cから選択的に読み出して外部に出力し、ここに、フレームレート変換処理が終了(ステップS12)される。
なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
11…デジタルテレビジョン放送受信装置、12…キャビネット、13…支持台、14…映像表示器、15…スピーカ、16…操作部、17…リモートコントローラ、18…受光部、19…第1のメモリカード、20…第2のメモリカード、21…第1のLAN端子、22…第2のLAN端子、23…USB端子、24…IEEE1394端子、25…HDD、26…ハブ、27…HDD、28…PC、29…DVDレコーダ、30…アナログ伝送路、31…ブロードバンドルータ、32…ネットワーク、33…PC、34…携帯電話、35…ハブ、36…携帯電話、37…デジタルカメラ、38…カードリーダ/ライタ、39…HDD、40…キーボード、41…AV−HDD、42…D−VHS、43…アンテナ、44…入力端子、45…チューナ、46…PSK復調器、47…TS復号器、48…信号処理部、49…アンテナ、50…入力端子、51…チューナ、52…OFDM復調器、53…TS復号器、54…チューナ、55…アナログ復調器、56…グラフィック処理部、57…音声処理部、58a〜58d…入力端子、59…OSD信号生成部、60…映像処理部、61…出力端子、62…出力端子、63…制御部、64…CPU、65…ROM、66…RAM、67…不揮発性メモリ、68…カードI/F、69…カードホルダ、70…カードI/F、71…カードホルダ、72…通信I/F、73…通信I/F、74…USB I/F、75…IEEE1394 I/F、76…多画面表示制御部、77…多画面用フレームレート変換部、77a…入力端子、77b…フレーム入力部、77c…フレームバッファ、77d…入力端子、77e…設定保持部、77f…シーンチェンジ検出部、77g…シーンチェンジ検出結果格納部、77h…補間フレーム生成部、77i…フレーム出力部、77j…出力端子。
Claims (7)
- 表示画面を複数の表示領域に分割し、各表示領域にそれぞれ異なる映像を表示させるように作成された映像フレームが入力される入力手段と、
前記入力手段に入力された時間的に連続する前後の映像フレーム間で、前記表示領域毎にシーンチェンジの有無を検出する検出手段と、
前記検出手段によりシーンチェンジ有りと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後いずれかの映像フレームの対応する表示領域の映像を補間映像とし、前記検出手段によりシーンチェンジ無しと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後の映像フレームの対応する表示領域の映像を演算した映像を補間映像とした補間フレームを生成する生成手段と、
前記入力手段に入力された時間的に連続する前後の映像フレーム間に、前記生成手段で生成された補間フレームを挿入して出力する出力手段とを具備することを特徴とする映像処理装置。 - 前記検出手段は、複数の表示領域が重複している場合、その重複部分に対して、当該重複部分を構成する複数の表示領域のうちのいずれの表示領域に対するシーンチェンジ検出結果を適用するかを設定可能としたことを特徴とする請求項1記載の映像処理装置。
- 前記検出手段は、複数の表示領域が重複している場合、その重複部分に対してシーンチェンジの有無を検出することを特徴とする請求項1記載の映像処理装置。
- 前記検出手段は、複数の表示領域が重複している場合、その重複部分を除いた各表示領域に対してシーンチェンジの有無を検出することを特徴とする請求項1記載の映像処理装置。
- 放送信号を受信する受信手段と、
前記受信手段で受信された放送信号から複数のチャンネルの映像信号を生成する処理手段と、
前記処理手段で生成された複数チャンネルの映像信号を、表示画面を複数の表示領域に分割した各表示領域にそれぞれ表示させた映像フレームを作成する作成手段と、
前記作成手段で作成された時間的に連続する前後の映像フレーム間で、前記表示領域毎にシーンチェンジの有無を検出する検出手段と、
前記検出手段によりシーンチェンジ有りと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後いずれかの映像フレームの対応する表示領域の映像を補間映像とし、前記検出手段によりシーンチェンジ無しと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後の映像フレームの対応する表示領域の映像を演算した映像を補間映像とした補間フレームを生成する生成手段と、
前記作成手段で作成された時間的に連続する前後の映像フレーム間に、前記生成手段で生成された補間フレームを挿入して出力する出力手段と、
前記出力手段から出力された映像フレーム及び補間フレームを表示する表示手段とを具備することを特徴とする放送受信装置。 - 表示画面を複数の表示領域に分割し、各表示領域にそれぞれ異なる映像を表示させるように作成された映像フレームが入力される入力手段と、
前記入力手段に入力された時間的に連続する前後の映像フレーム間で、前記表示領域毎にシーンチェンジの有無を検出する検出手段と、
前記検出手段によりシーンチェンジ有りと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後いずれかの映像フレームの対応する表示領域の映像を補間映像とし、前記検出手段によりシーンチェンジ無しと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後の映像フレームの対応する表示領域の映像を演算した映像を補間映像とした補間フレームを生成する生成手段と、
前記入力手段に入力された時間的に連続する前後の映像フレーム間に、前記生成手段で生成された補間フレームを挿入して出力する出力手段と、
前記出力手段から出力された映像フレーム及び補間フレームを表示する表示手段とを具備することを特徴とする表示パネル。 - 表示画面を複数の表示領域に分割し、各表示領域にそれぞれ異なる映像を表示させるように作成された映像フレームを入力する第1の工程と、
前記第1の工程で入力された時間的に連続する前後の映像フレーム間で、前記表示領域毎にシーンチェンジの有無を検出する第2の工程と、
前記第2の工程でシーンチェンジ有りと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後いずれかの映像フレームの対応する表示領域の映像を補間映像とし、前記第2の工程でシーンチェンジ無しと判断された表示領域に対しては、そのシーンチェンジの検出に供された前後の映像フレームの対応する表示領域の映像を演算した映像を補間映像とした補間フレームを生成する第3の工程と、
前記第1の工程で入力された時間的に連続する前後の映像フレーム間に、前記第3の工程で生成された補間フレームを挿入して出力する第4の工程とを具備することを特徴とする映像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007173472A JP2009016964A (ja) | 2007-06-29 | 2007-06-29 | 映像表示装置及び映像表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007173472A JP2009016964A (ja) | 2007-06-29 | 2007-06-29 | 映像表示装置及び映像表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009016964A true JP2009016964A (ja) | 2009-01-22 |
Family
ID=40357371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007173472A Pending JP2009016964A (ja) | 2007-06-29 | 2007-06-29 | 映像表示装置及び映像表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009016964A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014107819A (ja) * | 2012-11-29 | 2014-06-09 | Eizo Corp | シーンチェンジ判定装置またはその方法 |
-
2007
- 2007-06-29 JP JP2007173472A patent/JP2009016964A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014107819A (ja) * | 2012-11-29 | 2014-06-09 | Eizo Corp | シーンチェンジ判定装置またはその方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007013562A (ja) | 受信装置および受信方法 | |
JP2008067223A (ja) | データ放送コンテンツ再生装置及びデータ放送コンテンツ再生方法 | |
US20100245671A1 (en) | Apparatus and method for processing video signal | |
US20080024664A1 (en) | Video signal processing apparatus and video signal processing method | |
JP2008131195A (ja) | 画像表示装置および画像表示方法 | |
US20060061696A1 (en) | Signal reproduction apparatus and signal reproduction method | |
JP2008252819A (ja) | テレビジョン放送受信装置 | |
JP2008005428A (ja) | 映像信号処理装置および映像信号処理方法 | |
JP2008005429A (ja) | デジタルテレビジョン放送受信装置およびデジタルテレビジョン放送受信方法 | |
JP4388126B1 (ja) | プルダウン信号検出装置及びプルダウン信号検出方法、順次走査変換装置 | |
JP2009016964A (ja) | 映像表示装置及び映像表示方法 | |
JP4496270B1 (ja) | 映像表示装置及び映像表示方法 | |
JP4881463B2 (ja) | 画像出力装置及び画像出力方法 | |
JP2007060117A (ja) | 画像表示装置および画像表示方法 | |
JP2007013561A (ja) | 字幕放送受信装置および字幕放送受信方法 | |
JP2011035450A (ja) | 画像表示装置及び画像表示方法 | |
JP2010008963A (ja) | 画像処理装置及び方法 | |
JP4991826B2 (ja) | 番組表表示装置、番組表表示方法及び放送受信装置 | |
JP2008177935A (ja) | 表示装置 | |
JP2009111863A (ja) | 番組表表示装置、番組表表示方法及び放送受信装置 | |
JP4334519B2 (ja) | 電子番組表出力装置及び電子番組表出力方法 | |
JP4825627B2 (ja) | 放送受信装置および方法 | |
JP2010154272A (ja) | 放送受信装置および放送受信方法 | |
JP2008141349A (ja) | ネットワーク装置およびネットワーク装置の制御方法 | |
US20060197873A1 (en) | Apparatus and method for processing video signal |