JP2012182785A - 映像再生装置および映像再生方法 - Google Patents
映像再生装置および映像再生方法 Download PDFInfo
- Publication number
- JP2012182785A JP2012182785A JP2011266925A JP2011266925A JP2012182785A JP 2012182785 A JP2012182785 A JP 2012182785A JP 2011266925 A JP2011266925 A JP 2011266925A JP 2011266925 A JP2011266925 A JP 2011266925A JP 2012182785 A JP2012182785 A JP 2012182785A
- Authority
- JP
- Japan
- Prior art keywords
- video
- decoded
- output
- encoded
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/4147—PVR [Personal Video Recorder]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format
Abstract
【課題】符号化された立体視用映像の特性に合わせた再生を行うことができる映像再生装置を提供する。
【解決手段】映像再生装置1は、符号化された立体視用映像を復号化し、復号化された立体視用映像、および立体視用映像が符号化される際に用いられ、かつ符号化により発生する圧縮歪みに関連する符号化情報を出力する復号化部202と、復号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかを、圧縮歪みに関連する符号化情報に基づいて決定する品質判定部206と、品質判定部206の決定に従って、復号化された立体視用映像を3次元映像または2次元映像として出力する画面生成部205とを備える。
【選択図】図1
【解決手段】映像再生装置1は、符号化された立体視用映像を復号化し、復号化された立体視用映像、および立体視用映像が符号化される際に用いられ、かつ符号化により発生する圧縮歪みに関連する符号化情報を出力する復号化部202と、復号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかを、圧縮歪みに関連する符号化情報に基づいて決定する品質判定部206と、品質判定部206の決定に従って、復号化された立体視用映像を3次元映像または2次元映像として出力する画面生成部205とを備える。
【選択図】図1
Description
本発明は、光ディスク、磁気ディスクあるいはフラッシュメモリ等の記憶メディア上に記録された圧縮ストリームを復号し、3D映像若しくは、2D映像として出力する映像再生装置および映像再生方法に関する。
一般に、動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動き量を検出し、検出した動きベクトルを考慮した予測(以下、動き補償と称す)を行うことによって予測精度を上げ、符号化効率を向上させている。
画面間予測符号化を行わず、空間的な冗長性の削減を目的とした画面内予測符号化のみを行うピクチャをIピクチャと呼ぶ。また、1枚の参照ピクチャから画面間予測符号化を行うものをPピクチャと呼ぶ。また、最大2枚の参照ピクチャから画面間予測符号化を行うものをBピクチャと呼ぶ。なお、ピクチャとは1枚の画面を表す用語である。
従来、立体視用の映像である3D映像を符号化する方式として、様々な方式が提案されている。ここで、第1視点の映像信号(以下、第1視点映像信号と称す)と、当該第1視点とは異なる第2視点の映像信号(以下、第2視点映像信号と称す)で構成された映像信号を3D映像と称す。第1視点映像信号と第2視点映像信号は、いずれか一方が右目用の映像信号で、もう一方が左目用の映像信号である。また、第1視点の映像信号のみで構成された映像信号を2D映像と称す。
3D映像を符号化する方式の一例としては、第1視点映像信号について、2D映像と同様の方式で符号化し、第2視点映像信号について、同時刻の第1視点映像信号のピクチャを参照ピクチャとして動き補償を行う方式が提案されている。
また、その他の一例としては、第1視点映像信号と第2視点映像信号をそれぞれ水平方向に1/2に縮小し、縮小した映像信号を左右に並べ、2D映像と同様の方式で符号化する方式が提案されている。この場合、符号化ストリームのヘッダ情報に3D映像であるということを示す情報を追加することにより、2D映像の符号化ストリームと、3D映像の符号化ストリームを判別する。
また、例えば特許文献1には、符号化効率および視覚特性の向上を図るために手前の画像(視差大)の量子化値を小さくし、奥の方の画像(視差小)の量子化値を大きくするように各量子化値を計算する符号化装置が記載されている。
ところで、左右の映像間で垂直のずれや、傾きのずれ、あるいは大きさのずれといった、両眼で知覚する情報に大きな差異がある3D映像を視聴すると、認知的な矛盾が生じ、視聴し辛くなることが知られている。また、圧縮符号化により圧縮歪みを伴った3D映像は、ブロックノイズやモスキートノイズなどの符号化歪みの現れ方が左右の映像で異なる。このため、圧縮歪みを伴った3D映像を視聴する場合、認知的な矛盾が生じ、圧縮歪みのない映像を視聴するよりも、眼精疲労や映像酔いが強くなるという課題が発生すると考えられる。
BD(Blu−ray)レコーダやAVCHD(Advanced Video Codec High Definition)ムービーでは、記録レートの異なる複数の記録モードが用意されていることが多い。その場合、記録時間と画質がトレードオフの関係になっている。よって、記録レートの低い記録モードで記録する場合、データ量を抑えるため量子化幅の高くなるシーンが多くなる。このため、3D映像を記録レートの低い記録モードで記録する場合は、記録レートが高い記録モードで記録した場合に比べて、画質が劣化するだけでなく、3D映像として視聴し辛くなるといった課題がある。
本発明はかかる問題を解決するためになされたものであり、符号化された立体視用映像の特性に合わせた再生を行うことができる映像再生装置を提供することを目的とする。
上記の課題を解決するために、本発明における映像再生装置は、符号化された立体視用映像を復号化して出力する映像再生装置であって、前記符号化された立体視用映像を復号化し、復号化された立体視用映像、および前記立体視用映像が符号化される際に用いられ、かつ符号化により発生する圧縮歪みに関連する符号化情報を出力する復号化部と、前記復号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかを、前記圧縮歪みに関連する符号化情報に基づいて決定する品質判定部と、前記品質判定部の決定に従って、前記復号化された立体視用映像を2次元映像または3次元映像として出力する画面生成部とを備える。
ここで、符号化により発生する圧縮歪みとは、符号化される前の立体視用映像と、符号化された立体視用映像を復号化した立体視用映像との差分となる。
このようにすれば、復号化された立体視用映像をそのまま3次元映像(3D映像)として出力するか、2次元映像(2D映像)として出力するかを圧縮歪みに関連する符号化情報に基づいて、決定することが出来る。これにより、符号化された立体視用映像の特性に合わせた再生を行うことができる。例えば、復号化した立体視用映像がそのまま視聴した場合、立体視し辛い映像であったとしても、2D映像に強制的に切り替えて再生することができるため、視聴者の目への負担を少なくすることができる。
また好ましくは、前記圧縮歪みに関連する符号化情報は、前記立体視用映像が符号化される際に用いられた量子化幅、量子化マトリックス、量子化パラメータ、記録モード、および記録レートのうち少なくとも1つである。
また、前記品質判定部は、前記圧縮歪みに関連する符号化情報に基づいて、圧縮歪みが所定より大きいと判定した場合に、前記復号化された立体視用映像を2次元映像として出力すると決定し、圧縮歪みが所定より大きくないと判定した場合に、前記復号化された立体視用映像を3次元映像として出力すると決定する。
このようにすれば、復号化された立体視用映像における圧縮歪みを、より精確に判定することが可能となる。これにより、2D映像に強制的に切り替える場合であっても、より適切に切り替えを実行できる。
また好ましくは、前記映像再生装置は、さらに、復号化済みの立体視用映像に対応する前記圧縮歪みに関連する符号化情報を蓄積する蓄積部を備え、前記品質判定部は、前記蓄積部に蓄積されている前記圧縮歪みに関連する符号化情報から得られる統計情報に基づいて、2次元映像として出力するかまたは3次元映像として出力するかを決定する。
このようにすれば、過去の所定の期間における圧縮歪みに関連する符号化情報に基づいて、復号化された立体視用映像を2D映像で出力するか、3D映像で出力するかを決定することが出来る。これにより、2D映像に強制的に切り替える場合であっても、より適切に切り替えを実行できる。
また好ましくは、前記映像再生装置は、さらに、前記符号化された立体視用映像に対する再生指示を受け付ける受付部を備え、前記品質判定部は、前記再生指示を受け付けた場合、前記復号化された立体視用映像の出力を開始する前に、前記復号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかを、前記圧縮歪みに関連する符号化情報に基づいて決定し、前記画面生成部は、前記品質判定部の決定に従って、前記復号化された立体視用の映像を2次元映像または3次元映像として出力する。
このようにすれば、実際に出力を開始する前に復号化した立体視用映像を2D映像として出力するか、3D映像として出力するかを決定することが出来る。これにより、例えば復号化した立体視用映像の再生中に3D映像から2D映像に、および2D映像から3D映像に切り替えることが発生しないので、視聴者は復号化した立体視用映像を最初から一定した再生モードで視聴することができる。
また好ましくは、前記受付部は、前記符号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかの再生指示を受け付け、前記画面生成部は、前記受付部が前記符号化された立体視用映像を3次元映像として再生する旨を示す再生指示を受け付け、かつ、前記品質判定部が2次元映像として出力すると決定した場合、前記復号化された立体視用映像を出力する前に、当該復号化された立体視用映像を2次元映像として出力する旨を示す信号を出力する。
このようにすれば、復号化した立体視用映像を2D映像に強制的に切り替える場合、視聴者に対して、当該切り替え動作を通知することが出来る。これにより、視聴者は映像再生装置の動作を明確に認識することが出来る。
また好ましくは、前記品質判定部は、前記復号化された立体視用映像に基づいて、シーンチェンジを検出するとともに、シーンチェンジを検出した際に、前記復号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかを、前記圧縮歪みに関連する符号化情報に基づいて決定する。
このようにすれば、同じシーンの中で、3D映像から2D映像に、および2D映像から3D映像に切り替えることがなく、シーンチェンジした際に切り替えることができる。よって、視聴者は復号化した立体視用映像を同じシーン中は同じ再生モードで安定して視聴することができる。
また好ましくは、前記映像再生装置は、さらに、前記符号化された立体視用映像を取得する取得部を備える。
このようにすれば、映像再生装置が、符号化された立体視用映像を有していなくても、符号化された立体視用映像を取得することができる。
なお、本発明は、上記の映像再生装置として実現することができるだけでなく、映像再生装置の特徴を含む映像再生方法としても実現することが出来る。また、映像再生方法が含むステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、コンピュータ読み取り可能なCD−ROMなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
本発明の映像再生装置によれば、圧縮ストリームを、符号化して記録した時の条件に基づいて再生するため、圧縮ストリームの特性に合わせた再生を行うことが出来る。
<レコーダ装置>
以下、本発明の実施の形態について図面を参照しながら説明する。
以下、本発明の実施の形態について図面を参照しながら説明する。
図1は、本発明の実施の形態に係る映像再生装置であるレコーダ装置1の全体構成を示すブロック図である。図1に示すように、レコーダ装置1は、ディスプレイ2、BDディスク3、HDD装置4、SDカード5及び、アンテナ6と接続される。レコーダ装置1には、BDディスク3、HDD装置4、SDカード5及び、アンテナ6から出力される映像信号を入力される。そして、レコーダ装置1は、この映像信号を処理し、ディスプレイ2に実際の映像として表示する。
また、レコーダ装置1は、リモコン装置7から出力される使用者の操作信号を受信する。
ディスプレイ2は、レコーダ装置1から出力される表示信号を表示画面として表示する。ディスプレイ2は、例えば、液晶ディスプレイで実現することが可能である。なお、ディスプレイ2は、3D映像信号を表示可能な表示デバイスが好ましい。なお、ディスプレイ2は、液晶ディスプレイに限定されるものではなく、例えばPDP等でも実現することが出来る。
HDD装置4は、映像信号を蓄積する記録装置である。HDD装置4は、例えば、外付けハードディスク装置で実現できる。
SDカード5は、映像信号を蓄積する記録媒体である。SDカード5は、例えば、SDカード、メモリカード等の半導体記録素子で実現することが出来る。
アンテナ6は、外部から送信される映像信号の受信を行う。
リモコン装置7は、使用者からの操作を受け付ける操作デバイスである。リモコン装置7は、複数の押圧操作可能なボタンを有する。このボタンを操作されることにより、リモコン装置7は操作信号を生成する。リモコン装置7は、生成した操作信号を、無線を介してレコーダ装置1に送信する。これによって、レコーダ装置1は、使用者の操作を検知できる。
<レコーダ装置の具体的構成>
以下、レコーダ装置1の具体的な構成について図面を参照しながら説明する。
以下、レコーダ装置1の具体的な構成について図面を参照しながら説明する。
具体的に、レコーダ装置1は、図1に示すようにドライブ装置101と、入出力IF部102と、チューナ103と、信号処理部104と、受信部105と、バッファメモリ106と、フラッシュメモリ107を備える。
ドライブ装置101は、ディスクトレイを備え、このディスクトレイによって収納されたBDディスク3から映像信号を読み出すものである。また、信号処理部104から映像信号が入力される場合、ディスクトレイに収納されるBDディスク3にこの映像信号の書込みを行なう。
入出力IF部102は、HDD装置4及び、SDカード5との接続を可能にするインターフェースである。入出力IF部102は、信号処理部104との間で、コントロール信号や映像信号のやり取りを可能にしている。入出力IF部102は、HDD装置4若しくは、SDカード5から入力した入力ストリームを、信号処理部104に送信する。また、入出力IF部102は、信号処理部104から入力した符号化ストリーム若しくは、非圧縮の映像ストリームを、HDD装置4若しくは、SDカード5に送信する。例えば、入出力IF部102は、HDMIコネクタ、SDカードスロット、USBコネクタ等で実現できる。
チューナ103は、アンテナ6で受信した放送波を受信する。チューナ103は、信号処理部104によって指定された特定の周波数の映像信号を信号処理部104に送信する。これによって、信号処理部104は、放送波に含まれる特定の周波数の映像信号を処理し、ディスプレイ2で表示させることができる。
なお、本実施の形態におけるドライブ装置101、入出力IF部102およびチューナ103は、少なくとも立体視用の映像を取得できる。ドライブ装置101、入出力IF部102およびチューナ103は、取得した立体視用の映像は信号処理部104に出力する。以下、信号処理部104に出力する信号を入力ストリームと称す。この入力ストリームは、上記の立体視用の映像または2D映像となる。
ここで、立体視用の映像とはディスプレイ2において立体視聴する際に用いられる2枚の対に成る映像を示す。例えば、立体視用の映像は第1視点映像信号と第2視点映像信号とから構成される映像であっても構わない。この立体視用の映像は、MVC(Multi View Coding)に基づいて符号化されたストリームであっても構わない。また、第1視点映像信号と第2視点映像信号とがサイドバイサイド方式またはトップアンドボトム方式で配置される映像であっても構わない。
信号処理部104は、レコーダ装置1の各部を制御する。さらに、信号処理部104は、入出力IF部102、ドライブ装置101および、チューナ103から出力される映像信号の復号化及び、符号化を行う。信号処理部104は、例えば、H.264/AVCや、MPEG2などの符号化規格を用いて圧縮符号化された入力ストリームを復号し、再生する。また、信号処理部104は、例えば、次世代画像符号化標準規格であるHEVC(High Efficiency Video Coding)規格や、H.264/AVCや、MPEG2などの符号化規格を用いて入力ストリームを符号化し、記録する。なお、信号処理部104は上記の圧縮形式に限定されるものではなく、他の圧縮形式を利用しても構わない。
また、信号処理部104は、入力ストリームを2D映像(2次元映像)として再生する再生モード(以下、2次元モードと称す)と、入力ストリームを3D映像(3次元映像)として再生する再生モード(以下、3次元モードと称す)と、を設定する。
信号処理部104は、この2次元モードと、3次元モードを、リモコン装置7からの操作信号に基づいて設定する構成でも構わない。また、信号処理部104は、入力ストリームの復号した際に得られるヘッダ情報や、番組情報といった入力ストリームのメタ情報から設定する構成でも構わない。
さらに、信号処理部104は、入力ストリームをBDディスク3、HDD装置4若しくは、SDカード5に記録する際の記録モードを制御する。記録モードとは、入力ストリームを符号化ストリームに変換する際の目標とする記録レートである。例えば、記録モードは、入力ストリームを符号化せずに直接記録する記録モードや、記録レートが8Mbpsとなるように記録する記録モード等がある。信号処理部104は、選択可能な複数の記録モードを備える。例えば、信号処理部104は、選択可能な記録モードが16Mbps、8Mbps、3Mbps及び、1Mbpsであるように構成することができる。
さらに、信号処理部104は、入力ストリームに各種の映像処理を施し、ディスプレイ2で表示可能な表示信号をディスプレイ2に出力する。また、信号処理部104は、レコーダ装置1の操作画面を生成し、ディスプレイ2に出力する。
信号処理部104は、マイクロコンピュータで構成してもよいし、ハードワイヤードな回路で構成してもよい。
受信部105は、リモコン装置7からの操作信号を受信して、信号処理部104に送信するものである。受信部105は、例えば、赤外線センサで実現可能である。
バッファメモリ106は、信号処理部104で信号処理を施す際のワークメモリとして用いられる。バッファメモリ106は、例えば、DRAMで実現可能である。
フラッシュメモリ107は、信号処理部104が実行するプログラム等を記憶したものである。
<信号処理部104>
次に、信号処理部104の具体的な構成について図面を参照しながら説明する。
次に、信号処理部104の具体的な構成について図面を参照しながら説明する。
図2は、本実施の形態に係る信号処理部104の機能ブロック図である。
図2に示すように、信号処理部104は、3D映像判定部201と、復号部202と、符号化部203と、制御部204と、画面生成部205と、品質判定部206を備える。
3D映像判定部201は、入力ストリームが3D映像であるか2D映像であるかを判定する。3D映像判定部201は、判定結果を制御部204に通知する。3D映像判定部201における具体的に判定方法ついては、後述する。
復号部202は、制御部204の制御情報に基づいて入力ストリームを復号して復号映像と、圧縮歪みに関連する符号化情報を出力する。ここで、圧縮歪みに関連する符号化情報とは、入力ストリームを復号する際に得られる少なくとも当該入力ストリームの符号化時に適用した量子化幅、量子化マトリックス、量子化パラメータ(QP値)などを含むヘッダ情報や、記録モード、データ量、録画時間などの情報である。なお、入力ストリームが、H.264/AVC符号化規格を用いて圧縮符号化されている場合、量子化パラメータおよび量子化マトリクスから量子化幅が算出される。
復号部202は、復号して得られる符号化情報を3D映像判定部201及び、品質判定部206に出力する。
符号化部203は、制御部204の制御情報に基づいて復号部202が出力した復号映像を圧縮符号化する。例えば、符号化部203は、制御部204から2次元モードを示す制御情報が通知された場合、入力ストリームを2D映像として符号化を行う。また、符号化部203は、制御部204から3次元モードを示す制御情報が通知された場合、入力ストリームを3D映像として符号化を行う。この場合、符号化部203は、制御部204から通知される記録モードで符号化を行う。そして、符号化部203は、得られた符号化ストリームをHDD装置4、BDディスク3、SDカード5のいずれかに記録する。なお、符号化ストリームをHDD装置4、BDディスク3、SDカード5のいずれに記録するかについては、リモコン装置7を介してユーザが選択することができる。また、符号化部203は、復号映像を符号化せずに記録する録画条件を受けとった場合、当該復号映像をそのままHDD装置4、BDディスク3若しくは、SDカード5に記録する。なお、符号化ストリームを記録する際に、符号化ストリームの、記録モード、データ量、再生時間、番組情報、などの管理情報も同時に記録される。なお、図2は、符号化部203がドライブ装置101に符号化ストリームを出力する構成を開示している。
制御部204は、信号処理部104全体の動作を制御する。制御部204は、3D映像判定部201からの通知を基に、2次元モード若しくは、3次元モードを設定する。例えば、制御部204は、3D映像判定部201から入力ストリームが2D映像である通知を受けた場合、2次元モードを設定する。また、制御部204は、3D映像判定部201から入力ストリームが3D映像である通知を受けた場合、3次元モードを設定する。制御部204は、2次元モード若しくは、3次元モードを設定した場合、設定したモードを示す制御情報を符号化部203及び、画面生成部205に通知する。さらに、制御部204は、受信部105からユーザによって特定された記録モードの通知を受けた場合、この通知を符号化部203に出力する。
画面生成部205は、品質判定部206の決定に従って、入力ストリームを3次元映像または2次元映像として出力する。具体的には、画面生成部205は、制御部204の制御情報および品質判定部206が出力する制御情報に基づいてディスプレイ2に表示する画面を生成する。例えば、画面生成部205は、制御部204から2次元モードを示す制御情報が通知され、品質判定部206から制御部204の再生モードに従って再生する制御情報が通知された場合、2次元の画面を生成して出力する。また、画面生成部205は、制御部204から3次元モードを示す制御情報が通知され、かつ品質判定部206から制御部204からの再生モードに関係なく強制的に2D映像を出力することを示す制御信号が通知される場合、2次元の画面を出力する。つまり、使用者等からは入力ストリームを3次元映像として出力するように指示されているが、品質判定部206からの制御信号を優先し、強制的に再生する際のモードを切り替える。
品質判定部206は、入力ストリームを2次元映像として出力するかまたは3次元映像として出力するかを、圧縮歪みに関連する符号化情報に基づいて決定する。具体的には、品質判定部206は、復号部202が出力する圧縮歪みに関連する符号化情報に基づいて、画面生成部205が制御部204からの制御信号に基づいて復号映像を再生するか、強制的に2D映像として復号映像を再生するかを既定する制御信号を生成する。そして、品質判定部206は、生成した制御信号を画面生成部205に出力する。
言い換えると、品質判定部206は、圧縮歪みに関連する符号化情報に基づいて復号部202が出力する復号映像が3D映像として立体視し易い映像か否かを判断する。復号映像が3D映像として立体視しやすい場合、品質判定部206は、制御部204からの制御信号に基づいて復号映像を再生することを示す制御情報を画面生成部205に出力する。一方、復号映像が3D映像として立体視し辛い場合、品質判定部206は、強制的に2D映像として復号映像を再生することを示す制御情報を画面生成部205に出力する。品質判定部206は、品質判定部206の具体的な動作については後述する。
上記の制御情報は、フラグ情報であっても構わない。また、この制御情報は特別に用意されたコマンド情報であっても構わない。要するに、画面生成部205が制御部204からの制御信号に基づいて復号映像を再生するか、強制的に2D映像として復号映像を再生するかを判別できる情報であれば、どのようなものを利用しても構わない。
<動作フロー>
次に、信号処理部104が行う入力ストリームの再生動作について図面を参照しながら説明する。なお、説明の便宜上、信号処理部104には、H.264/AVC符号化規格を用いて圧縮符号化された入力ストリームが入力されるとする。
次に、信号処理部104が行う入力ストリームの再生動作について図面を参照しながら説明する。なお、説明の便宜上、信号処理部104には、H.264/AVC符号化規格を用いて圧縮符号化された入力ストリームが入力されるとする。
図3は、本実施の形態に係る信号処理部104が、再生を行う場合に実行する処理の一例を示すフローチャートである。なお、ステップS301、ステップS304、はユーザがリモコン装置7を操作して実施する処理ステップであり、ステップS302、ステップS303、ステップS305、ステップS306、ステップS307、ステップS308、ステップS309、ステップS310はレコーダ装置1が実施する処理ステップである。
<再生動作フロー>
リモコン装置7は、ユーザの操作を受け付け、録画記録した番組の再生リストを表示する命令(以下、再生リスト表示命令と称す)を受信部105へ送信する(S301)。このとき、リモコン装置7は、ユーザによって、「再生リスト」ボタンが押圧操作される。
リモコン装置7は、ユーザの操作を受け付け、録画記録した番組の再生リストを表示する命令(以下、再生リスト表示命令と称す)を受信部105へ送信する(S301)。このとき、リモコン装置7は、ユーザによって、「再生リスト」ボタンが押圧操作される。
次に、画面生成部205は、リモコン装置7からの再生リスト表示命令を受信部105及び、制御部204を経由して受信する(S302)。
そして、画面生成部205は、受信した再生リスト表示命令に従って、再生リストの画面の生成する(S303)。このとき、ディスプレイ2には、例えば、図4のような再生リスト表が表示される。
次に、画面生成部205で生成される画面を表示したディスプレイ2を見ながら、ユーザは録画記録された番組のうち、どれを再生するかを決定する。ユーザはリモコン装置7を操作し、画面に表示されるカーソルを用いて再生する番組を指定する。このとき、ユーザは、リモコン装置7の決定ボタンを押圧操作する。リモコン装置7は、決定ボタンが押圧操作されると、選択命令を受信部105へ送信する(S304)。
復号部202と、画面生成部205は、受信部105及び、制御部204を経由して選択命令を受信する(S305)。
次に、復号部202は、制御部204から選択命令を受信し、入力ストリームを順次、圧縮復号し、生成した復号映像を画面生成部205へ、符号化情報を3D映像判定部201及び、品質判定部206へ出力する(S306)。なお、本実施の形態において、復号部202は、入力ストリームを一度全て圧縮復号するのではなく、ディスプレイ2に画面を出力するために必要な復号映像を生成し、次のS307に移行する。
次に、3D映像判定部201は、復号部202から受信した、入力ストリームのヘッダ情報を解析し、復号映像が3D映像であるか、2D映像であるかを判断する(S307)。
次に、品質判定部206は、復号部202が出力した符号化情報を解析し、復号映像を立体視し易い3D映像として視聴できるかどうかを判断する(S308)。復号映像を立体視し易い3D映像として視聴できると判断した場合、補正フラグをオフにして、画面生成部205に出力する。復号映像を立体視し易い3D映像として視聴できないと判断した場合、補正フラグをオンにして、画面生成部205に出力する。ステップS308の詳細については後述する。
次に、画面生成部205は、制御部204から得た情報と、品質判定部206から得た補正フラグに基づいて、出力画面を生成する(S309)。ステップS309の詳細については後述する。
次に、制御部204は、入力ストリームが全て復号されたかどうかを判断する(S310)。入力ストリームが全て復号された場合(ステップS310においてYes)、制御部204は再生動作を終了する。入力ストリームが全て復号されていない場合(ステップS310においてNo)、ステップ306へ移行する。
<品質判定部206の動作>
次に、ステップS308が実行する詳細な処理の一例について図面を参照しながら説明する。
次に、ステップS308が実行する詳細な処理の一例について図面を参照しながら説明する。
図5は、品質判定部206において、復号映像を立体視し易い3D映像として視聴できるかどうかを判断する処理の一例を示すフローチャートである。
まず、品質判定部206は、符号化情報を解析し、復号映像が3D映像であり、かつ、所定の条件を満たすかどうかを判断する(S401)。
この判断の結果、復号映像が3D映像であり、かつ、所定の条件を満たすと判断された場合(ステップS401においてYes)、品質判定部206は、補正フラグをオンにして画面生成部205に出力する(S402)。
一方、復号映像が3D映像であり、かつ、所定の条件を満たすと判断されなかった場合(ステップS401においてNo)、品質判定部206は、補正フラグをオフにして画面生成部205に出力する(S403)。
ここで、3D映像であるか、2D映像であるかどうかの判断は、入力ストリームのヘッダ情報を解析することで判断する。
また、所定の条件とは、例えば、入力ストリームが符号化されたときの量子化幅を用いる。具体的には、量子化幅が予め定めた第1の閾値以上であるかどうかを所定の条件とする。つまり、量子化幅が第1の閾値以上である場合、当該量子化幅を用いて符号化された映像は量子化歪みが多数発生すると判断する。
なお、量子化幅は、例えば、復号対象となっているフレームの量子化幅を用いる。また、例えば、直前に復号されたIピクチャの量子化幅を保持しておき、当該量子化幅から判断するなどしてもよい。また、既に復号した少なくとも一つ以上のフレームの量子化幅の統計処理を行うことによって求めてもよい。統計処理とは、例えば、平均値、ヒストグラムなどを用いる方法がある。さらに、Iピクチャ、Pピクチャ、Bピクチャといったピクチャタイプごとに別々に統計処理を行うことによって求めてもよい。さらに、以上のような方法で求めた値を保持しておき、数秒間隔で量子化幅を更新するなどしてもよい。また、フレーム単位で量子化幅が第1の閾値以上であるか否かを判定した上で、その状態が所定時間以上連続した場合に、所定の条件を満たすとしても構わない。なお、上述したように、入力ストリームが、H.264/AVC符号化規格を用いて圧縮符号化されている場合、量子化パラメータ(QP値)および量子化マトリクスから量子化幅が算出される。よって、所定の条件として、量子化パラメータまたは量子化マトリクスを用いても構わない。
また、所定の条件として、復号対象となっているフレームの量子化幅を用いているが、これは、例えば3D映像の左右どちらか一方の映像のフレームの量子化幅を用いてもよいし、両方の映像のフレームの量子化幅を用いてもよい。
また、所定の条件として、例えば、入力ストリームの記録レートを用いてもよい。具体的には、入力ストリームの記録レートが予め定めた第2の閾値以下であるかどうかを所定の条件とする。ここで、記録レートとは入力ストリームの平均ビットレートであり、入力ストリームのデータ量と録画時間から求めることができる。また、記録モードから、記録レートを判断してもよい。
また、入力ストリームがリアルタイムエンコードで入力される場合、所定の条件として、復号用のバッファであるデコードピクチャバッファ(DPB)の残量を用いることもできる。このデコードピクチャバッファの容量は符号化時に決定され、デコードピクチャバッファがオーバーフローしないように符号化される。このため、デコードピクチャバッファの残量が少なくなると、例えば量子化幅を大きくするなどしてデータ量を抑えられる可能性があり、量子化歪みが多数発生すると判断することができる。よって、具体的には、デコードピクチャバッファの残量が予め定めた第3の閾値以下であるかどうかを所定の条件とする。
また、所定の条件として、ネットワークの帯域幅を用いることもできる。ネットワークの帯域幅が狭くなると、データ量を抑えられる可能性があり、量子化歪みが多数発生すると判断することができる。よって、具体的には、ネットワークの帯域幅が予め定めた第4の閾値以下であるかどうかを所定の条件とする。
<画面生成部205の動作>
次に、画面生成部205動作について図面を参照しながら説明する。
次に、画面生成部205動作について図面を参照しながら説明する。
画面生成部205は、品質判定部206が出力する補正フラグがオフの場合、制御部204が出力する制御信号に基づいて、復号部202から出力された復号映像を出力する。
画面生成部205は、補正フラグがオンの場合、3D映像を構成する第1視点映像信号のデータで第2視点映像信号を置き換える。このように動作させることにより、第1視点映像信号と第2視点映像信号が同じ映像となる。このため、3次元モードではあるが、2D映像としてユーザに視覚される映像が出力される。この時、ディスプレイ2へ出力される映像信号は、3次元モードであるため、出力映像を表示する表示ディスプレイは、常に3D映像の信号が入力されたものと判断して表示動作を行う。
なお、画面生成部205は、補正フラグがオンの場合、3次元モードから2次元モードに切り替えて出力してもよい。
さらには、画面生成部205は、補正フラグがオンの場合、例えば図6に示すように、2D映像として表示している旨を伝えるメッセージを復号映像に付加して出力してもよい。
また、画面生成部205は、補正フラグがオンの場合、例えば図7に示すように、3D映像として表示するが、2次元モードでの表示を推奨する旨を伝えるメッセージを復号映像に付加して出力してもよい。
さらには、画面生成部205は、補正フラグがオンの場合、3D映像としての再生を一時停止させた上で、例えば図8に示す「2次元モードでの表示を推奨します。再生を続ける場合は再生ボタンを押してください。」というようなメッセージを復号映像に付加して出力してもよい。この場合、再生ボタンを押すことで、3D映像の再生を再開することができる。
さらには、画面生成部205は、補正フラグがオンの場合、3D映像としての再生を停止してもよい。
以上のように、本実施の形態における映像再生装置は、入力ストリームを復号する際に得られるヘッダ情報や、記録モード、データ量、録画時間などの符号化情報から、復号映像を立体視し易い3D映像として視聴できるかどうかを判断する。そして、安全に視聴できないと判断した場合、復号映像を2D映像に見えるように補正する。もしくは、2D映像としての表示を推奨するメッセージを画面に表示する。このため、圧縮歪みを伴う3D映像を視聴したときの眼精疲労や映像酔いを抑制することができる。
<本実施の形態の変形例>
本変形例では、復号映像を再生する前に、入力ストリームの符号化情報を取得し、当該符号化情報から、復号映像を立体視し易い3D映像として視聴できるかどうかを判断している。以下、本変形例におけるレコーダ装置1について図面を参照しながら説明する。
本変形例では、復号映像を再生する前に、入力ストリームの符号化情報を取得し、当該符号化情報から、復号映像を立体視し易い3D映像として視聴できるかどうかを判断している。以下、本変形例におけるレコーダ装置1について図面を参照しながら説明する。
本変形例のレコーダ装置1の構成は、本実施の形態と同様であるため、ここでの詳細な説明は省略する。
次に、信号処理部104が行う入力ストリームの再生動作について図面を参照しながら説明する。
図9は、本変形例に係る信号処理部104が、再生を行う場合に実行する処理の一例を示すフローチャートである。
なお、ステップS301、ステップS302、ステップS303、ステップS304、ステップS305、ステップS306、ステップS307、ステップS309、ステップS310の動作は、本実施形態と同様であるため、同じ番号を付与し、ここでの詳細な説明は省略する。
まず、ステップS301、ステップS302、ステップS303、ステップS304、ステップS305の各処理が実行される。
次に、復号部202は、制御部204から選択命令を受信し、入力ストリームを解析し、符号化情報を出力し、3D映像判定部201及び、品質判定部206へ出力する(S901)。なお、ここでは復号映像は出力されない。すなわち、映像に先立って、符号化情報だけを取り出して出力する。このとき、入力ストリームを全て解析してもよいし、最初数分のデータのみを解析してもよい。さらには、例えば、Iピクチャの符号化情報のみを取得してもよい。これにより、例えば1つの番組単位で、その番組の映像の再生を開始する前に、その番組全体が立体視し易い3D映像として視聴できるかどうかを判断することができる。
次に、品質判定部206は、復号部202が出力した符号化情報を解析し、入力ストリームを立体視し易い3D映像として視聴できるかどうかを判断する(S902)。入力ストリームを立体視し易い3D映像として視聴できると判断した場合、補正フラグをオフにして、画面生成部205に出力する。入力ストリームを立体視し易い3D映像として視聴できないと判断した場合、補正フラグをオンにして、画面生成部205に出力する。ステップS902の詳細については後述する。
次に、画面生成部205は、制御部204から得た情報と、品質判定部206から得た補正フラグに基づいて、出力画面を生成する(S903)。ステップS903の詳細については後述する。
次に、ステップS306、ステップS307、ステップS309、ステップS310の各処理が実行される。
次に、ステップS902が実行する詳細な処理の一例について図面を参照しながら説明する。
図10は、品質判定部206において、復号映像を立体視し易い3D映像として視聴できるかどうかを判断する処理の一例を示すフローチャートである。
なお、ステップS402、ステップS403の動作は、本実施の形態と同様であるため、同じ番号を付与し、ここでの詳細な説明は省略する。
まず、品質判定部206は、符号化情報を解析し、入力ストリームが3D映像であり、かつ、所定の条件を満たすかどうかを判断する(S501)。
次に、ステップS402、ステップS403の各処理が実行される。
ここで、3D映像であるか、2D映像であるかどうかの判断は、入力ストリームのヘッダ情報を解析することで判断する。例えば、入力ストリームが、3D映像であるフレームを1つでも含むと判断した場合、3D映像であると判断する。なお、3D映像であるフレームを計数し、全フレーム数に占める割合が所定の閾値以上である場合、3D映像であると判断してもよい。
また、所定の条件とは、例えば、入力ストリームが符号化されたときの量子化幅を用いる。具体的には、量子化幅が予め定めた第1の閾値以上であるフレームが含まれるかどうかを所定の条件とする。なお、例えば、全フレームの量子化幅の平均値が、予め定めた第1の閾値以上であるかどうかを所定の条件としてもよい。また、例えば、Iピクチャの量子化幅の平均値から判断するなどしてもよい。
また、所定の条件として、例えば、入力ストリームの記録レートを用いてもよい。具体的には、入力ストリームの記録レートが予め定めた第2の閾値以下であるかどうかを所定の条件とする。ここで、記録レートとは入力ストリームの平均ビットレートであり、入力ストリームのデータ量と録画時間から求めることができる。また、記録モードから、記録レートを判断してもよい。
次に、画面生成部205動作について図面を参照しながら説明する。
画面生成部205は、補正フラグがオフの場合、画面を生成せずに、ステップS306に移行する。
画面生成部205は、補正フラグがオンの場合、例えば、図11に示すように、2次元モードでの表示を推奨する旨を伝えるメッセージを復号映像に付加して出力する。この場合、決定ボタンを押すことで、3D映像の再生が始まる。なお、当該メッセージを受けて、2次元モードでの表示を行う場合は、リモコン装置7を操作して、レコーダ装置1の設定を2次元モードに変更することにより、2D映像として再生することができる。
また、画面生成部205は、補正フラグがオンの場合、3D映像としての再生を停止してもよい。
以上のように、本変形例における映像再生装置は、復号映像を再生する前に、入力ストリームの符号化情報を取得し、当該符号化情報から、復号映像を立体視し易い3D映像として視聴できるかどうかを判断する。すなわち、例えば1つの番組単位で、その番組の映像の再生を開始する前に、その番組全体が立体視し易い3D映像として視聴できるかどうかを判断している。そして、安全に視聴できないと判断した場合、2D映像としての表示を推奨するメッセージを画面に表示する。このため、圧縮歪みを伴う3D映像を視聴したときの眼精疲労や映像酔いを抑制することができる。また、復号映像の再生を開始する前に、1度判定を行うだけでよいので、装置の負荷を軽減することができる。
なお、本変形例においては、再生する直前に入力ストリームの符号化情報を取得したが、例えば、スタンバイ状態など、ユーザがレコーダ装置1を使用していない時に、記録・保存されたストリームを解析して、補正フラグを算出する構成としてもよい。
<まとめ>
上記のように、本実施の形態におけるレコーダ装置1は、符号化された立体視用映像を復号化して出力するレコーダ装置1であって、取得した立体視用映像を復号化し、復号化された立体視用映像、および前記立体視用映像が符号化される際に用いられ、かつ圧縮歪みに関連する符号化情報を出力する復号部202と、復号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかを、圧縮歪みに関連する符号化情報に基づいて決定する品質判定部206と、復号化された立体視用映像を3次元映像または2次元映像として出力する画面生成部205と、を備える。
上記のように、本実施の形態におけるレコーダ装置1は、符号化された立体視用映像を復号化して出力するレコーダ装置1であって、取得した立体視用映像を復号化し、復号化された立体視用映像、および前記立体視用映像が符号化される際に用いられ、かつ圧縮歪みに関連する符号化情報を出力する復号部202と、復号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかを、圧縮歪みに関連する符号化情報に基づいて決定する品質判定部206と、復号化された立体視用映像を3次元映像または2次元映像として出力する画面生成部205と、を備える。
このようにすれば、復号化された立体視用映像をそのまま3D映像として出力するか、2D映像として出力するかを、圧縮歪みに関連する符号化情報に基づいて、決定することが出来る。これにより、符号化された立体視用映像の特性に合わせた再生を行うことができる。例えば、復号化した立体視用の映像がそのまま視聴した場合、立体視し辛い映像であったとしても、2D映像に強制的に切り替えて再生することができるため、視聴者の目に負担の少ないレコーダ装置1を提供できる。
また、圧縮歪みに関連する符号化情報は、立体視用映像が符号化される際に用いられた量子化幅、量子化マトリックス、量子化パラメータ、記録モード、および記録レートのうち少なくとも1つであることが好ましい。
また、品質判定部206は、圧縮歪みに関連する符号化情報に基づいて、圧縮歪みが所定より大きいと判定した場合に、復号化された立体視用映像を2次元映像として出力すると決定し、圧縮歪みが所定より大きくないと判定した場合に、復号化された立体視用映像を3次元映像として出力すると決定することが好ましい。
このようにすれば、復号化された立体視用映像における圧縮歪みを、より精確に判定することが可能となる。これにより、2D映像に強制的に切り替える場合であっても、より適切に切り替えを実行できる。
また好ましくは、品質判定部206はさらに、復号化済みの立体視用映像に対応する圧縮歪みに関連する符号化情報を蓄積し、品質判定部206は、蓄積している圧縮歪みに関連する符号化情報から得られる統計情報に基づいて、2次元映像として出力するかまたは3次元映像として出力するかを決定する。
このようにすれば、過去の所定の期間における複数の圧縮歪みに関連する符号化情報に基づいて、復号化された立体視用映像を2D映像で出力するか、3D映像で出力するかを決定することが出来る。これにより、2D映像に強制的に切り替える場合であっても、より適切に切り替えを実行できる。
また好ましくは、レコーダ装置1は、符号化された立体視用映像に対する再生指示を受け付ける受付部である受信部105をさらに備え、品質判定部206は、再生指示を受け付けた場合、復号化された立体視用映像の出力を開始する前に、復号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかを、圧縮歪みに関連する符号化情報に基づいて決定し、画面生成部205は、品質判定部206の決定に従って、復号化された立体視用の映像を3次元映像または2次元映像として出力する。
このようにすれば、実際に出力を開始する前に復号化した立体視用映像を2D映像として出力するか、3D映像として出力するかを決定設定することが出来る。これにより、例えば復号化した立体視用の映像の再生中に3D映像から2D映像に、および2D映像から3D映像に切り替えることが発生しないので、視聴者は復号化した立体視用の映像を最初から一定した再生モードで視聴することができる。
また好ましくは、受付部である受信部105は、符号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかの再生指示を受け付け、画面生成部206は、受信部105が符号化された立体視用映像を3次元映像として再生する旨を示す再生指示を受け付け、かつ、品質判定部206が2次元映像として出力すると決定した場合、復号化された立体視用映像を出力する前に、当該復号化された立体視用映像を2次元映像として出力する旨を示す信号を出力する。
このようにすれば、復号化した立体視用の映像を2D映像に強制的に切り替える場合、視聴者に対して、当該切り替え動作を通知することが出来る。これにより、視聴者はレコーダ装置1の動作を明確に認識することが出来る。
また好ましくは、品質判定部206は、復号化された立体視用映像に基づいて、シーンチェンジを検出するとともに、シーンチェンジを検出した際に、復号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかを、圧縮歪みに関連する符号化情報に基づいて決定する。
このようにすれば、同じシーンの中で、3D映像から2D映像に、および2D映像から3D映像に切り替えることがなく、シーンチェンジした際に切り替えることができる。よって、視聴者は復号化した立体視用映像を同じシーン中は同じ再生モードで安定して視聴することができる。
また好ましくは、レコーダ装置1は、符号化された立体視用映像を取得するドライブ装置101、入出力IF部102、またはチューナ103等を備える。
なお、本発明は上記のレコーダ装置1の特徴を含む映像再生方法としても実現することが出来る。
<その他の実施の形態>
以上、本実施の形態について説明したが、本発明はこれに限定されるものではない。
以上、本実施の形態について説明したが、本発明はこれに限定されるものではない。
例えば、本実施の形態においては、入力ストリームを復号した時に得られる、入力ストリームのヘッダ情報などの符号化情報から、3次元モードであるか、2次元モードの設定をした。ここで、入力ストリームの番組情報を解析し、録画予約を行う番組が3D映像の番組であるか、2D映像の番組であるかを判断してもよい。なお、番組情報には、入力ストリームが3D映像の番組である情報、若しくは、2D映像の番組である情報が含まれている。これらの情報は、番組ごとに付加されるメタ情報である。番組情報としては、例えばEPG(Electronic Program Guide)などがある。
また、本実施の形態においては、入力ストリームの符号化情報のうち、量子化幅を用いて、補正フラグを算出したが、その他の方法も考えられる。例えば、デブロックフィルタの強度設定情報や、面内予測したブロック数と面間予測したブロック数の比率、さらには動きベクトルの統計情報などを用いて判断してもよい。さらには、これらの符号化情報を組み合わせて判断してもよい。
また、本実施の形態においては、品質判定部206は、フレーム(ピクチャ)単位で、符号化情報を解析し、復号映像が3D映像であり、かつ、所定の条件を満たすかどうかを判断しているが、これに限られるものではない。例えば、品質判定部206は、復号映像のシーンチェンジを検出し、シーンチェンジを検出した際に、復号映像が3D映像であり、かつ、所定の条件を満たすかどうかを判断しても構わない。
また、本実施の形態においては、品質判定部206において補正フラグが切り替えられた場合、画面生成部205は直ちに復号映像を3D映像から2D映像に切り替えて出力しているが、切り替えるまでに遅延時間を設けてもよい。例えば、画面生成部205において復号映像のシーンチェンジを検出し、補正フラグがオフからオンに切り替わった後に、シーンチェンジが検出されたタイミングで、3D映像から2D映像に切り替えて出力してもよい。また、画面生成部205は、補正フラグがオンからオフに切り替わった後に、シーンチェンジが検出されたタイミングで、2D映像から3D映像に切り替えて出力してもよい。シーンチェンジを検出する方法としては、例えば、対象フレームと直前のフレームのSADが閾値以上であるかどうかによって判定する方法がよく用いられる。
また、本実施の形態においては、3D映像の左右どちらか一方の映像信号を2D映像として出力しているが、左右両方の映像信号から2D映像を信号処理によって生成してもよい。例えば、視差検出技術を用いて、3D映像の距離画像を生成し、生成した距離画像に基づいて、左右両視点の中間視点における映像信号を生成してもよい。
また、3D映像から2D映像への切り替え時に、いきなり切り替えるのではなく、例えば所定の時間をかけて3D映像を徐々に弱くして2D映像へ切り替えも構わない。2D映像から3D映像への切り替え時についても同様に、所定の時間をかけて2D映像から3D映像を徐々に強くして3D映像へ切り替えも構わない。これは、フィルタ等を用いて実現することができる。
また、本発明は、本実施の形態における映像再生装置として提供できるばかりでなく、映像信号符号化装置として構成することもできる。この場合、3D映像を圧縮符号化する符号化部において決定される量子化幅、または符号化ストリームを送信するネットワークの帯域幅に応じて、3D映像として符号化するか、2D映像として符号化するかを判断する。2D映像として符号化する具体的な方法は、例えば、第1視点映像信号のみを符号化するという方法がある。また、3D映像を第1視点映像信号のデータで第2視点映像信号を置き換えて符号化してもよい。
また、本実施の形態においては、入力ストリームの量子化幅などから、補正フラグを算出したが、3D映像記録装置と組み合わせることにより、その他の方法を実施することもできる。例えば、3D映像再生装置において2D映像として出力するかどうかの判定を、3D映像記録装置において予め判定する。そして、判定した結果、もしくは判定の要素となる量子化幅などのパラメータを、復号映像に影響を与えない付加情報として符号化する。そして、3D映像再生装置では、当該付加情報を用いて、2D映像として出力するかどうかを判定するという方法が考えられる。
また、本実施の形態においては、メッセージ画面を生成してディスプレイに表示することによってユーザに番組情報や録画条件を提示したが、音声などを用いて提示してもよい。
また、ビデオレコーダにおいて、例えば3D安全モードを設け、3D安全モードがオンの場合に、本実施の形態における動作を実施させ、3D安全モードがオフの場合は、常に補正フラグがオフの場合の動作をするという構成にしてもよい。
なお、本実施の形態は、映像再生装置が具備する各手段を各ステップとする映像信号再生方法や、映像再生装置が具備する各手段を備える映像信号再生集積回路、および映像信号再生方法を実現することができる映像信号再生プログラムを提供することも可能である。
そして、この映像信号再生プログラムは、CD−ROM(Compact Disc−Read Only Memory)等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。
また、映像信号再生集積回路は、典型的な集積回路であるLSIとして実現することができる。この場合、LSIは、1チップで構成しても良いし、複数チップで構成しても良い。例えば、メモリ以外の機能ブロックを1チップLSIで構成しても良い。なお、ここではLSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSIまたはウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよいし、LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらに、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応等がその可能性として有り得ると考えられる。
また、集積回路化に際し、各機能ブロックのうち、データを格納するユニットだけを1チップ化構成に取り込まず、別構成としても良い。
本発明に係る映像再生装置は、符号化ストリームを圧縮復号して得た復号映像を、ユーザが快適に3D映像を視聴することができるように、信号処理を行い、映像信号を出力するため、ビデオレコーダ、ビデオプレイヤー、ビデオカメラ、デジタルカメラ、パーソナルコンピュータ、カメラ付き携帯電話機等に適用できる。
1 レコーダ装置
2 ディスプレイ
3 BDディスク
4 HDD装置
5 SDカード
6 アンテナ
7 リモコン装置
101 ドライブ装置
102 入出力IF部
103 チューナ
104 信号処理部
105 受信部
106 バッファメモリ
107 フラッシュメモリ
201 3D映像判定部
202 復号部
203 符号化部
204 制御部
205 画面生成部
206 品質判定部
2 ディスプレイ
3 BDディスク
4 HDD装置
5 SDカード
6 アンテナ
7 リモコン装置
101 ドライブ装置
102 入出力IF部
103 チューナ
104 信号処理部
105 受信部
106 バッファメモリ
107 フラッシュメモリ
201 3D映像判定部
202 復号部
203 符号化部
204 制御部
205 画面生成部
206 品質判定部
Claims (9)
- 符号化された立体視用映像を復号化して出力する映像再生装置であって、
前記符号化された立体視用映像を復号化し、復号化された立体視用映像、および前記立体視用映像が符号化される際に用いられ、かつ符号化により発生する圧縮歪みに関連する符号化情報を出力する復号化部と、
前記復号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかを、前記圧縮歪みに関連する符号化情報に基づいて決定する品質判定部と、
前記品質判定部の決定に従って、前記復号化された立体視用映像を2次元映像または3次元映像として出力する画面生成部と
を備える映像再生装置。 - 前記圧縮歪みに関連する符号化情報は、前記立体視用映像が符号化される際に用いられた量子化幅、量子化マトリックス、量子化パラメータ、記録モード、および記録レートのうち少なくとも1つである
請求項1に記載の映像再生装置。 - 前記品質判定部は、前記圧縮歪みに関連する符号化情報に基づいて、圧縮歪みが所定より大きいと判定した場合に、前記復号化された立体視用映像を2次元映像として出力すると決定し、圧縮歪みが所定より大きくないと判定した場合に、前記復号化された立体視用映像を3次元映像として出力すると決定する
請求項1または請求項2に記載の映像再生装置。 - 前記映像再生装置は、さらに、復号化済みの立体視用映像に対応する前記圧縮歪みに関連する符号化情報を蓄積する蓄積部を備え、
前記品質判定部は、前記蓄積部に蓄積されている前記圧縮歪みに関連する符号化情報から得られる統計情報に基づいて、2次元映像として出力するかまたは3次元映像として出力するかを決定する
請求項1〜請求項3のいずれか1項に記載の映像再生装置。 - 前記映像再生装置は、さらに、前記符号化された立体視用映像に対する再生指示を受け付ける受付部を備え、
前記品質判定部は、前記再生指示を受け付けた場合、前記復号化された立体視用映像の出力を開始する前に、前記復号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかを、前記圧縮歪みに関連する符号化情報に基づいて決定し、
前記画面生成部は、前記品質判定部の決定に従って、前記復号化された立体視用の映像を2次元映像または3次元映像として出力する
請求項1〜請求項4のいずれか1項に記載の映像再生装置。 - 前記受付部は、前記符号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかの再生指示を受け付け、
前記画面生成部は、前記受付部が前記符号化された立体視用映像を3次元映像として再生する旨を示す再生指示を受け付け、かつ、前記品質判定部が2次元映像として出力すると決定した場合、前記復号化された立体視用映像を出力する前に、当該復号化された立体視用映像を2次元映像として出力する旨を示す信号を出力する
請求項5に記載の映像再生装置。 - 前記品質判定部は、前記復号化された立体視用映像に基づいて、シーンチェンジを検出するとともに、シーンチェンジを検出した際に、前記復号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかを、前記圧縮歪みに関連する符号化情報に基づいて決定する
請求項1〜請求項6のいずれか1項に記載の映像再生装置。 - 前記映像再生装置は、さらに、
前記符号化された立体視用映像を取得する取得部を備える
請求項1〜請求項7のいずれか1項に記載の映像再生装置。 - 符号化された立体視用映像を復号化して出力する映像再生方法であって、
前記符号化された立体視用映像を復号化し、復号化された立体視用映像および前記立体視用映像が符号化される際に用いられ、かつ符号化により発生する圧縮歪みに関連する符号化情報を出力し、
前記復号化された立体視用映像を2次元映像として出力するかまたは3次元映像として出力するかを、前記圧縮歪みに関連する符号化情報に基づいて決定し、
前記決定に従って、前記復号化された立体視用映像を2次元映像または3次元映像として出力する
映像再生方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011266925A JP2012182785A (ja) | 2011-02-07 | 2011-12-06 | 映像再生装置および映像再生方法 |
US13/365,637 US20120200668A1 (en) | 2011-02-07 | 2012-02-03 | Video reproducing apparatus and video reproducing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011023604 | 2011-02-07 | ||
JP2011023604 | 2011-02-07 | ||
JP2011266925A JP2012182785A (ja) | 2011-02-07 | 2011-12-06 | 映像再生装置および映像再生方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012182785A true JP2012182785A (ja) | 2012-09-20 |
Family
ID=46600389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011266925A Pending JP2012182785A (ja) | 2011-02-07 | 2011-12-06 | 映像再生装置および映像再生方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120200668A1 (ja) |
JP (1) | JP2012182785A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020105520A1 (ja) * | 2018-11-21 | 2020-05-28 | 日本電信電話株式会社 | 評価装置、評価方法、及びプログラム。 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2831752A4 (en) * | 2012-03-30 | 2015-08-26 | Intel Corp | METHOD OF QUALITY CONTROL IN MEDIA |
WO2014069920A1 (en) * | 2012-11-01 | 2014-05-08 | Samsung Electronics Co., Ltd. | Recording medium, reproducing device for providing service based on data of recording medium, and method thereof |
US9118911B2 (en) | 2013-02-07 | 2015-08-25 | Delphi Technologies, Inc. | Variable disparity three-dimensional (3D) display system and method of operating the same |
KR101430985B1 (ko) * | 2013-02-20 | 2014-09-18 | 주식회사 카몬 | 2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법 |
US9483111B2 (en) | 2013-03-14 | 2016-11-01 | Intel Corporation | Techniques to improve viewing comfort for three-dimensional content |
US10334223B2 (en) * | 2015-01-30 | 2019-06-25 | Qualcomm Incorporated | System and method for multi-view video in wireless devices |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6337710B1 (en) * | 1997-06-12 | 2002-01-08 | Lsi Logic Corporation | Graphical video editing system for regeneration of bitstreams |
JP2000341688A (ja) * | 1999-05-31 | 2000-12-08 | Ando Electric Co Ltd | 動画通信品質判定装置 |
JP2004357156A (ja) * | 2003-05-30 | 2004-12-16 | Sharp Corp | 映像受信装置および映像再生装置 |
KR100893616B1 (ko) * | 2006-04-17 | 2009-04-20 | 삼성모바일디스플레이주식회사 | 전자 영상 기기, 2d/3d 영상 표시 장치 및 그 구동방법 |
JP2009260940A (ja) * | 2008-03-21 | 2009-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質客観評価方法、映像品質客観評価装置、およびプログラム |
US20100026813A1 (en) * | 2008-07-31 | 2010-02-04 | K-WILL Corporation | Video monitoring involving embedding a video characteristic in audio of a video/audio signal |
JP2010109640A (ja) * | 2008-10-30 | 2010-05-13 | Hitachi Ltd | 映像表示装置、映像表示方法及び画像高解像度化方法 |
JP2011216965A (ja) * | 2010-03-31 | 2011-10-27 | Sony Corp | 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム |
KR101426579B1 (ko) * | 2010-11-08 | 2014-08-05 | 한국전자통신연구원 | 이동 통신 시스템에서의 영상 제공 장치 및 그 방법, 그리고, 휴대용 디스플레이 장치 및 그의 영상 디스플레이 방법 |
-
2011
- 2011-12-06 JP JP2011266925A patent/JP2012182785A/ja active Pending
-
2012
- 2012-02-03 US US13/365,637 patent/US20120200668A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020105520A1 (ja) * | 2018-11-21 | 2020-05-28 | 日本電信電話株式会社 | 評価装置、評価方法、及びプログラム。 |
Also Published As
Publication number | Publication date |
---|---|
US20120200668A1 (en) | 2012-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6562992B2 (ja) | デジタルビデオストリーミングにおけるトリック再生 | |
JP4823349B2 (ja) | 三次元映像復号装置及び三次元映像復号方法 | |
US20130308926A1 (en) | Recording medium, reproducing device for performing trick play for data of the recording medium, and method thereof | |
JP2012182785A (ja) | 映像再生装置および映像再生方法 | |
US9105076B2 (en) | Image processing apparatus, image processing method, and program | |
EP2717254A1 (en) | Content processing apparatus for processing high resolution content and content processing method thereof | |
US20110249091A1 (en) | Video signal processing apparatus and video signal processing method | |
US20100329640A1 (en) | Recording/Reproducing Apparatus | |
JP2011109294A (ja) | 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム | |
US20130039416A1 (en) | Image encoding apparatus, image encoding method and program | |
KR20140053189A (ko) | 영상처리시스템, 송신장치, 수신장치, 송신방법, 수신방법 및 컴퓨터 프로그램 | |
JP2011151721A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20110280318A1 (en) | Multiview video decoding apparatus and multiview video decoding method | |
JP5159927B2 (ja) | 動画像復号装置及び動画像復号方法 | |
US20130301723A1 (en) | Video encoding apparatus and video encoding method | |
TW201440500A (zh) | 影像處理裝置及方法 | |
US8712212B2 (en) | Recording apparatus, recording method, reproducing apparatus, reproducing method, program, and recording/producing apparatus | |
WO2013108307A1 (ja) | 映像処理装置および映像処理方法 | |
JP5764895B2 (ja) | 電子機器、再生システム、再生方法、プログラム | |
JP2012178818A (ja) | 映像符号化装置および映像符号化方法 | |
JP2011015243A (ja) | 再生装置および再生方法 | |
JP2012089962A (ja) | 映像再生装置、映像再生方法 | |
WO2012165160A1 (ja) | 再生装置、再生方法、およびプログラム | |
JPWO2004014085A1 (ja) | データ処理装置およびデータ処理方法 | |
KR101609798B1 (ko) | 동영상 판독 장치 |