JP2016010082A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2016010082A JP2016010082A JP2014130849A JP2014130849A JP2016010082A JP 2016010082 A JP2016010082 A JP 2016010082A JP 2014130849 A JP2014130849 A JP 2014130849A JP 2014130849 A JP2014130849 A JP 2014130849A JP 2016010082 A JP2016010082 A JP 2016010082A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- reproduction
- playback
- stream
- display frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】高速再生時にも立体画像を表示させる。【解決手段】左眼用画像と右眼用画像の一方に対応した第一映像ストリームと他方に対応した第二映像ストリームを再生する装置であって、再生速度に応じて、第一映像ストリームから第一再生フレームを決定する第一再生フレーム決定手段と、前記第一再生フレームを、前記第一映像ストリームから再生する第一再生手段と、前記第一再生フレーム決定手段によって決定された第一再生フレームに応じて、第二映像ストリームから第二再生フレームを決定する第二再生フレーム決定手段と、前記第二再生フレームを、前記第二映像ストリームから再生する第二再生手段とを有する。【選択図】 図1
Description
本発明は、画像処理装置に関する。
3Dコンテンツとは、右目用映像と左目用映像の2つの視点の画像を準備することが可能な画像コンテンツである。この3Dコンテンツを再生する技術として、継時分離方式と呼ばれるものが知られている。この方式では、左目用映像と右目用映像とを交互にディスプレイ上に表示し、継時型ステレオ眼鏡(液晶シャッター付)を通して映像を見ると、目の残像反応により左右のシーンを脳内で重ねあわせて立体映像として認識させる。
より詳細には、左目用映像がディスプレイ上に表示されている瞬間には、継時型ステレオ眼鏡は、左目に対応する液晶シャッターを透過状態にし、右目に対応する液晶シャッターを遮光状態にする。右目用映像がディスプレイ上に表示されている瞬間には、先ほどとは逆に、右目に対応する液晶シャッターを透過状態にし、左目に対応する液晶シャッターを遮光状態にする。これにより、左右のそれぞれの目に対応した映像を、対応した目にだけ見せることで立体映像として認識させることが可能である。
このように継時分離方式では、左右の映像を時間軸方向で交互に表示させるために、例えば、通常の2D映像であれば、1秒間に24枚の映像を表示させるのに対して、左右の映像を合わせて1秒間に48枚の映像を表示させる必要がある。したがって、一画面の書き換え速度が、2D画像の2倍で行える画像再生装置において立体映像が可能となる。
ところで、映画館では3Dコンテンツを開始から終了まで上映するだけで問題ないが、家庭内に3Dを導入するためには通常の1倍速再生だけでは不十分であり、ユーザの使い勝手を考えると、従来と同様にランダムアクセス、早送り、巻き戻し等の特殊再生も保障する必要がある。特殊再生時の動作時は、特許文献1に記載されている2D映像を表示する方法が知られている。
しかしながら従来技術の構成では、特殊再生時に2D映像に切り替えて表示するため、通常再生時の立体視映像が確認できない。そのため早送りや巻き戻しにより所望のシーンを視認することが難しいという問題があった。また、1.5倍速の映像と話速変換された音声を再生する早見再生でも2D映像になってしまうという問題があった。
また、変速再生時に両目視差に応じた2本の映像ストリームをそれぞれ変速再生をおこなうと同期関係がずれ、立体視映像として認識できなくなるといった問題があった。
本発明は上述の問題を鑑みてなされたもので、特殊再生時にも立体視映像を実現することを目的とする。
本発明の構成は、左眼用画像と右眼用画像の一方に対応した第一映像ストリームと他方に対応した第二映像ストリームを再生する装置であって、再生速度に応じて、第一映像ストリームから第一再生フレームを決定する第一再生フレーム決定手段と、前記第一再生フレームを、前記第一映像ストリームから再生する第一再生手段と、前記第一再生フレーム決定手段によって決定された第一再生フレームに応じて、第二映像ストリームから第二再生フレームを決定する第二再生フレーム決定手段と、前記第二再生フレームを、前記第二映像ストリームから再生する第二再生手段とを有することを特徴とする。
本発明によれば、高速再生時にも立体画像を表示させることができる。
以下、本発明の実施の形態について図面を参照しながら説明する。
[実施例1]
図1は、本発明の実施形態に係る画像処理装置100のハードウェアブロック図である。
200は、画像処理装置から着脱可能なメモリカードなどの記録媒体である。記録媒体200には、両目視差に応じた2本のストリームが記録されており、例えば左目用映像ストリームをメインストリームとすると、右目用映像ストリームをエクステントストリームとする。
図1は、本発明の実施形態に係る画像処理装置100のハードウェアブロック図である。
200は、画像処理装置から着脱可能なメモリカードなどの記録媒体である。記録媒体200には、両目視差に応じた2本のストリームが記録されており、例えば左目用映像ストリームをメインストリームとすると、右目用映像ストリームをエクステントストリームとする。
メインストリーム、エクステントストリームは、ISO/IEC JTC 1のMoving Picture Experts Groupによって決められたMPEG-2方式や、ISO/IEC 14496-10 「MPEG-4 Part 10 Advanced Video Coding(通称:MPEG-4 AVC)」で策定されている符号化方式で採用されているフレーム間圧縮方式を採用した映像データと、LPCM(Liner Pulse Code Modulation)や、AC-3(Audio Code number 3)等の音声データが多重化されたストリームである。
101は、DRAM108に格納されている画像を読み込み表示出力する液晶パネルや外部映像出力端子を含む表示出力手段である。この表示出力手段は、立体視映像を表示する場合、DRAM108に用意された右目用と左目用の映像を交互に表示出力する継時分離方式を採用した表示出力手段である。
102は、DRAM108に格納されている音声データを読み込み、出力するスピーカや外部音声出力端子を含む音声出力手段である。この音声出力手段は、圧縮されたAC-3などの音声データを出力する場合に、デコードし出力することが可能である。
103は、前記メインストリームから抽出された映像データをデコードし再生画像をDRAM108へ出力する第一再生手段である。104は、前記メインストリームから第一再生手段がデコード処理する映像データの抽出と音声データの抽出を行う第一ストリーム処理手段である。この第一ストリーム処理手段は、ストリームデータを処理することに特化したDSP(Digital Signal Processor)であり、ストリームデータの解析、抽出を高速におこなうことが可能なプロセッサである。
105は、前記エクステントストリームから抽出された映像データをデコードし再生画像をDRAM108へ出力する第二再生手段である。106は、前記エクステントストリームから第二再生手段がデコード処理する映像データを抽出と音声データの抽出を行う第二ストリーム処理手段である。この第二ストリーム処理手段は、ストリームデータを処理することに特化したDSP(Digital Signal Processor)であり、ストリームデータの解析、抽出を高速におこなうことが可能なプロセッサである。
107は、画像処理装置100と記録媒体200とのインターフェースとなるMedia I/Fである。108は、画像処理装置100の各ブロックで処理する画像データ、符号化データを一時保持するDRAM(Dynamic Random Access Memory)である。109は、表示出力手段101 〜 Media I/F 107 及び、CPU111を接続し、画像データ、符号化ストリームの転送に用いられるデータバスである。110は、CPU111と表示出力手段101 〜Media I/F 107を接続し、CPU111から各ブロックを制御する制御バスである。
111は、画像処理装置100全体を制御するメインCPUである。112は、CPU 111と、RAM 114及びROM113を接続するプログラムバスである。
画像処理装置100は、表示出力手段101 〜 RAM114で構成されている。立体視通常再生動作は、Media I/F 107を介して記録媒体200からDRAM108に読み込まれたメインストリームとエクステントストリームを、それぞれ第一ストリーム処理手段104と第二ストリーム処理手段106とを用いて、映像データと音声データに分離しDRAM108へ格納する。映像データから第一再生手段103と第二再生手段105を用いて左目用再生画像と右目用再生画像を生成し、表示出力手段101を用いて表示出力される。また、音声データは音声出力手段を用いて出力される。
図2は、本発明の実施形態に係る画像処理装置100における立体視通常再生の左右映像表示フレームを示すイメージ図である。
左目用の各表示フレームは、右目用の各表示フレームと1対1の関係にあり、例えばL0はR0と、L1はR1とが対応しており、この左目と右目の表示フレームをペアフレームとする。ペアフレームは、左目用表示フレームと右目用表示フレームにおいては、左目用表示フレームの方が先に表示されるようにPTS (Presentation Time Stamp)が設定されている。これにより左目用表示フレームと右目用表示フレームとが交互に表示されることで、継時分離方式による立体視映像を実現している。
また、L0とL1のPTSの間隔が、左目用映像のフレームレートであり、R0とR1のPTSの間隔が右目用映像のフレームレートである。この左目映像と左目映像のフレームレートは同一である。
図3は、本発明の実施形態に係る画像処理装置100におけるペアフレームを表示する場合の立体視1.5倍速再生時の左右映像の表示フレームを示すイメージ図である。左目用表示フレームは、1.5倍速再生のため通常再生時の表示フレームを間引いて表示される。この場合、L1、L2、L4、L5、L7、L8、L10、L11、・・・が表示され、L0、L3、L6、L9、L12は表示されない。
右目用表示フレームは、メインストリームから生成された左目表示フレームのうち表示出力されるフレームと対になるフレームを表示する。この場合、R1、R2、R4、R5、R7、R8、R10、R11、・・・が表示され、R0、R3、R6、R9、R12は表示されない。
図4は、図3で示した本発明の実施形態に係る画像処理装置100におけるペアフレームを表示する場合の立体視1.5倍速再生動作フローチャートである。Media I/F 107を介して記録媒体200からDRAM108にメインストリームを読み込む(S401)。S401で読み込んだメインストリームからメイン映像データを第一ストリーム処理手段104を用いて抽出する。 (S402)。
S402で抽出したメイン映像データに再生速度に応じた表示フレームが格納されているか判断する。例えば1.5倍速の場合は、図2、および図3におけるL1、L2、L4、L5、L7、L8、L10、L11をデコードするのに必要なメイン映像データがS401で抽出された映像データ内に存在するかを判断する(S403)。S403でNoならば、S401へ移行する。S403でYesならば、第一再生手段103はS402で抽出したメイン映像データから表示フレームを生成する。この場合、メインストリームは左目用映像ストリームなので、左目用表示フレームが生成される(S404)。
Media I/F 107を介して記録媒体200からDRAM108にエクステントストリームを読み込む(S405)。S405で読み込んだエクステントストリームからエクステント映像データを第二ストリーム処理手段106を用いて抽出する(S406)。
次に、S406で抽出したエクステント映像データから、S404で生成された再生画像と対になるエクステント映像データがあるかを判断する。1.5倍速の場合は、図2、および図3におけるR1、R2、R4、R5、R7、R8、R10、R11をデコードするのに必要なエクステント映像データがS406で抽出された映像データ内に存在するかを判断する(S407)。S407でNoならば、S405へ移行する。S407でYesならば、第二再生手段105は、S406で抽出したエクステント映像データから表示フレームを生成する。この場合、エクステントストリームは右目用映像ストリームなので、右目用表示フレームが生成される(S408)。
S404、S408で生成された左目用(メイン)表示フレームと右目用(エクステント)表示フレームを表示出力手段101を用いて表示する(S409)。ユーザから再生停止指示があったか確認する(S410)。S410でNoならば、S401へ戻る。S410でYesならば立体視1.5倍速再生動作を終了する。
また、S402、S406において、各ストリームから映像データのみを抽出したが、音声データも同時に抽出してもよい。その場合、抽出された音声データは、S409で表示するタイミングにあわせて音声出力手段102を用いて出力される。
図5は、記録媒体200に記録されているメインストリーム、及びエクステントストリームの構造を示している。符号化された映像・音声データは、エレメンタリストリーム (ES: Elementary Stream)と呼ばれ、それぞれVideoES、AudioESとする。また、VideoES、AudioESを適当な大きさに分割してパケット化したものは PES (Packetized Elementary Stream)と呼ばれる。
メインストリームとエクステントストリームはMPEG-2システムにおけるTS(トランスポートストリーム)であり、トランスポートパケット (Transport Packet; TS packetとも) と呼ばれる 188バイト固定長のパケットで構成されている。
トランスポートパケットは4ByteのTSPacket HeaderとPayload(分割されたPES)とadaptation field(固定長データにするためのスタッフィング領域) とで構成され、TSPacket Headerには、どのようなデータを内包しているのかを表すパケット識別子であるPIDや、PESの先頭領域に配置されるPES Headerを内包しているかを識別するpayload_unit_start_indicatorなどの情報が格納されている。映像データの表示時刻であるPTSはPES Headerに格納されている。
図6は、本発明の実施形態に係る画像処理装置100において、S403におけるメイン映像データに表示フレームがあるかの判断動作フローチャートである。まず、S401で記録媒体200から読み込まれたメインストリームのうち表示フレームの判断処理をおこなっていないデータが存在するかを判断する(S601)。S601でNoならば表示フレームがないと判断される(S606)。S601でYesならば、TS Packet Header 内のpayload_unit_start_indicator を確認し、PES Headerを内包しているか判断する(S602)。S602でNoならばS601へ戻る。
S602でYesならば、PES HeaderからPTSを取得する(S603)。S603で取得したPTSが現在設定されている再生速度で表示されるPTSかを判断する(S604)。S604 でNoならばS601へ戻る。S604 でYesならば表示フレームありと判断される(S605)。
図7は、本発明の実施形態に係る画像処理装置100において、S407におけるエクステント映像データにメイン表示フレームが存在するかの判断動作フローチャートである。まず、S701で記録媒体200から読み込まれたエクステント映像データのうち表示フレームの判断処理をおこなっていないデータが存在するかを判断する(S701)。S701でNoならば表示フレームがないと判断される(S706)。S701でYesならば、TS Packet Header 内のpayload_unit_start_indicator を確認し、PES Headerを内包しているか判断する(S702)。
S702でNoならばS701へ戻る。S702でYesならば、PES HeaderからPTSを取得する(S703)。S703で取得したPTSが、図6のS604でYesと判断された表示フレームと対になるフレームかをかを判断する。例えば、メイン映像の通常再生フレーム間隔をTm、S604でYesと判断されたPTSをPTSm、S703で取得したPTSをPTSeとすると、
PTSm ≦ PTSe ≦PTSm + Tm ・・・ 式(1)
の式(1)が成立するかを判断する(S704)。
PTSm ≦ PTSe ≦PTSm + Tm ・・・ 式(1)
の式(1)が成立するかを判断する(S704)。
S704 でNoならばS701へ戻る。S704 でYesならば表示フレームありと判断される(S705)。
以上、図1〜図7で説明した実施形態によれば、2つの映像ストリームから左右視点の映像を再生し、立体視映像を実現する装置における変倍速再生時に、一方のメイン映像はユーザによって指示された変倍速再生をおこない、もう片方のエクステント映像はメイン映像で表示されるメイン表示フレームのPTSから対になるペアフレームを検出し、再生表示することで、立体視映像の変倍速を実現することが可能である。
[実施例2]
次に、第二実施形態について説明する。なお、以下で説明する第二実施形態は、装置構成については、第一実施形態と同様であるため、その説明を省略する。また、通常再生時の表示フレームについても、第一実施形態で説明した図2と同様であるため省略する。
次に、第二実施形態について説明する。なお、以下で説明する第二実施形態は、装置構成については、第一実施形態と同様であるため、その説明を省略する。また、通常再生時の表示フレームについても、第一実施形態で説明した図2と同様であるため省略する。
図8は、本発明の実施形態に係る画像処理装置100における立体視1.5倍速再生時に、表示時刻基準のエクステント表示フレームを出力する場合のイメージ図である。左目用表示フレームは、1.5倍速再生のため通常再生時の表示フレームを間引いて表示される。この場合、L1、L2、L4、L5、L7、L8、L10、L11、・・・が表示され、L0、L3、L6、L9、L12は表示されない。
右目用表示フレームは、メインストリームから生成された左目表示フレームのうち表示出力されるフレーム間隔の中間表示時刻に一番近傍となるフレームを表示する。この場合、R0、R1、R3、R4、R6、R7、R9、R10、R12、・・・が表示され、R2、R5、R8、R11は表示されない。
図9は、図8で示した本発明の実施形態に係る画像処理装置100における立体視1.5倍速再生時に、表示時刻基準のエクステント表示フレームを出力する場合のフローチャートである。Media I/F 107を介して記録媒体200からDRAM108にメインストリームを読み込む(S901)。S901で読み込んだメインストリームからメイン映像データを第一ストリーム処理手段104を用いて抽出する(S902)。
S902で抽出したメイン映像データに再生速度に応じた表示フレームが格納されているか判断する。例えば1.5倍速の場合は、図8におけるL1、L2、L4、L5、L7、L8、L10、L11をデコードするのに必要なメイン映像データがS901で抽出された映像データ内に存在するかを判断する(S903)。S903でNoならば、S901へ移行する。S903でYesならば、第一再生手段103はS902で抽出したメイン映像データから表示フレームを生成する。この場合、メインストリームは左目用映像ストリームなので、左目用表示フレームが生成される(S904)。
現在の再生速度で次に表示すべき表示フレームのPTSを決定し、S903で生成した表示フレームとの中間PTSを算出する(S905)。
Media I/F 107を介して記録媒体200からDRAM108にエクステントストリームを読み込む(S906)。S906で読み込んだエクステントストリームからエクステント映像データを第二ストリーム処理手段106を用いて抽出する(S907)。
次に、S907で抽出したエクステント映像データから、S905で取得した中間PTS近傍の表示フレームがあるかを判断する。例えば1.5倍速の場合は、図8におけるR0、R1、R3、R4、R6、R7、R9、R10、R12をデコードするのに必要なエクステント映像データがS907で抽出された映像データ内に存在するかを判断する(S908)。S908でNoならば、S906へ移行する。
S908でYesならば、第二再生手段105は、S907で抽出したエクステント映像データから表示フレームを生成する。この場合、エクステントストリームは右目用映像ストリームなので、右目用表示フレームが生成される(S909)。S904、S909で生成された左目用(メイン)表示フレームと右目用(エクステント)表示フレームを表示出力手段101を用いて表示する(S910)。ユーザから再生停止指示があったか確認する(S911)。S911でNoならば、S901へ戻る。S911でYesならば立体視1.5倍速再生動作を終了する。
また、S902、S907において、各ストリームから映像データのみを抽出したが、音声データも同時に抽出してもよい。その場合、抽出された音声データは、S910で表示するタイミングにあわせて音声出力手段102を用いて出力される。
以上、図8〜図9で説明した実施形態によれば、2つの映像ストリームから左右視点の映像を再生し、立体視映像を実現する装置における変倍速再生時に、一方のメイン映像はユーザによって指示された変倍速再生をおこない、もう片方のエクステント映像はメイン映像で表示されるメイン表示フレーム間隔の中間表示時刻に一番近傍となるフレームを表示することで、左右対になるペアフレームのうちメイン表示フレームとエクステント表示フレームのどちらか一方が表示されることで、時間軸方向によりなめらかな立体視映像の変倍速を実現することが可能である。
[実施例3]
次に、第三実施形態について説明する。図10は、本発明の実施形態に係る画像処理装置300のハードウェアブロック図である。200は、図1と同様の画像処理装置から着脱可能なメモリカードなどの記録媒体であり、両目視差に応じた2本のメインストリームとエクステントストリームが記録されている。
次に、第三実施形態について説明する。図10は、本発明の実施形態に係る画像処理装置300のハードウェアブロック図である。200は、図1と同様の画像処理装置から着脱可能なメモリカードなどの記録媒体であり、両目視差に応じた2本のメインストリームとエクステントストリームが記録されている。
画像処理装置300を構成する表示出力手段101 〜 RAM 114は図1で示した画像処理装置100と同様のブロックである。115は、第一再生手段103で生成されたメイン表示フレームと、第二再生手段105で生成されたエクステント表示フレームとにおける画像領域の水平方向のずれ量、すなわち、両撮像画像に写し出された同一対象物に関する位置的なずれ量を、視差として算出する視差算出手段である。立体視通常再生は、画像処理装置100と同様の処理で実現される。
図11は、本発明の実施形態に係る画像処理装置300の立体視1.5倍速再生動作フローチャートである。Media I/F 107を介して記録媒体200からDRAM108にメインストリームを読み込む(S1101)。S1101で読み込んだメインストリームからメイン映像データを第一ストリーム処理手段104を用いて抽出する(S1102)。
S1102で抽出したメイン映像データに再生速度に応じた表示フレームが格納されているか判断する。例えば1.5倍速の場合は、図8におけるL1、L2、L4、L5、L7、L8、L10、L11をデコードするのに必要なメイン映像データがS1101で抽出された映像データ内に存在するかを判断する(S1103)。S1103でNoならば、S1101へ移行する。S1103でYesならば、第一再生手段103はS1102で抽出したメイン映像データから表示フレームを生成する。この場合、メインストリームは左目用映像ストリームなので、左目用表示フレームが生成される(S1104)。
現在の再生速度で次に表示すべき表示フレームのPTSを決定し、S1103で生成した表示フレームとの中間PTSを算出する(S1105)。
<表示時刻基準のエクステント表示フレームを出力する>
Media I/F 107を介して記録媒体200からDRAM108にエクステントストリームを読み込む(S1106)。S1106で読み込んだエクステントストリームからエクステント映像データを第二ストリーム処理手段106を用いて抽出する(S1107)。
Media I/F 107を介して記録媒体200からDRAM108にエクステントストリームを読み込む(S1106)。S1106で読み込んだエクステントストリームからエクステント映像データを第二ストリーム処理手段106を用いて抽出する(S1107)。
次に、S1107で抽出したエクステント映像データから、S1105で取得した中間PTS近傍の表示フレームがあるかを判断する。例えば1.5倍速の場合は、図8におけるR0、R1、R3、R4、R6、R7、R9、R10、R12をデコードするのに必要なエクステント映像データがS1107で抽出された映像データ内に存在するかを判断する(S1108)。S1108でNoならば、S1106へ移行する。S1108でYesならば、第二再生手段105は、S1107で抽出したエクステント映像データから表示フレームを生成する。この場合、エクステントストリームは右目用映像ストリームなので、右目用表示フレームが生成される(S1109)。
S1104で生成された左目用(メイン)表示フレームと、S1109で生成された右目用(エクステント)表示フレームの視差を視差算出手段115を用いて算出し、算出された視差が規定値以下か判断する(S1110)。S1110においてYesならばS1111へ、NoならばS1115へ移行する。
<ペアフレームとなるエクステント表示フレームを表示出力する>
S1110でNoと判断された場合は、S1107もしくはS1114で読み込まれたエクステント映像データ内に、S1104で生成されたメイン表示フレームと対になるエクステント表示フレームがあるかを判断する (S1115)。S1115でYesと判断された場合は、第二再生手段105は、S1107もしくはS1114で抽出したエクステント映像データから表示フレームを生成する。この場合、エクステントストリームは右目用映像ストリームなので、右目用表示フレームが生成される(S1116)。
S1110でNoと判断された場合は、S1107もしくはS1114で読み込まれたエクステント映像データ内に、S1104で生成されたメイン表示フレームと対になるエクステント表示フレームがあるかを判断する (S1115)。S1115でYesと判断された場合は、第二再生手段105は、S1107もしくはS1114で抽出したエクステント映像データから表示フレームを生成する。この場合、エクステントストリームは右目用映像ストリームなので、右目用表示フレームが生成される(S1116)。
S1115でNoと判断された場合は、再度Media I/F 107を介して記録媒体200からDRAM108にエクステントストリームを読み込む(S1113)。S1113で読み込んだエクステントストリームからエクステント映像データを第二ストリーム処理手段106を用いて抽出する(S1114)。
S1104で生成された左目用(メイン)表示フレームと、S1109またはS1116で生成された右目用(エクステント)表示フレームを表示出力手段101を用いて表示する(S1111)。ユーザから再生停止指示があったか確認する(S1112)。S1112でNoならば、S1101へ戻る。S1112でYesならば立体視1.5倍速再生動作を終了する。
また、S1102、S1107またはS1114において、各ストリームから映像データのみを抽出したが、音声データも同時に抽出してもよい。その場合、抽出された音声データは、S1111で表示するタイミングにあわせて音声出力手段102を用いて出力される。また、本実施の形態では、視差によりエクステント表示フレームを切り替えたが、ユーザによって指示された再生速度により切り替えてもよい。
以上、図10〜図11で説明した実施形態によれば、2つの映像ストリームから左右視点の映像を再生し、立体視映像を実現する装置における変倍速再生時に、まずメイン表示フレーム間隔の中間表示時刻となるエクステント表示フレームを生成し、左右映像の視差が規定値より大きい場合には、メイン表示フレームと対になるエクステント表示フレームを生成し表示する。これにより、時間軸方向になめらかな変倍速再生時に、動きの激しいシーンなどで視差が乱れることなく立体視変倍速再生が実現できる。
100 画像処理装置、200 記録媒体、108 DRAM、111 CPU、113,114 RAM
Claims (5)
- 左眼用画像と右眼用画像の一方に対応した第一映像ストリームと他方に対応した第二映像ストリームを再生する装置であって、
再生速度に応じて、第一映像ストリームから第一再生フレームを決定する第一再生フレーム決定手段と、
前記第一再生フレームを、前記第一映像ストリームから再生する第一再生手段と、
前記第一再生フレーム決定手段によって決定された第一再生フレームに応じて、第二映像ストリームから第二再生フレームを決定する第二再生フレーム決定手段と、
前記第二再生フレームを、前記第二映像ストリームから再生する第二再生手段とを有することを特徴とする画像処理装置。 - 前記第二再生フレーム決定手段は、前記第一再生フレームの再生時刻情報に一番近傍のフレームを前記第二再生フレームとすることを特徴とする請求項1に記載の画像処理装置。
- 前記第二再生フレーム決定手段は、前記第一再生フレームのフレーム間隔を用いて、前記第二再生フレームを決定することを特徴とする請求項1に記載の画像処理装置。
- 前記第一再生手段と前記第二再生手段から得られた画像の視差を測定する視差測定手段を有し、
前記第二再生フレーム決定手段は、前記視差測定手段によって測定された視差に応じて、第二再生フレームの決定方法を切り替えることを特徴とする請求項1に記載の画像処理装置。 - 前記第二再生フレーム決定手段は、再生速度に応じて、第二再生フレームの決定方法を切り替えることを特徴とする請求項1に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014130849A JP2016010082A (ja) | 2014-06-26 | 2014-06-26 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014130849A JP2016010082A (ja) | 2014-06-26 | 2014-06-26 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016010082A true JP2016010082A (ja) | 2016-01-18 |
Family
ID=55227351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014130849A Pending JP2016010082A (ja) | 2014-06-26 | 2014-06-26 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016010082A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019062397A (ja) * | 2017-09-26 | 2019-04-18 | キヤノン株式会社 | 画像処理装置、画像処理システム、および画像処理方法 |
-
2014
- 2014-06-26 JP JP2014130849A patent/JP2016010082A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019062397A (ja) * | 2017-09-26 | 2019-04-18 | キヤノン株式会社 | 画像処理装置、画像処理システム、および画像処理方法 |
JP7091043B2 (ja) | 2017-09-26 | 2022-06-27 | キヤノン株式会社 | 画像処理装置、画像処理システム、および画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5221227B2 (ja) | ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置 | |
JP5369952B2 (ja) | 情報処理装置および情報処理方法 | |
EP1587330B1 (en) | Device for generating image data of multiple viewpoints, and device for reproducing these image data | |
JP4251864B2 (ja) | 画像データ作成装置およびそのデータを再生する画像データ再生装置 | |
JP2005094168A (ja) | ファイル構造及びそれを用いる画像記録装置並びに画像再生装置 | |
CN102197655B (zh) | 暂停模式中的立体图像再现方法及使用该方法的立体图像再现装置 | |
RU2552137C2 (ru) | Точки входа для ускоренного 3d-воспроизведения | |
JP4252105B2 (ja) | 画像データ作成装置及び画像データ再生装置 | |
JP2008103820A (ja) | 立体画像処理装置 | |
TW201234833A (en) | Encoding method, display apparatus, and decoding method | |
JP2006191357A (ja) | 再生装置および再生プログラム | |
US9118895B2 (en) | Data structure, image processing apparatus, image processing method, and program | |
CN103503449B (zh) | 影像处理装置及影像处理方法 | |
JPH07322302A (ja) | 立体動画像再生装置 | |
CN103024409B (zh) | 视频编码方法、视频编码器、视频解码方法与视频解码器 | |
JP2011216965A (ja) | 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム | |
JP2011223481A (ja) | データ構造、画像処理装置、画像処理方法、およびプログラム | |
JP2016010082A (ja) | 画像処理装置 | |
WO2012165218A1 (ja) | 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置 | |
US20120188340A1 (en) | Content distribution system, playback apparatus, distribution server, playback method, and distribution method | |
EP2685730A1 (en) | Playback device, playback method, and program | |
JP2012054733A (ja) | 再生装置および再生方法 | |
EP2852163A1 (en) | Image processing device, image processing method and program | |
JPH07298306A (ja) | 立体動画像圧縮符号化装置 | |
KR20120004587A (ko) | 디지털 방송 수신기 및 디지털 방송 수신기에서 스트림 처리 방법 |