JP2010258583A - 立体画像表示装置、立体画像再生装置および立体画像視認システム - Google Patents

立体画像表示装置、立体画像再生装置および立体画像視認システム Download PDF

Info

Publication number
JP2010258583A
JP2010258583A JP2009104015A JP2009104015A JP2010258583A JP 2010258583 A JP2010258583 A JP 2010258583A JP 2009104015 A JP2009104015 A JP 2009104015A JP 2009104015 A JP2009104015 A JP 2009104015A JP 2010258583 A JP2010258583 A JP 2010258583A
Authority
JP
Japan
Prior art keywords
image
transmission
information
unit
shutter glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009104015A
Other languages
English (en)
Inventor
Suguru Ogawa
英 小川
Isamu Ishimura
勇 石村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2009104015A priority Critical patent/JP2010258583A/ja
Priority to PCT/JP2010/001837 priority patent/WO2010122711A1/ja
Publication of JP2010258583A publication Critical patent/JP2010258583A/ja
Priority to US13/277,015 priority patent/US20120033048A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/378Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Abstract

【課題】立体画像の元になる画像として複数の撮影位置から複数のビデオカメラが撮影した画像を用いる場合に、撮影位置毎の複数の伝送経路を用いるため配線が複雑である。
【解決手段】受信部21は、複数位置の画像情報に対応するビデオデータを伝送ケーブル30を介して受信し、受信した前記ビデオデータを画像信号S1として出力するとともに、現在出力中の画像信号S1が複数の位置のいずれに対応するかを示す同期信号S2を併せて出力する。制御信号発信器24は、表示部22に対するシャッタメガネm1,m2の相対姿勢関係を示す視認姿勢情報S3と、受信部21から出力される同期信号S2とを入力して、視認姿勢情報と同期信号とに応じてシャッタメガネの左眼用透過部と右眼用透過部を制御するシャッタメガネ制御信号S4を生成出力する。さらに受信部21は、ビデオデータを受信するための伝送ケーブル30が単一の伝送ケーブルに構成されている。
【選択図】図1

Description

本発明は立体画像表示装置、立体画像再生装置および立体画像視認システムにかかわり、特には、複数のビデオカメラから立体画像の元になるビデオデータを伝送するための伝送ケーブルの配線を簡素化するための技術に関する。
立体画像視認システムとは、人間の右眼で認識する像と左眼で認識する像との差分情報である両眼視差情報を利用して立体を認識することができるようにしたシステムである。
図6ないし図9を参照して、従来技術における立体画像視認システムを説明する。図6は従来技術における立体画像視認システムの画像撮影部の様子を示す斜視図、図7は従来技術における立体画像視認システムの表示部とそれに付随する装置およびユーザによる視認例を示す斜視図、図8は従来技術における立体画像視認システムの全体の構成を示すブロック図、図9は制御信号発信器24によるシャッタメガネ制御信号S4の内容を示すテーブルである。
図6に示すように、第1ないし第4の4台のビデオカメラV1,V2,V3,V4がファインダ40を中心として、それぞれ左方向、上方向、右方向、および下方向に同じ距離隔てた位置に互いに平行姿勢で固定されている。ファインダ40および4台のビデオカメラV1,V2,V3,V4は被写体50に向けられている。
図7に示すように、第1のユーザU1、第2のユーザU2はそれぞれ表示部22の表示画面に対して正面から向き合う状態となっている。第1のシャッタメガネm1を装着した第1のユーザU1の表示部22に対する視認姿勢は、表示画面に対し頭部を傾けない状態である。第2のシャッタメガネm2を装着した第2のユーザU2の表示部22に対する視認姿勢は、表示画面に対し頭部を90度傾けた状態となっている。シャッタメガネとしては、液晶シャッタの制御により左眼用透過部および右眼用透過部が透過と非透過を切り換える電子式シャッタを有する液晶メガネが利用される。
液晶ディスプレイ等の表示部22には、ユーザU1,U2が装着するシャッタメガネm1,m2の傾きなど表示部22に対する相対姿勢関係の検出を通じてユーザの視認姿勢を検出する視認姿勢センサ23と、シャッタメガネm1,m2を制御する制御信号発信器24が設けられている。
シャッタメガネm1,m2には、視認姿勢センサ23との間での無線の送受信を通じてユーザU1,U2の表示部22に対する相対姿勢関係を測定するための送受信部(図示せず)が設けられている。
制御信号発信器24が発信するシャッタメガネ制御信号S4は、シャッタメガネm1,m2における左眼用透過部または右眼用透過部または両透過部を透過と非透過を切り換えるためのタイミング制御を行うようになっている。
図8に示すように、立体画像視認システムは、4台のビデオカメラV1〜V4と、画像選択装置E3と、表示部22と、視認姿勢センサ23と、制御信号発信器24と、第1および第2のシャッタメガネm1,m2から構成されている。
画像選択装置E3は、4台のビデオカメラV1〜V4の撮影画像をビデオのフレーム毎に順に選択し、画像信号S1として表示部22に出力するとともに、現在出力されている画像信号S1が4台のビデオカメラV1〜V4のそれぞれによる画像情報P1〜P4のうちのどれであるかを示すための同期信号S2を制御信号発信器24に出力するように構成されている。
表示部22は、画像信号S1による画像を表示するものとして構成されている。
あとで問題となるのであるが、4台のビデオカメラV1〜V4と画像選択装置E3とはそれぞれが独立した伝送ケーブルC1〜C4によって接続されている。以下では、説明の都合上、ユーザの姿勢如何にかかわらず所期通りに立体視できることの動作説明を詳しく行うが、問題のポイントは伝送ケーブルが複数本あるということである。
視認姿勢センサ23は、第1および第2のシャッタメガネm1,m2から受信した信号を基に表示部22の表示画面に対する第1および第2のユーザU1,U2の頭部の傾きなどの相対姿勢関係を示す視認姿勢情報S3を生成し、制御信号発信器24に出力するものとして構成されている。
その視認姿勢情報S3は、ここでは特に画面に対する頭部の傾きについて、「傾きなし」、「左90度」、「右90度」、「180度」の状態のうちどれであるかの判断が可能な情報を含む。ここで、ユーザの頭部の傾きの方向は、表示部22の方からユーザを見ていずれの方向に傾いているかを意味している。留意すべきは、図7において「右」に傾いて描かれている第2のユーザU2は、表示部22から見ると「左」に傾いていることになり、第2のユーザU2の頭部の傾きは「左」という扱いになるということである。
制御信号発信器24は、画像選択装置E3からの同期信号S2と視認姿勢センサ23からの視認姿勢情報S3とに基づいて、第1および第2のシャッタメガネm1,m2それぞれに対するシャッタメガネ制御信号S4を生成し、発信するように構成されている。
そのシャッタメガネ制御信号S4は、各ユーザU1,U2の表示部22に対する相対姿勢関係に応じて、各ユーザU1,U2のいずれもが立体画像を視覚できるように、シャッタメガネm1,m2の左眼用透過部および右眼用透過部に対して透過と非透過とを切り換えるためにタイミング制御する信号である。
図9は制御信号発信器24によるシャッタメガネ制御信号S4の内容を示す。同期信号S2で識別される4台のビデオカメラV1〜V4と、視認姿勢情報S3で識別される各ユーザU1,U2の表示部22に対する相対姿勢関係である「傾きなし」、「左90度」、「右90度」、「180度」との組み合わせにおいて、シャッタメガネm1,m2の左眼用透過部または右眼用透過部または両透過部に対して透過と非透過とを切り換えるためのタイミング制御をテーブル化している。
次に、この従来技術の立体画像視認システムの動作を説明する。
<例1:第1のユーザU1の場合>
第1のユーザU1が表示部22を正面から視認する場合を説明する。
視認姿勢センサ23は、第1のユーザU1の視認姿勢を第1のシャッタメガネm1との相対姿勢関係から検出する。第1のユーザU1は画面に対し頭部を傾けずに視認しているため、視認姿勢センサ23は第1のユーザU1の視認姿勢は「傾きなし」と判断し、これを視認姿勢情報S3として制御信号発信器24に出力する。
制御信号発信器24は、図9のテーブル図の規定に従うシャッタメガネ制御信号S4を生成し、第1のシャッタメガネm1に出力する。ここでは、「傾きなし」の第1のユーザU1の第1のシャッタメガネm1に対して、ビデオカメラV1の画像情報P1が表示部22に表示されている間は、左眼用透過部を透過状態にするとともに右眼用透過部を非透過状態にし、ビデオカメラV3の画像情報P3が表示部22に表示されている間は、右眼用透過部を透過状態にするとともに左眼用透過部を非透過状態にし、ビデオカメラV2およびV4の画像情報P2,P4が表示部22に表示されている間は、右眼用透過部、左眼用透過部ともに非透過状態にするよう、シャッタメガネ制御信号S4を出力する。
第1のユーザU1の装着する第1のシャッタメガネm1はシャッタメガネ制御信号S4に基づき液晶シャッタを制御するため、第1のユーザU1はこの第1のシャッタメガネm1を通して表示部22を視認することにより、ビデオカメラV1の画像情報P1を左眼によって視認し、ビデオカメラV3の画像情報P3を右眼によって視認することになる。ビデオカメラV1とビデオカメラV3は、図6に示すようにファインダ40を中心として左方と右方に配されているため、画像情報P1と画像情報P3とは左右に視差情報を有する画像の組み合わせであり、それぞれを左眼と右眼で視認することにより立体視が可能となる。
<例2:第2のユーザU2の場合>
第2のユーザU2が横になって表示部22を視認する場合を説明する。
視認姿勢センサ23は、第2のユーザU2の視認姿勢を第2のシャッタメガネm2との相対姿勢関係から検出する。第2のユーザU2は表示部22から見て左に(右ではない)90度頭部を傾けた状態で表示部22を視認しているため、視認姿勢センサ23は第2のユーザU2の視認姿勢は「左90度」と判断し、これを視認姿勢情報S3として制御信号発信器24に出力する。
制御信号発信器24は、図9のテーブル図の規定に従うシャッタメガネ制御信号S4を生成し、第2のシャッタメガネm2に出力する。
ここでは、「左90度」の第2のユーザU2の第2のシャッタメガネm2に対して、ビデオカメラV2の画像情報P2が表示部22に表示されている間は、左眼用透過部を透過状態にするとともに右眼用透過部を非透過状態にし、ビデオカメラV4の画像情報P4が表示部22に表示されている間は、右眼用透過部を透過状態にするとともに左眼用透過部を非透過状態にし、ビデオカメラV1およびV3の画像情報P1,P3が表示部22に表示されている間は、右眼用透過部、左眼用透過部ともに非透過状態にするよう、シャッタメガネ制御信号S4を出力する。
第2のユーザU2の装着する第2のシャッタメガネm2はシャッタメガネ制御信号S4に基づき、液晶シャッタを制御するため、第2のユーザU2はこの第2のシャッタメガネm2を通して表示部22を視認することにより、ビデオカメラV2の画像情報P2を左眼によって視認し、ビデオカメラV4の画像情報P4を右眼によって視認することになる。
ビデオカメラV2とビデオカメラV4は、図6に示すようにファインダ40を中心として上方と下方に配されているため、画像情報P2と画像情報P4とは上下に視差情報を有する画像の組み合わせであり、それぞれを左眼と右眼で視認することにより立体視が可能となる。表示部22に対して90度傾いた状態で視認する第2のユーザU2にとっては、その左右方向は実際の空間の上下方向と等価であるからである。
特開平11−341518号公報
ところで、上述した従来技術においては、立体画像の元になる画像情報として複数のアングルの画像を撮影する複数のビデオカメラごとにそれぞれ別々の伝送ケーブルC1〜C4を用いているため、配線が複雑になるという技術的課題が内在していた。
特許文献1については、表示部が平面状に配置され、ユーザが平面状の表示部に対してどのような位置関係にあっても(正規の位置以外に反対の向かい側の位置や左横の位置や右横の位置いずれでも)、所期通りに立体視ができるものであるが、伝送ケーブルが個別であることに変わりはない。
本発明は、この事情に鑑みて創作したものであり、複数のビデオカメラから立体画像の元になるビデオデータを伝送するための伝送ケーブルについて、その配線を簡素化できるようにすることを目的としている。
本発明は、上記の課題を解決するべく、立体画像表示装置と、立体画像再生装置と、立体画像視認システムのそれぞれについて、以下のような手段を講じるものである。
(1)本発明による立体画像表示装置は、
被写体を互いに異なる複数の位置から撮影して得られるところの立体画像の元になる複数位置の画像情報に対応するビデオデータを伝送ケーブルを介して受信し、受信した前記ビデオデータを画像信号として出力するとともに、現在出力中の画像信号が前記複数の位置のいずれに対応するかを示す同期信号を併せて出力する受信部と、
前記受信部から出力される前記画像信号を入力して画像を表示する表示部と、
前記表示部に対するシャッタメガネの相対姿勢関係を示す視認姿勢情報と、前記受信部から出力される前記同期信号とを入力して、前記視認姿勢情報と前記同期信号とに応じて前記シャッタメガネの左眼用透過部と右眼用透過部を制御するためのシャッタメガネ制御信号を生成出力する制御信号発信器とを備え、
前記受信部は、前記ビデオデータを受信するための前記伝送ケーブルが単一の伝送ケーブルに構成されていることを特徴とするものである。
この構成によれば、立体画像表示装置において、その受信部へ接続するビデオデータ伝送用の伝送ケーブルについて、これを単一化してあるので、伝送ケーブルの配線を容易かつ簡素なものにすることが可能となる。なお、シャッタメガネを装着するユーザの姿勢が傾いているとしても所期通りに立体視が可能であるとの機能が発揮されることはいうまでもない。
(2)また本発明による立体画像表示装置は、
被写体を互いに異なる複数の位置から撮影して得られるところの立体画像の元になる複数位置の画像情報のうちから選択された選択画像情報に対応するビデオデータを伝送ケーブルを介して受信し、受信した前記ビデオデータを画像信号として出力するとともに、現在出力中の画像信号が前記複数の位置のいずれに対応するかを示す同期信号を併せて出力する表示装置側の送受信部と、
前記表示装置側の送受信部から出力される前記画像信号を入力して画像を表示する表示部と、
前記表示部に対するシャッタメガネの相対姿勢関係を示す視認姿勢情報と、前記表示装置側の送受信部から出力される前記同期信号とを入力して、前記視認姿勢情報と前記同期信号とに応じて前記シャッタメガネの左眼用透過部と右眼用透過部を制御するためのシャッタメガネ制御信号を生成出力する制御信号発信器とを備え、
前記表示装置側の送受信部は、前記ビデオデータを受信するための前記伝送ケーブルが単一の伝送ケーブルに構成され、かつ、前記視認姿勢情報を入力した上で前記複数位置の画像情報のうちから前記選択画像情報を選択させるために前記単一の伝送ケーブルに送信するように構成されていることを特徴とするものである。
この構成によれば、立体画像表示装置において、その表示装置側の送受信部へ接続するビデオデータ伝送用の伝送ケーブルについて、これを単一化してあるので、伝送ケーブルの配線を容易かつ簡素なものにすることが可能となる。併せて、視認姿勢情報に従って複数位置の画像情報から必要な画像情報のみを選択する方式に対応していて、表示部に対する液晶メガネの相対姿勢関係から原理的に表示する必要のない画像情報は排除するので、画像表示のフレームレートを上げる上で効果がある。そして、そのために、視認姿勢情報を立体画像再生装置側へ伝送することとしているが、その伝送を単一の伝送ケーブルをもって行うところに技術ポイントがあり、単一の伝送ケーブルにおける伝送効率を向上させる。なお、シャッタメガネを装着するユーザの姿勢が傾いているとしても所期通りに立体視が可能であるとの機能が発揮されることはいうまでもない。
(3)上記(1)の構成において、前記受信部は、前記立体画像の元になる複数位置の画像を同じ順序でサイクリックに切り替える場合に順序が一巡したことを示す切替通知パケットを前記単一の伝送ケーブルを介して受信し、受信した切替通知パケットに基づいて前記同期信号を生成出力するように構成されているという態様がある。受信部は切替通知パケットの検出に基づいて同期信号を生成し、制御信号発信器はその同期信号に応じてシャッタメガネ制御信号を生成する。したがって、シャッタメガネの左眼用透過部と右眼用透過部に対する透過・非透過のタイミング制御が正確に行われることになる。
(4)上記(2)の構成において、前記表示装置側の送受信部は、前記選択画像情報を同じ順序でサイクリックに切り替える場合に順序が一巡したことを示す切替通知パケットを前記単一の伝送ケーブルを介して受信し、受信した切替通知パケットに基づいて前記同期信号を生成出力するように構成されているという態様がある。表示装置側の送受信部は切替通知パケットの検出に基づいて同期信号を生成し、制御信号発信器はその同期信号に応じてシャッタメガネ制御信号を生成する。したがって、シャッタメガネの左眼用透過部と右眼用透過部に対する透過・非透過のタイミング制御が正確に行われることになる。
(5)上記(1)〜(4)の構成において、さらに、前記制御信号発信器が入力する前記視認姿勢情報を生成出力するもので、前記表示部に対する前記シャッタメガネの相対姿勢関係を検出する視認姿勢センサを備えているという態様がある。これは、立体画像表示装置に視認姿勢センサが付属している態様に言及したものである。換言すれば、上記の(1)〜(4)の構成においては、視認姿勢センサが付属することは必須ではないということでもある。
(6)上記(1)〜(5)の構成において、前記制御信号発信器は、前記シャッタメガネ制御信号が前記シャッタメガネの左眼用透過部と右眼用透過部を互いに独立した状態で遮蔽するための制御信号であるという態様がある。これは、シャッタメガネ制御信号の機能をより詳しく説明したものである。
次に、本発明による立体画像再生装置を説明する。
(7)本発明による立体画像再生装置は、
被写体を互いに異なる複数の位置から撮影して得られるところの立体画像の元になる複数位置の画像情報と、前記複数の位置に関する複数の撮影位置情報とを関連付けて出力する画像出力部と、
前記画像出力部から出力される前記撮影位置情報を伴う前記複数位置の画像情報をサイクリックに切り替えてビデオデータとして伝送ケーブルを介して送信する送信部とを備え、
前記送信部は、前記ビデオデータを送信するための前記伝送ケーブルが単一の伝送ケーブルに構成されていることを特徴とするものである。
この構成によれば、立体画像再生装置において、その送信部へ接続するビデオデータ伝送用の伝送ケーブルについて、これを単一化してあるので、伝送ケーブルの配線を容易かつ簡素なものにすることが可能となる。
(8)また本発明による立体画像再生装置は、
被写体を互いに異なる複数の位置から撮影して得られるところの立体画像の元になる複数位置の画像情報と、前記複数の位置に関する複数の撮影位置情報とを関連付けて出力する画像出力部と、
前記画像出力部から出力される前記撮影位置情報を伴う前記複数位置の画像情報のうちから選択した選択画像情報をサイクリックに切り替えてビデオデータとして伝送ケーブルを介して送信する再生装置側の送受信部とを備え、
前記再生装置側の送受信部は、前記ビデオデータを送信するための前記伝送ケーブルが単一の伝送ケーブルに構成され、かつ、前記単一の伝送ケーブルを介して受け取った視認姿勢情報に従って前記複数位置の画像情報のうちからの前記選択画像情報の選択を行うように構成されていることを特徴とするものである。
この構成によれば、立体画像再生装置において、その再生装置側の送受信部へ接続するビデオデータ伝送用の伝送ケーブルについて、これを単一化してあるので、伝送ケーブルの配線を容易かつ簡素なものにすることが可能となる。併せて、視認姿勢情報に従って複数位置の画像情報から必要な画像情報のみを選択する方式に対応していて、表示部に対する液晶メガネの相対姿勢関係から原理的に表示する必要のない画像情報は排除するので、画像表示のフレームレートを上げる上で効果がある。そして、そのために、視認姿勢情報を立体画像表示装置側から受け取ることとしているが、その伝送を単一の伝送ケーブルをもって行うところに技術ポイントがあり、単一の伝送ケーブルにおける伝送効率を向上させる。
(9)上記(7)の構成において、前記送信部は、前記サイクリックに送信される画像情報のうち先頭の画像情報が前記ビデオデータとして送信されるのに同期して順序が一巡したことを示す切替通知パケットを送信するように構成されているという態様がある。切替通知パケットに基づいて、シャッタメガネの左眼用透過部と右眼用透過部に対する透過・非透過のタイミング制御が正確に行われることになる。
(10)上記(8)の構成において、前記再生装置側の送受信部は、前記サイクリックに送信される選択画像情報のうち最初に選択される画像情報が前記ビデオデータとして送信されるのに同期して順序が一巡したことを示す切替通知パケットを送信するように構成されているという態様がある。切替通知パケットに基づいて、シャッタメガネの左眼用透過部と右眼用透過部に対する透過・非透過のタイミング制御が正確に行われることになる。
次に、本発明による立体画像視認システムを説明する。
(11)本発明による立体画像視認システムは、上記(7)または(8)の立体画像再生装置と、上記(1)または(2)の立体画像表示装置とからなり、前記立体画像再生装置と前記立体画像表示装置とが単一の伝送ケーブルを介して接続されていることを特徴とするものである。この構成によれば、立体画像視認システムにおいて、その立体画像再生装置と立体画像表示装置を接続するビデオデータ伝送用の伝送ケーブルについて、これを単一化してあるので、伝送ケーブルの配線を容易かつ簡素なものにすることが可能となる。
(12)上記(11)の構成において、被写体を互いに異なる複数の位置から撮影するための複数のビデオカメラの集合体である画像撮影部が複数あって、それら複数の画像撮影部が被写体に対して互いに異なる方位に配置されている場合に、前記立体画像再生装置における前記画像出力部は、それら複数の画像撮影部それぞれにおける前記複数のビデオカメラが撮影して得られるところの立体画像の元になる複数位置の画像情報を出力するように構成され、
前記立体画像表示装置における前記制御信号発信器は、前記視認姿勢情報について、前記表示部に対する前記シャッタメガネの相対姿勢関係に加えて前記表示部に対するシャッタメガネの相対方位関係をも加味した情報となし、その相対方位関係を加味した視認姿勢情報に応じて前記シャッタメガネの左眼用透過部と右眼用透過部を制御するためのシャッタメガネ制御信号を生成するものとして構成されているという態様がある。
この構成においては、ユーザの頭部の傾き以外に、ユーザの表示部に対する相対的な視認方位に応じたシャッタメガネ制御信号を発信することで、ユーザの表示部に対する相対的な視認方位の変化に対応して、いずれの方位からの視認であっても立体視することが可能となる。
本発明によれば、立体画像再生装置と立体画像表示装置とを単一の伝送ケーブルで接続するものであるため、伝送ケーブルの配線を容易かつ簡素なものにすることができる。
図1は本発明の実施の形態1における立体画像視認システムの全体の構成を示すブロック図である。 図2は本発明の実施の形態1における受信部の処理フローチャートである。 図3は本発明の実施の形態2における立体画像視認システムの全体の構成を示すブロック図である。 図4は本発明の実施の形態2において視認姿勢情報と複数位置の画像情報との相関関係でシャッタメガネに供給すべきシャッタメガネ制御信号がどのように規定されるかを示すテーブル図である。 図5は本発明の実施の形態2の再生装置側の送受信部においてユーザがおかれている視認姿勢すなわち視認姿勢情報とそれに応じて選択すべき画像情報との関係を示すテーブル図である。 図6は従来技術における立体画像視認システムの画像撮影部の斜視図である。 図7は従来技術における立体画像視認システムの画像表示部とユーザによる視認例を示す図である。 図8は従来技術における立体画像視認システムの全体の構成を示すブロック図である。 図9は従来技術における立体画像視認システムにおいて視認姿勢情報と複数位置の画像情報との相関関係でシャッタメガネに供給すべきシャッタメガネ制御信号がどのように規定されるかを示すテーブル図である。
以下、本発明にかかわる立体画像視認システム(立体画像表示装置、立体画像再生装置)の実施の形態を図面を用いて詳細に説明する。
(実施の形態1)
図1は本発明の実施の形態1における立体画像視認システムの全体の構成を示すブロック図である。
図1において、E1は画像出力部11および送信部12を含む立体画像再生装置、E2は受信部21、表示部22、視認姿勢センサ23および制御信号発信器24を含む立体画像表示装置、30は立体画像再生装置E1の送信部12と立体画像表示装置E2の受信部21とを接続する単一の伝送ケーブル(HDMIケーブル)、m1は第1のユーザU1が装着する第1のシャッタメガネ、m2は第2のユーザU2が装着する第2のシャッタメガネである。
立体画像再生装置E1において、P1は画像出力部11が出力する第1の画像情報、P2は画像出力部11が出力する第2の画像情報、P3は画像出力部11が出力する第3の画像情報、P4は画像出力部11が出力する第4の画像情報である。
立体画像再生装置E1において、画像出力部11は、4つのビデオカメラV1〜V4が互いに異なる複数の位置からそれぞれ撮影して得られるところの立体画像の元になる複数位置の画像情報P1〜P4を記録するとともに、これら複数位置の画像情報P1〜P4をそれぞれの位置に関する撮影位置情報と関連付けた上でビデオデータとして所定の順序でサイクリックに出力するものとして構成されている。
送信部12は、画像出力部11が出力する撮影位置情報を伴う複数位置の画像情報P1〜P4の各フレームを1フレームずつ順に選択してHDMI(High Definition Multimedia Interface)のビデオデータとして、画像情報P1〜P4の4倍のフレームレートで順次サイクリックに切り替えながら単一の伝送ケーブルであるHDMIケーブル30を介して送信出力するとともに、1番目の画像情報P1を出力するタイミングに同期してHDMIのVSIパケットを用いて切替通知パケットを送信するように構成されている。
なお、HDMIはデジタルAV機器間のインターフェースの新しい標準規格として制定された。このHDMI規格では、1本のケーブルで高解像度のビデオ信号とマルチチャンネルのデジタルオーディオ信号とを非圧縮で高品質のまま伝送できるとともに、制御信号も合わせて伝送できる次世代デジタルテレビ向けのインターフェース規格仕様となっている。
ここでHDMIのVSI(Vendor Specific InfoFrames)パケットとはHDMIを経由して送信する情報を用途に応じて拡張するためのパケットであり、また、切替通知パケットとはHDMIのビデオデータとして送信されたフレームの撮影位置情報を識別するためのパケットである。
本システムでは、画像情報P1〜P4のデータはすべてを圧縮せずにHDMIのビデオデータとして送信するものとして説明する。ただし、フレームレートの間引き、解像度のダウンスケール、インターレース・プログレッシブ変換などを行ってもよい。
立体画像表示装置E2において、受信部21は、単一の伝送ケーブルであるHDMIケーブル30を介して受信した立体画像の元になる複数位置の画像情報P1〜P4に対応するビデオデータとパケットデータとを受信するとともに、受信したビデオデータを画像信号S1として表示部22に出力し、さらに現在出力中の画像信号S1が複数の位置のいずれに対応するかを示す同期信号S2を併せて出力するものとして構成されている。
ここで、HDMI規格におけるデータ伝送は、ビデオデータピリオド、データアイランドピリオド、コントロールピリオドの3つの期間に分けて行われる。このうちのビデオデータピリオドでEIA/CEA−86IB規格でフォーマットされたビデオ信号のピクセルデータ(ビデオデータ)が伝送され、データアイランドピリオドではIEC06958規格でフォーマットされたオーディオストリーム信号のパケットデータが伝送される。また、データアイランドピリオドでは、エンコードされた水平同期信号と垂直同期信号も伝送される。また、データアイランドピリオドには、TERC4(TMDS Error Reducing Coding in 4bit)符号法により4ビットデータを10ビットデータにエンコードして生成したパケットデータが含まれる。
表示部22は、受信部21から出力される画像信号S1を入力し、その画像信号S1に基づく画像を表示するものとして構成されている。
視認姿勢センサ23は、第1および第2のユーザU1,U2が装着するシャッタメガネm1,m2の表示部22に対する傾きなどの相対姿勢関係を検出し視認姿勢情報S3を生成して制御信号発信器24に出力するものとして構成されている。
制御信号発信器24は、視認姿勢センサ23からの視認姿勢情報S3と、受信部21からの同期信号S1とを入力して、視認姿勢情報S3と同期信号S2とに応じてシャッタメガネm1,m2を制御するためのシャッタメガネ制御信号S4を生成し発信出力するものとして構成されている。
第1および第2のユーザU1,U2が装着するシャッタメガネm1,m2それぞれの左眼用透過部、右眼用透過部がシャッタメガネ制御信号S4に従って透過・非透過にタイミング制御されるようになっている。なお、シャッタメガネm1,m2には、視認姿勢センサ23との間での無線の送受信を通じてユーザU1,U2の表示部22に対する相対姿勢関係を測定するための送受信部(図示せず)が設けられている。
ここで、立体画像表示装置E2における受信部21の動作を図2のフローチャートを用いて説明する。
まず、ステップn1で、受信部21は動作開始において内部変数iを「1」に初期化する。
次いでステップn2において、1番目の画像情報P1の出力タイミングを示す切替通知パケットを受信したかを判別する。ステップn2において、受信したと判断したときはステップn3に分岐し、そうでないときはステップn4に分岐する。
受信部21は、送信部12から送信されてくるTERC4(TMDS Error Reduction Coding‐4)符号化されたTMDS(Transition Minimized Differential Signaling)の復号化およびBCHエラー訂正処理を行い、正常受信したVSIパケットで切替通知パケットが存在するかどうかの判断を行う。TMDSは、パソコンやチューナとテレビ、ディスプレイとの間などでデータ通信のために用いられるデジタル信号伝送方式であり、「遷移時間最短差動信号伝送方式」とも呼ばれる。
なお、ステップn2では、正常受信したVSIパケットが切替通知パケットかどうかの判断のみ行い、送信部12から送信されてくるTMDSのTERC4復号化およびBCHエラー訂正処理は、ステップn2以外のステップと並行して行うようにしてもよい。
ステップn2で切替通知パケットを受信したと判断した結果、分岐したステップn3においては、内部カウンタiを「1」に初期化し、次いでステップn4に進む。
ステップn2またはステップn3の次のステップn4においては、ビデオフレームを受信したかどうかを判断し、受信していない場合はステップn2に戻り、受信したときはステップn5に移行する。受信部21は、送信部12から送信されてくるTMDSのパケットデータにおいて、TERC4符号化またはコントロールピリオド符号化されたVSYNC(垂直同期信号)を検出したかどうかをもって、ビデオフレーム受信の有無を判断する。
次いでステップn5において、受信したビデオフレームをi番目(iは内部変数)の画像信号S1として出力するとともに、出力した画像信号S1が第i番目のビデオカメラの画像であることを示す同期信号S2を出力する。
次いでステップn6において、内部変数iをインクリメントし、ステップn2に戻る。
次に、上記構成の本実施の形態の立体画像視認システムの動作を説明する。
立体画像再生装置E1は単一の伝送ケーブルであるHDMIケーブル30を介して複数位置の画像情報P1〜P4を1フレームずつ順に切り替えてHDMIのビデオデータとして送信する。このとき、1番目の画像情報P1を送信するたびに、1番目の画像情報P1を送信する前の、ビデオデータを出力しない期間であるデータアイランドピリオドにおいて切替通知パケットを送信する。この切替通知パケットの送信については、1番目の画像情報P1の垂直同期信号VSYNCをコントロールピリオドまたはデータアイランドピリオドにおいて出力するより前に、受信部21がデータアイランドピリオドの受信を完了し、エラー訂正処理を行う上で十分な期間をあけて行うものとする。
立体画像表示装置E2における受信部21は、HDMIケーブル30を介してビデオデータまたはパケットデータの受信開始を検出すると、図2に示すフローチャートに従って受信処理を開始する。すなわち、受信したビデオフレームを画像信号S1として表示部22に出力する。結果として、ビデオカメラV1〜V4の撮影した画像情報P1〜P4が順次サイクリックに切り替えられて画像信号S1として出力される。そして、受信部21は、これと同期して、現在出力中の画像信号S1が、第1〜第4のビデオカメラV1〜V4の撮影した画像情報P1〜P4のうちどの画像情報であるかを示す同期信号S2を制御信号発信器24に出力する。なお、受信部21がビデオフレームを受信しても切替通知パケットを1つも受信していない場合は、このビデオフレームが画像情報P1〜P4のうちどれであるかを一意に判別することができないため、受信したビデオフレームを画像信号S1として出力しなくてもよい。
制御信号発信器24は、視認姿勢センサ23からの視認姿勢情報S3と受信部21からの同期信号S2を基に、表示部22に出力する画像信号S1に同期したタイミングでシャッタメガネ制御信号S4を出力し、第1および第2のユーザU1,U2がそれぞれ装着するシャッタメガネm1,m2の左眼用透過部、右眼用透過部の透過・非透過のタイミング制御を行う。これにより、第1のシャッタメガネm1を装着する第1のユーザU1、第2のシャッタメガネm2を装着する第2のユーザU2は、それぞれ立体視が可能となる。
その他の動作については、図6〜図9で説明した従来技術と同様であるので説明を省略する。
本実施の形態の立体画像視認システムによれば、立体画像再生装置E1と立体画像表示装置E2とを単一の伝送ケーブルであるHDMIケーブル30で接続しているため、図6〜図9で説明した複数のビデオカメラのそれぞれから配線しなければならない従来技術に比べて、配線が大幅に簡素・容易なものとなる。
また、既存のHDMI規格に準拠したままの状態で、画像データの送受信を行うことができる。また、位置情報の伝送については、既存のHDMI規格におけるデータアイランドパケットを拡張して使用することができる。すなわち、立体画像再生装置E1、立体画像表示装置E2の実現に際して、既存のHDMI規格に準拠した送信部・受信部を用いて、少ない回路変更だけで対応することができる。
(実施の形態2)
本発明の実施の形態2は、複数の画像情報P1〜P4のうちユーザU1,U2の表示部22に対する相対姿勢関係によって不要となることがあらかじめ分かる画像情報については、これを立体画像再生装置E1から立体画像表示装置E2へ伝送することから排除するものである。このため、本実施の形態2では、立体画像表示装置E2における視認姿勢センサ23による視認姿勢情報S3を立体画像再生装置E1側に通知し、立体画像再生装置E1において受け取った視認姿勢情報S3に基づいて不要となる画像情報は選択候補から除外し、必要とされる画像情報のみを選択するように構成したものである。つまり、表示する必要のない画像情報を飛ばして選択するユーザ位置感応型に構成したものである。その狙いは、単一の伝送ケーブルであるHDMIケーブル30における伝送効率を向上させ、画像表示のフレームレートを上げることにある。
図3は本発明の実施の形態2における立体画像視認システムの全体の構成を示すブロック図である。図3において、実施の形態1の図1におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。
立体画像再生装置E1において、実施の形態1の場合の送信部12に代えて、再生装置側の送受信部12aが設けられている。また、立体画像表示装置E2において、実施の形態1の場合の受信部21に代えて、表示装置側の送受信部21aが設けられている。立体画像再生装置E1における再生装置側の送受信部12aと立体画像表示装置E2における表示装置側の送受信部21aとは、単一の伝送ケーブルであるHDMIケーブル30を介して双方向に伝送可能なように接続されている。
立体画像表示装置E2における視認姿勢センサ23は、生成した視認姿勢情報S3を表示装置側の送受信部21aに出力する機能を有するものとして構成されている。
立体画像表示装置E2における表示装置側の送受信部21aは、実施の形態1における受信部21がもつ機能に加えて、視認姿勢センサ23から入力した視認姿勢情報S3を単一の伝送ケーブルであるHDMIケーブル30を介して立体画像再生装置E1における再生装置側の送受信部12aに中継する機能を有するものとして構成されている。表示装置側の送受信部21aは、視認姿勢情報S3を、HDMIのCEC(Consumer Electronics Control)を用いて再生装置側の送受信部12aに通知するようになっている。
立体画像再生装置E1における再生装置側の送受信部12aは、実施の形態1における送信部12がもつ機能に加えて、立体画像表示装置E2から受け取った視認姿勢情報S3に従って、画像出力部11からの複数位置の画像情報P1〜P4の各フレームのうち1つ以上を選択し、選択した画像情報について1フレームずつ順にHDMIのビデオデータとして出力し、併せてビデオデータの出力タイミングに同期してVSIパケットを用いて切替通知パケットを送信するものとして構成されている。
より詳しくは、再生装置側の送受信部12aは、複数位置の画像情報P1〜P4のうちから、視認姿勢情報S3に従って第1のユーザU1の第1のシャッタメガネm1用に左眼用画像信号と右眼用画像信号を選択し、それぞれを第1、第2の選択画像情報(HDMIのビデオデータ)として出力するとともに、同じく、複数位置の画像情報P1〜P4のうちから、視認姿勢情報S3に従って第2のユーザU2の第2のシャッタメガネm2用に左眼用画像信号と右眼用画像信号を選択し、それぞれを第3、第4の選択画像情報(HDMIのビデオデータ)として出力するように構成されている。これら視認姿勢情報S3に従う画像情報の選択においては、ユーザU1,U2の視認姿勢において表示部22を視認した場合に最も立体視に好適な画像が選択されるような処理である。再生装置側の送受信部12aが切替通知パケットを送信するタイミングは、第1の選択画像情報を出力するタイミングである。
図4は視認姿勢センサ23からの視認姿勢情報S3と複数位置の画像情報P1〜P4との相関関係でシャッタメガネm1,m2に供給すべきシャッタメガネ制御信号S4がどのように規定されるかを示す。
図5は再生装置側の送受信部12aにおいて、第1および第2のユーザU1,U2がおかれている視認姿勢すなわち視認姿勢情報S3とそれに応じて選択すべき画像情報との関係を示す。
その他の構成については、実施の形態1と同様であるので説明を省略する。
次に、上記構成の本実施の形態の立体画像視認システムの動作を説明する。
一例として、第1のユーザU1は表示部22に対して右に90度傾いて視認し、第2のユーザU2は表示部22に対して左に90度傾いて視認している場合について説明する。ここで注意すべきことは、表示部22の方からユーザU1,U2を見たときの姿勢の傾きであるということである。第1のユーザU1が表示部22に対して右に90度傾いているということは、図7の位置関係において、第1のユーザU1が図面上左方向へ90度傾いていることに対応している。また、第2のユーザU2が表示部22に対して左に90度傾いているということは、図7のとおりの状態に対応している。表示部22に対するユーザU1,U2の傾き方向については、図7の位置関係に対して逆になっていることに留意すべきである。
表示部22に対して右に90度傾いている第1のユーザU1が装着する第1のシャッタメガネm1が必要とするのは、その左眼用透過部では第4のビデオカメラV4による画像情報P4であり、右眼用透過部では第2のビデオカメラV2による画像情報P2である。
また、表示部22に対して左に90度傾いている第2のユーザU2が装着する第2のシャッタメガネm2が必要とするのは、その左眼用透過部では第2のビデオカメラV2による画像情報P2であり、右眼用透過部では第4のビデオカメラV4による画像情報P4である。
以上を踏まえると、第1および第2のシャッタメガネm1,m2のいずれに対しても、第3のビデオカメラV3による画像情報P3も第4のビデオカメラV4による画像情報P4も表示が必要ないということになる。したがって、本動作例では、立体画像表示装置E2において視認姿勢センサ23からの視認姿勢情報S3が表示装置側の送受信部21aに送られ、さらにHDMIケーブル30を介して立体画像再生装置E1の再生装置側の送受信部12aに視認姿勢情報S3が通知されると、再生装置側の送受信部12aは画像出力部11からの4つの画像情報P1〜P4のうち、視認姿勢情報S3に基づく判断で必要とされる第2の画像情報P2と第4の画像情報P4のみを選択することとし、視認姿勢情報S3に基づく判断で不要とされる第1の画像情報P1と第3の画像情報P3とは選択対象から除外するのである。以下、詳しく説明する。
立体画像表示装置E2において視認姿勢センサ23によって第1および第2のユーザU1,U2の視認姿勢が検出され、視認姿勢情報S3が表示装置側の送受信部21aに出力される。さらに、単一の伝送ケーブルであるHDMIケーブル30を介して立体画像再生装置E1の再生装置側の送受信部12aに視認姿勢情報S3が通知される。
本動作例の場合、上述のとおり、第1のユーザU1は表示部22に対して右に90度傾いている。図4を参照すると、右90度においては、左眼用画像信号として第4のビデオカメラV4による画像情報P4が該当し、右眼用画像信号として第2のビデオカメラV2による画像情報P2が該当している。また、第2のユーザU2は表示部22に対して左に90度傾いている。図4を参照すると、左90度においては、左眼用画像信号として第2のビデオカメラV2による画像情報P2が該当し、右眼用画像信号として第4のビデオカメラV4による画像情報P4が該当している。第1のビデオカメラV1による画像情報P1については、右90度の傾きでも左90度の傾きでも、ともに送信しないとなっている。第3のビデオカメラV3による画像情報P3についても、右90度の傾きでも左90度の傾きでも、ともに送信しないとなっている。
そこで、視認姿勢情報S3を受け取った立体画像再生装置E1の再生装置側の送受信部12aは、第1のユーザU1が装着する第1のシャッタメガネm1のための左眼用画像信号として第4の画像情報P4を選択するとともに、第1のシャッタメガネm1のための右眼用画像信号として第2の画像情報P2を選択する。さらに、再生装置側の送受信部12aは、第2のユーザU2が装着する第2のシャッタメガネm2のための左眼用画像信号として第2の画像情報P2を選択するとともに、第2のシャッタメガネm2のための右眼用画像信号として第4の画像情報P4を選択する。そして、これらを順に第1の選択画像情報、第2の選択画像情報、第3の選択画像情報、第4の選択画像情報とし、HDMIのビデオデータとして繰り返してHDMIケーブル30を介して立体画像表示装置E2の表示装置側の送受信部21aに向けて送信する。したがって、第1のビデオカメラV1による画像情報P1と第3のビデオカメラV3による画像情報P3とは再生装置側の送受信部12aから送信されることはない。
また、1番目の選択画像情報である第1のシャッタメガネm1のための左眼用画像信号をビデオデータとして送信する前の、ビデオデータを出力しない期間であるデータアイランドピリオドに切替通知パケットを送信する。この場合に、切替通知パケットの送信は、第1のシャッタメガネm1のための左眼用画像信号の垂直同期信号VSYNCをコントロールピリオドまたはデータアイランドピリオドに出力するより前において、表示装置側の送受信部21aがデータアイランドピリオドの受信を完了し、エラー訂正処理を行うのに十分な期間をあけて行うものとする。
立体画像表示装置E2における表示装置側の送受信部21aは、HDMIケーブル30よりビデオデータまたはパケットデータの受信開始を検出すると、図2に示すフローチャートに従って受信処理を開始する。表示装置側の送受信部21aは、受信したビデオデータを画像信号S1として出力するとともに、これと同期して画像信号S1が第1〜第4の選択画像情報のうちのどの選択画像情報であるかを示す同期信号S2を出力する。なお、表示装置側の送受信部21aがビデオフレームを受信しても、切替通知パケットを1つも受信していない場合は、このビデオフレームが第1〜第4の選択画像情報のうちのどれであるかを一意に判別することができないため、受信したビデオフレームを画像信号S1として出力しなくてもよい。
制御信号発信器24は、図5に示す通り、第1の選択画像情報すなわち第1のユーザU1が装着する第1のシャッタメガネm1のための左眼用画像信号の表示中に、第1のシャッタメガネm1の左眼用透過部を透過状態にするとともに、第1のシャッタメガネm1および第2のシャッタメガネm2のそれ以外の透過部を非透過状態にする。
さらに、第2の選択画像情報すなわち第1のシャッタメガネm1のための右眼用画像信号の表示中に、第1のシャッタメガネm1の右眼用透過部を透過状態にするとともに、第1のシャッタメガネm1および第2のシャッタメガネm2のそれ以外の透過部を非透過状態にする。
さらに、第3の選択画像情報すなわち第2のユーザU2が装着する第2のシャッタメガネm2のための左眼用画像信号を表示中に、第2のシャッタメガネm2の左眼用透過部を透過状態にするとともに、第1のシャッタメガネm1および第2のシャッタメガネm2のそれ以外の透過部を非透過状態にする。
さらに、第4の選択画像情報すなわち第2のシャッタメガネm2のための右眼用画像信号を表示中に、第2のシャッタメガネm2の右眼用透過部を透過状態にするとともに、第1のシャッタメガネm1および第2のシャッタメガネm2のそれ以外の透過部を非透過状態にする。
以上により、再生装置側の送受信部12aが複数の各ユーザについて選択した画像情報が、シャッタメガネm1,m2を適切に装着したユーザU1,U2によって正しく立体視されることになる。
本実施の形態によれば、単一の伝送ケーブルであるHDMIケーブル30における伝送効率を向上させ、画像表示のフレームレートを上げることができる。
なお、本実施の形態では、ユーザが2名の場合について説明したが、例えば第3のユーザを追加する場合は、再生装置側の送受信部12aが第5、第6の選択画像情報の送信を行い、制御信号発信器24が第5、第6の選択画像情報を表示中に、それぞれ第3のユーザの左眼用透過部、右眼用透過部を透過状態することにより対応可能であり、ユーザが4名以上の場合も同様である。
なお、実施の形態1,2では説明のため、4台のビデオカメラによって撮影された画像を用いた立体画像視認システムの例を示したが、本発明は使用するビデオカメラの数や配置を限定するものではなく、また、ビデオカメラが撮影した画像の代わりに3次元データを使用するコンピュータグラフィックスによる画像などを用いた場合でも、本発明による立体画像システムは実施可能である。つまり、3Dモデルを基に複数アングルからのコンピュータグラフィックスを同時に描画可能な家庭用ゲーム機などをビデオカメラの代わりに使用した構成が考えられる。
なお、上記の実施の形態1,2では、ユーザU1,U2が表示部22にほぼ正対して画面を視認するようになっているが、複数のビデオカメラの集合からなる画像撮影部の数をさらに増やし、その複数の画像撮影部を被写体に対して互いに異なる複数箇所に配置し、表示部22に対するユーザの位置がどのように変化しても、いずれの位置からでも所期通りに立体視ができるようにしてもよい。これは、特許文献1と同様に、表示部が平面状に配置され、ユーザが平面状の表示部に対してどのような位置関係にあっても(正規の位置以外に反対の向かい側の位置や左横の位置や右横の位置いずれでも)、所期通りに立体視できるようにする上で好適である。
この場合、制御信号発信器24について、ユーザの頭部の傾き以外に、ユーザの表示部22に対する相対的な視認方位に応じたシャッタメガネ制御信号を発信するよう構成することで、ユーザの表示部に対する相対的な視認方位の変化に対応することが可能である。このとき、制御信号発信器24からのシャッタメガネ制御信号S4によってすべてのシャッタメガネが左右ともに不透過となり、すべてのユーザが視認できない画像に関しては、再生装置側の送受信部12aは視認姿勢センサ23からの視認姿勢情報S3に従って、再生装置側の送受信部12aから立体画像表示装置E2に画像が送信されない構成にする。多視点からの同時視認も可能である。
本発明の技術は、ホームシアター等における立体画像の視認や、コンピュータグラフィックスを使用した家庭用ゲーム機などに応用される立体画像表示装置、立体画像再生装置および立体画像視認システムとして有用である。
なお、撮影位置情報の伝送にデータアイランドパケットを拡張して使用すれば、既存のHDMI規格に準拠した送信部・受信部を用いてデータの送受信が可能となり、少ない回路変更で立体画像再生装置を実現できる。
C1〜C4 伝送ケーブル
E1 立体画像再生装置
E2 立体画像表示装置
E3 画像選択装置
m1 第1のシャッタメガネ(液晶メガネ)
m2 第2のシャッタメガネ(液晶メガネ)
n1〜n6 受信部の処理ステップ
P1〜P4 第1〜第4の画像
S1 画像信号
S2 同期信号
S3 視認姿勢情報
S4 シャッタメガネ制御信号
U1 第1のユーザ
U2 第2のユーザ
V1〜V4 第1〜第4のビデオカメラ
11 画像出力部
12 送信部
12a 再生装置側の送受信部
21 受信部
21a 表示装置側の送受信部
22 表示部
23 視認姿勢センサ
24 制御信号発信器
30 HDMIケーブル
40 画像撮影部のファインダ
50 被写体

Claims (12)

  1. 被写体を互いに異なる複数の位置から撮影して得られるところの立体画像の元になる複数位置の画像情報に対応するビデオデータを伝送ケーブルを介して受信し、受信した前記ビデオデータを画像信号として出力するとともに、現在出力中の画像信号が前記複数の位置のいずれに対応するかを示す同期信号を併せて出力する受信部と、
    前記受信部から出力される前記画像信号を入力して画像を表示する表示部と、
    前記表示部に対するシャッタメガネの相対姿勢関係を示す視認姿勢情報と、前記受信部から出力される前記同期信号とを入力して、前記視認姿勢情報と前記同期信号とに応じて前記シャッタメガネの左眼用透過部と右眼用透過部を制御するためのシャッタメガネ制御信号を生成出力する制御信号発信器とを備え、
    前記受信部は、前記ビデオデータを受信するための前記伝送ケーブルが単一の伝送ケーブルに構成されていることを特徴とする立体画像表示装置。
  2. 被写体を互いに異なる複数の位置から撮影して得られるところの立体画像の元になる複数位置の画像情報のうちから選択された選択画像情報に対応するビデオデータを伝送ケーブルを介して受信し、受信した前記ビデオデータを画像信号として出力するとともに、現在出力中の画像信号が前記複数の位置のいずれに対応するかを示す同期信号を併せて出力する表示装置側の送受信部と、
    前記表示装置側の送受信部から出力される前記画像信号を入力して画像を表示する表示部と、
    前記表示部に対するシャッタメガネの相対姿勢関係を示す視認姿勢情報と、前記表示装置側の送受信部から出力される前記同期信号とを入力して、前記視認姿勢情報と前記同期信号とに応じて前記シャッタメガネの左眼用透過部と右眼用透過部を制御するためのシャッタメガネ制御信号を生成出力する制御信号発信器とを備え、
    前記表示装置側の送受信部は、前記ビデオデータを受信するための前記伝送ケーブルが単一の伝送ケーブルに構成され、かつ、前記視認姿勢情報を入力した上で前記複数位置の画像情報のうちから前記選択画像情報を選択させるために前記単一の伝送ケーブルに送信するように構成されていることを特徴とする立体画像表示装置。
  3. 前記受信部は、前記立体画像の元になる複数位置の画像を同じ順序でサイクリックに切り替える場合に順序が一巡したことを示す切替通知パケットを前記単一の伝送ケーブルを介して受信し、受信した切替通知パケットに基づいて前記同期信号を生成出力するように構成されている請求項1に記載の立体画像表示装置。
  4. 前記表示装置側の送受信部は、前記選択画像情報を同じ順序でサイクリックに切り替える場合に順序が一巡したことを示す切替通知パケットを前記単一の伝送ケーブルを介して受信し、受信した切替通知パケットに基づいて前記同期信号を生成出力するように構成されている請求項2に記載の立体画像表示装置。
  5. さらに、前記制御信号発信器が入力する前記視認姿勢情報を生成出力するもので、前記表示部に対する前記シャッタメガネの相対姿勢関係を検出する視認姿勢センサを備えている請求項1から請求項4までのいずれかに記載の立体画像表示装置。
  6. 前記制御信号発信器は、前記シャッタメガネ制御信号が前記シャッタメガネの左眼用透過部と右眼用透過部を互いに独立した状態で遮蔽するための制御信号である請求項1から請求項5までのいずれかに記載の立体画像表示装置。
  7. 被写体を互いに異なる複数の位置から撮影して得られるところの立体画像の元になる複数位置の画像情報と、前記複数の位置に関する複数の撮影位置情報とを関連付けて出力する画像出力部と、
    前記画像出力部から出力される前記撮影位置情報を伴う前記複数位置の画像情報をサイクリックに切り替えてビデオデータとして伝送ケーブルを介して送信する送信部とを備え、
    前記送信部は、前記ビデオデータを送信するための前記伝送ケーブルが単一の伝送ケーブルに構成されていることを特徴とする立体画像再生装置。
  8. 被写体を互いに異なる複数の位置から撮影して得られるところの立体画像の元になる複数位置の画像情報と、前記複数の位置に関する複数の撮影位置情報とを関連付けて出力する画像出力部と、
    前記画像出力部から出力される前記撮影位置情報を伴う前記複数位置の画像情報のうちから選択した選択画像情報をサイクリックに切り替えてビデオデータとして伝送ケーブルを介して送信する再生装置側の送受信部とを備え、
    前記再生装置側の送受信部は、前記ビデオデータを送信するための前記伝送ケーブルが単一の伝送ケーブルに構成され、かつ、前記単一の伝送ケーブルを介して受け取った視認姿勢情報に従って前記複数位置の画像情報のうちからの前記選択画像情報の選択を行うように構成されていることを特徴とする立体画像再生装置。
  9. 前記送信部は、前記サイクリックに送信される画像情報のうち先頭の画像情報が前記ビデオデータとして送信されるのに同期して順序が一巡したことを示す切替通知パケットを送信するように構成されている請求項7に記載の立体画像再生装置。
  10. 前記再生装置側の送受信部は、前記サイクリックに送信される選択画像情報のうち最初に選択される画像情報が前記ビデオデータとして送信されるのに同期して順序が一巡したことを示す切替通知パケットを送信するように構成されている請求項8に記載の立体画像再生装置。
  11. 請求項7または請求項8に記載の立体画像再生装置と、請求項1または請求項2に記載の立体画像表示装置とからなる立体画像視認システムであって、前記立体画像再生装置と前記立体画像表示装置とが単一の伝送ケーブルを介して接続されていることを特徴とする立体画像視認システム。
  12. 被写体を互いに異なる複数の位置から撮影するための複数のビデオカメラの集合体である画像撮影部が複数あって、それら複数の画像撮影部が被写体に対して互いに異なる方位に配置されている場合に、前記立体画像再生装置における前記画像出力部は、それら複数の画像撮影部それぞれにおける前記複数のビデオカメラが撮影して得られるところの立体画像の元になる複数位置の画像情報を出力するように構成され、
    前記立体画像表示装置における前記制御信号発信器は、前記視認姿勢情報について、前記表示部に対する前記シャッタメガネの相対姿勢関係に加えて前記表示部に対するシャッタメガネの相対方位関係をも加味した情報となし、その相対方位関係を加味した視認姿勢情報に応じて前記シャッタメガネの左眼用透過部と右眼用透過部を制御するためのシャッタメガネ制御信号を生成するものとして構成されている請求項11に記載の立体画像視認システム。
JP2009104015A 2009-04-22 2009-04-22 立体画像表示装置、立体画像再生装置および立体画像視認システム Pending JP2010258583A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009104015A JP2010258583A (ja) 2009-04-22 2009-04-22 立体画像表示装置、立体画像再生装置および立体画像視認システム
PCT/JP2010/001837 WO2010122711A1 (ja) 2009-04-22 2010-03-15 立体画像表示装置、立体画像再生装置および立体画像目視システム
US13/277,015 US20120033048A1 (en) 2009-04-22 2011-10-19 3d image display apparatus, 3d image playback apparatus, and 3d image viewing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009104015A JP2010258583A (ja) 2009-04-22 2009-04-22 立体画像表示装置、立体画像再生装置および立体画像視認システム

Publications (1)

Publication Number Publication Date
JP2010258583A true JP2010258583A (ja) 2010-11-11

Family

ID=43010841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009104015A Pending JP2010258583A (ja) 2009-04-22 2009-04-22 立体画像表示装置、立体画像再生装置および立体画像視認システム

Country Status (3)

Country Link
US (1) US20120033048A1 (ja)
JP (1) JP2010258583A (ja)
WO (1) WO2010122711A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012066997A1 (ja) * 2010-11-16 2012-05-24 シャープ株式会社 立体表示システム
JP2012129845A (ja) * 2010-12-16 2012-07-05 Jvc Kenwood Corp 画像処理装置
WO2012140841A1 (ja) * 2011-04-11 2012-10-18 ルネサスエレクトロニクス株式会社 画像表示方法、制御装置、眼鏡、画像システム及び合成装置
JP2012205262A (ja) * 2011-03-28 2012-10-22 Casio Comput Co Ltd 表示システム、表示装置、および、表示補助装置
JP2018050179A (ja) * 2016-09-21 2018-03-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、画像生成方法およびヘッドマウントディスプレイ

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US8402502B2 (en) * 2010-06-16 2013-03-19 At&T Intellectual Property I, L.P. Method and apparatus for presenting media content
US8640182B2 (en) * 2010-06-30 2014-01-28 At&T Intellectual Property I, L.P. Method for detecting a viewing apparatus
US9787974B2 (en) * 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US8947511B2 (en) 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
FR2970682B1 (fr) * 2011-01-25 2013-01-11 Renault Sas Procede de pilotage d'un moyen de recuperation de l'energie generee au freinage d'un vehicule automobile
US9398285B2 (en) 2011-05-04 2016-07-19 Scott Andrew Campbell Methods and apparatus for producing and capturing three dimensional images
US20140098200A1 (en) * 2011-05-27 2014-04-10 Nec Casio Mobile Communications, Ltd. Imaging device, imaging selection method and recording medium
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
EP2717580A1 (en) * 2012-10-05 2014-04-09 BlackBerry Limited Methods and devices for generating a stereoscopic image
US9148651B2 (en) 2012-10-05 2015-09-29 Blackberry Limited Methods and devices for generating a stereoscopic image
WO2015034157A1 (ko) * 2013-09-04 2015-03-12 삼성전자주식회사 Eia 생성 방법 및 이를 수행할 수 있는 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07143523A (ja) * 1993-11-20 1995-06-02 Ikuo Ishii 三次元画像表示システムにおける観察点位置検出装置並びにスタイラス操作装置
JP3234395B2 (ja) * 1994-03-09 2001-12-04 三洋電機株式会社 立体動画像符号化装置
JP3397602B2 (ja) * 1996-11-11 2003-04-21 富士通株式会社 画像表示装置及び方法
JP5055570B2 (ja) * 2006-08-08 2012-10-24 株式会社ニコン カメラおよび画像表示装置並びに画像記憶装置
JP4291862B2 (ja) * 2007-07-04 2009-07-08 稔 稲葉 立体テレビジョンシステム及び立体テレビジョン受像機
JP5338166B2 (ja) * 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
KR101362771B1 (ko) * 2008-09-17 2014-02-14 삼성전자주식회사 입체 영상 표시 방법 및 장치
KR101324440B1 (ko) * 2009-02-11 2013-10-31 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012066997A1 (ja) * 2010-11-16 2012-05-24 シャープ株式会社 立体表示システム
JP2012129845A (ja) * 2010-12-16 2012-07-05 Jvc Kenwood Corp 画像処理装置
JP2012205262A (ja) * 2011-03-28 2012-10-22 Casio Comput Co Ltd 表示システム、表示装置、および、表示補助装置
US8994797B2 (en) 2011-03-28 2015-03-31 Casio Computer Co., Ltd. Display system, display device and display assistance device
WO2012140841A1 (ja) * 2011-04-11 2012-10-18 ルネサスエレクトロニクス株式会社 画像表示方法、制御装置、眼鏡、画像システム及び合成装置
JPWO2012140841A1 (ja) * 2011-04-11 2014-07-28 ルネサスエレクトロニクス株式会社 画像表示方法、制御装置、眼鏡、画像システム及び合成装置
JP2018050179A (ja) * 2016-09-21 2018-03-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、画像生成方法およびヘッドマウントディスプレイ
US11184597B2 (en) 2016-09-21 2021-11-23 Sony Interactive Entertainment Inc. Information processing device, image generation method, and head-mounted display

Also Published As

Publication number Publication date
WO2010122711A1 (ja) 2010-10-28
US20120033048A1 (en) 2012-02-09

Similar Documents

Publication Publication Date Title
JP2010258583A (ja) 立体画像表示装置、立体画像再生装置および立体画像視認システム
JP5745822B2 (ja) 再生モード切替方法、出力モード切替方法及びこれを用いたディスプレイ装置と3d映像提供システム
JP4717728B2 (ja) ステレオ表示装置及びその制御方法
JP2012518317A (ja) 3d観察者メタデータの転送
US20110248989A1 (en) 3d display apparatus, method for setting display mode, and 3d display system
JP2011525075A (ja) 移動機器用立体画像生成チップ及びこれを用いた立体画像表示方法
JP2014506053A (ja) マルチビューシステムにおいてモノビジョンを提供する方法および装置
JP5129376B1 (ja) 映像処理装置および映像処理方法
EP2424259A2 (en) Stereoscopic video display system with 2D/3D shutter glasses
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
JP6581241B2 (ja) 平板パネルにおける立体映像入力のためのハードウェアシステム
KR101888082B1 (ko) 영상표시장치 및 그 동작방법
US20110134226A1 (en) 3d image display apparatus and method for determining 3d image thereof
JP4806082B2 (ja) 電子機器及び画像出力方法
JP2012186652A (ja) 電子機器、画像処理方法及び画像処理プログラム
JP2012089906A (ja) 表示制御装置
JP2012244625A (ja) 適応型タイミングコントローラ及びその駆動方法
KR101638959B1 (ko) 출력모드 전환방법 및 이를 이용한 디스플레이 장치와 3d 영상 제공 시스템
JP2014207492A (ja) 立体映像表示装置
JP2014022947A (ja) 立体視映像伝送装置、立体視映像伝送方法及び立体視映像処理装置
US8830150B2 (en) 3D glasses and a 3D display apparatus
JP4481275B2 (ja) 3次元映像情報の伝送方法
JP2014027351A (ja) 画像処理装置、画像処理方法及びプログラム
KR101620969B1 (ko) 디스플레이 장치 및 이에 적용되는 3d 영상 미리보기 제공 방법, 그리고 3d 영상 제공 시스템
KR100868244B1 (ko) 이동 기기를 이용한 입체 영상 생성 방법 및 이동 기기용 입체 영상 생성 칩