JP2014175813A - Stereoscopic video display method and device - Google Patents

Stereoscopic video display method and device Download PDF

Info

Publication number
JP2014175813A
JP2014175813A JP2013046075A JP2013046075A JP2014175813A JP 2014175813 A JP2014175813 A JP 2014175813A JP 2013046075 A JP2013046075 A JP 2013046075A JP 2013046075 A JP2013046075 A JP 2013046075A JP 2014175813 A JP2014175813 A JP 2014175813A
Authority
JP
Japan
Prior art keywords
video
stereoscopic
image
display
video display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013046075A
Other languages
Japanese (ja)
Inventor
Shigeru Terada
茂 寺田
Yasunori Nakamura
康則 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FA SYSTEM ENGINEERING CO Ltd
SYSTEM ENGINEERING CO Ltd FA
Original Assignee
FA SYSTEM ENGINEERING CO Ltd
SYSTEM ENGINEERING CO Ltd FA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FA SYSTEM ENGINEERING CO Ltd, SYSTEM ENGINEERING CO Ltd FA filed Critical FA SYSTEM ENGINEERING CO Ltd
Priority to JP2013046075A priority Critical patent/JP2014175813A/en
Publication of JP2014175813A publication Critical patent/JP2014175813A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a stereoscopic video display method and a stereoscopic video display device that take eye health into consideration by suppressing eye fatigue in observing three-dimensional video.SOLUTION: Stereoscopic video display areas 12b, 13b and a planar video display area 11a surrounding the whole periphery of the stereoscopic video display areas are provided in video displayed on an image display surface 18 of a stereoscopic video display device, three-dimensional video is displayed in the stereoscopic video display areas, and two-dimensional video is displayed in the planar video display area, thereby suppressing a sense of incongruity in observing the three-dimensional video, so that eye fatigue is suppressed.

Description

本発明は、眼の衛生に配慮した立体映像表示方法および装置に関する。   The present invention relates to a stereoscopic image display method and apparatus in consideration of eye hygiene.

近年3D映像技術が急速に進展してきて、いろいろな局面で3D映像を利用することができるようになってきた。たとえば展示会や学術講演会などでも、実物に対する再現性が高い3D映像を使用する場面が増えてきた。特に外科手術の検討会などにおいて、臨場感が高い立体映像の活用が期待されている。また、立体映像のテレビ放送も試みられている。   In recent years, 3D video technology has been rapidly developed, and 3D video can be used in various aspects. For example, even in exhibitions and academic lectures, there are an increasing number of scenes where 3D images with high reproducibility to the actual object are used. In particular, the use of stereoscopic images with a high sense of realism is expected in surgical review meetings. In addition, stereoscopic television broadcasting has been attempted.

現状では通常、立体映画は、映画館のスクリーン上にサイドバイサイドの映像信号またはLR2ストリームの映像信号を使った2視差立体表示方式による立体映像表示が行われ、立体メガネにより視聴している。
また、見本市や講演会などでは、液晶表示装置、大きな画面が必要なときはプロジェクション装置を用いて、2視差立体表示方式による立体映像表示が行われている。
さらに、立体映像放送も一部の民放、CATV(ケーブルテレビ)、IPTV(インターネットプロトコルを使用したテレビ放送)などで行われており、多くは従来のものと同様に扱えるサイドバイサイドの映像信号を送信して3D受像器に映像を表示させ、立体メガネを使って視聴している。
これらの立体映像表示方法では、通常、全画面に3次元映像を表示させている。
At present, a stereoscopic movie is normally displayed on a movie theater screen by stereoscopic glasses using a two-parallax stereoscopic display method using a side-by-side video signal or an LR2 stream video signal.
Also, at trade shows and lectures, stereoscopic video display is performed by a two-parallax stereoscopic display method using a liquid crystal display device and a projection device when a large screen is required.
In addition, stereoscopic video broadcasting is also performed on some commercial broadcasts, CATV (cable television), IPTV (television broadcasting using the Internet protocol), etc., and many transmit side-by-side video signals that can be handled in the same way as conventional ones. Video is displayed on a 3D receiver and viewed using stereoscopic glasses.
In these three-dimensional video display methods, a three-dimensional video is usually displayed on the entire screen.

これらの2視差立体表示方式は、右目と左目の視差に対応する映像をそれぞれの眼に表示すれば、立体感を得ることができるという原理を利用する。
この方式では、人は、表示スクリーンや自照式表示装置などの表示面に提示された、左右異なるLR映像に右目と左目の焦点を合わせて、LR映像を合成することにより立体映像を認識する。脳が表示装置の表示面と異なる位置に立体を知覚しているのに対して、眼は表示面上に焦点合わせをしようとするため、立体視における調節と輻輳の間に矛盾が生じると信じられている。この考え方によると、この矛盾が立体映像観察時の眼精疲労の原因となるとされる。
These two-parallax stereoscopic display systems use the principle that a stereoscopic effect can be obtained if images corresponding to the parallax of the right eye and the left eye are displayed on the respective eyes.
In this method, a person recognizes a stereoscopic image by synthesizing an LR image by focusing the right eye and the left eye on different left and right LR images presented on a display surface such as a display screen or a self-illuminating display device. While the brain perceives a solid at a different position from the display surface of the display device, the eye tries to focus on the display surface, so it is believed that there will be a contradiction between accommodation and convergence in stereoscopic vision. It has been. According to this concept, this contradiction is considered to cause eye strain during stereoscopic image observation.

しかし、日本バーチャルリアリティ学会論文誌(TVRSJ)Vol.16 NO.2 pp.139−148,2011(宮尾克ら)によると、脳は表示装置の表示画像と同じ位置に立体を知覚し、眼も立体映像表示位置に焦点合わせることが実験で示された。このことは上の記述と矛盾するが、上の記述は科学的実験データに裏付けられたものではないために、確かな信頼性に欠けていると考えられる。人間の目は、訓練により獲得された機能かもしれないが、元来見ようとするものを目標物とし、そこに目の輻輳と焦点を合わせるようにできている。こう考えると実験結果も合わせて上記論文の正しさが理解できる。   However, the Virtual Reality Society of Japan Journal (TVRSJ) Vol. 16 NO. 2 pp. According to 139-148, 2011 (Katsu Miyao et al.), It has been experimentally shown that the brain perceives a solid at the same position as the display image of the display device, and focuses the eyes on the stereoscopic video display position. This contradicts the above description, but the above description is not supported by scientific experimental data, so it is considered to lack certain reliability. The human eye may be a function acquired by training, but it is designed to focus on the vergence of the eye, with what is originally intended to be seen as a target. Thinking like this, you can understand the correctness of the above paper together with the experimental results.

すなわち、3D映像で右目と左目に網膜上、違う位置に写し出された場合、網膜上同じ位置に写し出すように、人は目の両眼輻輳機能を働かせて眼球を動かす。そのとき焦点は輻輳に連動するが、一般的に3D映像は焦点深度の深い映像を作成しているので焦点をどこに移動させても映像がボケることはない。逆に焦点はどこにあっても焦点深度の深い映像を見る限り視聴に問題がないにも関わらず、提示される動画3D映像に引きずられて目の輻輳と焦点移動が激しく変化する。この変化が日常を超えた非日常的動作であり3D映像視聴時の疲労となって現れている。動画映像においては特に同一位置における映像の左右映像の奥行の変化、映像内のあらゆる点における左右映像の奥行の大きさの違いがこの疲れを増幅している。   That is, in the case where the right eye and the left eye are projected at different positions on the retina in the 3D image, the person moves the eyeball by using the binocular convergence function of the eyes so as to project at the same position on the retina. At that time, the focus is linked to the convergence, but generally 3D images create images with a deep depth of focus, so the image will not be blurred no matter where the focus is moved. On the other hand, as long as an image with a deep depth of focus is viewed no matter where the focal point is, there is no problem in viewing, but the convergence of the eye and the movement of the focus change drastically by being dragged by the presented moving image 3D image. This change is an extraordinary action that exceeds everyday life and appears as fatigue when viewing 3D images. In the case of a moving image, this fatigue is particularly amplified by the change in the depth of the left and right images of the image at the same position and the difference in the depth of the left and right images at every point in the image.

一方、静止画による2枚の右目左目用に作成された立体映像の立体視では、人の目の輻輳は静止画面に位置して奥行の差異がないにもかかわらず、映像全体が立体的に見えている。このとき、目の輻輳と焦点の変化が日常を超えておらず、長時間の視聴に疲れは発生しない。なお、凝視している映像以外で発生する立体感は網膜上、右目と左目の網膜に投影される映像のズレによって立体を認識している。   On the other hand, in the stereoscopic view of a stereoscopic image created for two right and left eyes with still images, the entire image is stereoscopically displayed even though the congestion of human eyes is located on the still screen and there is no difference in depth. I can see it. At this time, the convergence of the eyes and the change of focus do not exceed the daily routine, and fatigue does not occur for long-time viewing. Note that the three-dimensional effect generated other than the staring image recognizes the three-dimensional image by the shift of the image projected on the retina on the right eye and the left eye retina.

また、従来の2D映像のTV視聴は、表示面から右目と左目に同じ映像を取込んで、目の輻輳と焦点が表示画面から外れることはなく、一定位置に固定されるため、違和感と同時に疲労を感ずることはない。よく、目が疲れるから一点を見続けることを避けるようにと言われるが、これもまた輻輳と焦点が長時間にわたって変動することがない非日常的な状態を避けることに通じる。
以上の通り、3D映像の提示において目の輻輳と焦点の変化をいかに非日常的にしないように抑えるかが、眼の衛生に配慮した立体映像表示方法において重要な観点となる。
In addition, conventional TV viewing of 2D video captures the same video from the right and left eyes from the display surface, and the convergence and focus of the eyes do not deviate from the display screen and are fixed at a fixed position. I don't feel tired. It is often said to avoid looking at a point because the eyes are tired, but this also leads to avoiding an extraordinary situation where the congestion and focus do not fluctuate over time.
As described above, it is an important viewpoint in a stereoscopic image display method in consideration of eye hygiene how to suppress the convergence of the eyes and the change of the focus so as not to be unusual in the presentation of the 3D image.

たとえば、独立行政法人情報通信研究機構(NICT)が立体映像を視聴する場合の疲労を調査している。また、多くの論文や講演会における報告などでも、3D映像の視聴環境に伴う安全性についての議論がなされている。
3D映像は、これを視聴する者に一定の割合で眼精疲労などの健康上の問題を生じることが実証されており、不特定多数が視聴する放送には現状では採用し難いとする放送事業者もいる。
For example, the National Institute of Information and Communications Technology (NICT) is investigating fatigue when viewing stereoscopic video. In addition, many papers and reports at lectures discuss the safety associated with the viewing environment of 3D images.
Broadcasting business that 3D video has been proven to cause health problems such as eye strain at a certain rate for those who watch it, and is currently difficult to adopt for broadcasting that is viewed by unspecified majority Some people.

特許文献1は、2次元画像表示と3次元画像表示を切換えることができるレンズユニットを裸眼立体視方式の3Dディスプレイに配設して、複数の表示領域のそれぞれを3次元表示モードと2次元表示モードのいずれか一方に設定できるようにした混在表示が可能な映像表示装置に用いるものであって、混在表示する場合に3次元画像表示が乱れることを回避する情報処理装置を開示している。
特許文献1に開示された情報処理装置は、表示画面内の3次元画像表示領域(第1表示領域)と2次元画像表示領域(第2表示領域)が重なる部分では、2次元表示を背面に移動したり非表示にしたりして3次元表示を優先することを特徴とする。
In Patent Document 1, a lens unit capable of switching between two-dimensional image display and three-dimensional image display is arranged on a 3D display of an autostereoscopic method, and each of a plurality of display areas is displayed in a three-dimensional display mode and a two-dimensional display. An information processing apparatus is disclosed that is used in a video display apparatus capable of mixed display that can be set to any one of the modes, and that avoids disturbing the three-dimensional image display when mixed display is performed.
In the information processing apparatus disclosed in Patent Document 1, the two-dimensional display is displayed on the back surface in a portion where the three-dimensional image display area (first display area) and the two-dimensional image display area (second display area) in the display screen overlap. It is characterized by giving priority to the three-dimensional display by moving or hiding it.

引用文献1に開示された技術は、3次元画像の前面に2次元画像が重なったときに3次元画像の表示が崩れて見にくくなるので、これを防止することを目的としたもので、視聴者の衛生に配慮するものではない。   The technique disclosed in the cited document 1 is intended to prevent the display of the 3D image from being distorted and difficult to see when the 2D image overlaps the front of the 3D image. It doesn't care about hygiene.

特開2012−227714号公報JP 2012-227714 A

そこで、本願発明の解決しようとする課題は、3次元映像を観察するときの眼精疲労を抑え眼の衛生に配慮した新しい立体映像表示方法および立体映像表示装置を提供することである。   Therefore, the problem to be solved by the present invention is to provide a new 3D image display method and 3D image display device that suppresses eye strain when observing a 3D image and that considers eye hygiene.

本発明に係る立体映像表示方法は、立体映像表示装置の映像表示面に表示する映像に、立体映像表示領域と立体映像表示領域の全周を囲う平面映像表示領域、もしくは平面映像表示領域と平面映像表示領域の全周を囲う立体映像表示領域を設け、立体映像表示領域に3次元映像を表示し、平面映像表示領域に2次元映像を表示することを特徴とする。   The stereoscopic video display method according to the present invention includes a stereoscopic video display region and a planar video display region that surrounds the entire circumference of the stereoscopic video display region, or a planar video display region and a planar surface on the video displayed on the video display surface of the stereoscopic video display device. A stereoscopic video display area surrounding the entire circumference of the video display area is provided, a three-dimensional video is displayed in the stereoscopic video display area, and a two-dimensional video is displayed in the planar video display area.

また、本発明の立体映像表示装置は、表示スクリーンや自照式表示装置における映像表示面に表示する2次元映像中に立体映像表示領域を画定すると共に3次元映像から立体映像表示領域に表示する部分を画定する立体像表示設定部と、立体像表示設定部で画定された3次元映像の部分を2次元映像中の立体映像表示領域部分に填め込んだ映像を映像表示面に表示するための立体映像信号を形成する映像信号形成部と、を備えて、3次元映像とこれを囲繞する2次元映像を映像表示面に表示することを特徴とする。   In addition, the stereoscopic video display device of the present invention defines a stereoscopic video display region in a two-dimensional video displayed on a video display surface of a display screen or a self-illuminating display device, and displays a portion from the three-dimensional video to the stereoscopic video display region. A stereoscopic image display setting unit for defining a three-dimensional image, and a stereoscopic image for displaying on the video display surface a video in which the portion of the 3D video defined by the stereoscopic image display setting unit is embedded in the stereoscopic video display region portion in the 2D video A video signal forming unit for forming a video signal, and displaying a 3D video and a 2D video surrounding the 3D video on a video display surface.

なお、本発明において利用する2次元映像は、単色の映像やグラデーション、霧、雲などの映像を避けることが好ましい。人は、両目に入る映像の色や明度の差分をゼロにするように輻輳を行って、その実体に焦点を合わせて、立体視する。ところが、単色の映像などでは色の差がないため、目の輻輳が無限遠に設定されて、目の焦点を適切な位置に固定する機能が弱まる可能性がある。このため、2次元映像として単色の映像などを使わないことが好ましいのである。
なお、本発明の立体映像表示装置においては、上記と逆に、平面映像領域の全周を囲んで立体映像領域を設けるようにしてもよい。
また、3D表示装置の平面映像領域では、右目左目用それぞれに同じ映像を表示することにより2次元映像を形成することもできる。
Note that it is preferable that the two-dimensional image used in the present invention avoids a monochrome image, a gradation image, a fog image, a cloud image, or the like. A person performs convergence so as to make the difference between the colors and brightness of the images entering both eyes zero, and focuses on the entity to make a stereoscopic view. However, since there is no color difference in a monochromatic image or the like, the convergence of the eye is set to infinity, and the function of fixing the focus of the eye at an appropriate position may be weakened. For this reason, it is preferable not to use a monochromatic image or the like as the two-dimensional image.
In the stereoscopic video display device of the present invention, the stereoscopic video area may be provided so as to surround the entire circumference of the planar video area, contrary to the above.
In the planar video area of the 3D display device, a two-dimensional video can be formed by displaying the same video for each of the right eye and the left eye.

本発明の立体映像表示方法および表示装置によれば、映像表示面に立体映像が平面映像に囲まれて、あるいは逆に平面映像が立体映像に囲まれて表示される。したがって、人は従来の平面映像の中の一部に取込まれた演出、表現として立体映像を認識することになり、表示面の全面が立体映像である場合と比較して、目の輻輳と焦点が2次元映像の映像表示面に安定的に固定化され、全面が立体映像である場合のように目の輻輳と焦点が常に不定となることを回避して、違和感が軽減し、眼に対する負荷が大幅に減退して眼精疲労を起しにくくする。   According to the 3D image display method and display device of the present invention, a 3D image is surrounded by a 3D image on the image display surface, or vice versa. Therefore, a person recognizes a stereoscopic image as a presentation or expression incorporated in a part of a conventional flat image, and the congestion of the eyes is compared with the case where the entire display surface is a stereoscopic image. The focus is stably fixed on the image display surface of the 2D image, avoiding that the convergence and focus of the eye are always indefinite as in the case where the entire surface is a stereoscopic image, reducing the sense of discomfort, The load is greatly reduced and eye strain is less likely to occur.

本発明の立体映像表示方法および表示装置では、2次元映像に表示されるオブジェクトに基づいて立体映像表示領域を画定し、画定した立体映像表示領域に適合するように2視差立体表示方式の3次元映像信号を変成するようにしてもよい。   In the stereoscopic video display method and display device of the present invention, a stereoscopic video display area is defined based on an object displayed in a two-dimensional video, and the three-dimensional 3D display method is adapted to the defined stereoscopic video display area. The video signal may be transformed.

たとえば、表示スクリーンの表示を含む2次元映像において、表示スクリーンの形状に合わせて立体映像表示領域を画定して、ここに3次元映像を形成させることができる。また、たとえば、2次元映像中の動く人物の輪郭に合わせて立体映像表示領域を画定し、これに合わせて3次元映像を表示するようにした場合は、平面画像中に立体的に表わされた人物が運動する様子が表示され、大きな演出効果が得られる。   For example, in a 2D image including a display screen, a 3D image display area can be defined in accordance with the shape of the display screen, and a 3D image can be formed there. Also, for example, when a 3D image display area is defined in accordance with the outline of a moving person in a 2D image and a 3D image is displayed in accordance with this, the 3D image is displayed in 3D in the plane image. The appearance of a person exercising is displayed, and a great effect is obtained.

本発明の立体映像表示方法および表示装置では、2次元映像と3次元映像はその境界域で相互間が円滑に遷移するようにすることが好ましい。たとえば、相互にフェードイン・フェードアウト処理を施したり、境界域を額縁として表現したりして、2次元映像と3次元映像を分離するようにしてもよい。   In the stereoscopic video display method and display device of the present invention, it is preferable that the two-dimensional video and the three-dimensional video transition smoothly between the boundary areas. For example, the two-dimensional video and the three-dimensional video may be separated by performing a fade-in / fade-out process on each other or expressing the boundary area as a frame.

また、本発明の立体映像表示方法および表示装置は、立体映像表示領域に平坦でない映像がある場合には、表示する形状に合わせた3Dオブジェクトを作成して、3次元映像を形成する右目用映像と左目用映像をその3Dオブジェクトにマッピングして変成することが好ましい。特に、3次元映像は右目用映像と左目用映像に齟齬があると正しい立体像として見ることができなくなるので、映像表示面の深度に対応して伸張圧縮を行うことが好ましい。   In addition, the stereoscopic image display method and display apparatus of the present invention creates a 3D image by creating a 3D object according to the shape to be displayed when there is an uneven image in the stereoscopic image display area. It is preferable to transform the left-eye video by mapping it to the 3D object. In particular, since a 3D image cannot be viewed as a correct stereoscopic image if there is a flaw in the right-eye image and the left-eye image, it is preferable to perform expansion and compression in accordance with the depth of the image display surface.

なお、本発明の立体映像表示方法および表示装置では、操作卓を使用して、2次元映像中の3次元映像を填め込む領域あるいは3次元映像に2次元映像を填め込む領域の形状、位置、設定時刻、および填め込む3次元映像あるいは2次元映像の範囲を指定できるようにしてもよい。   In the stereoscopic image display method and display device of the present invention, the shape, position, and position of the region in which the 3D image is embedded in the 2D image or the region in which the 2D image is embedded in the 3D image using the console. The set time and the range of the 3D video or 2D video to be inserted may be designated.

本発明の立体映像表示方法および表示装置は、映画や展示会、学術講演会あるいはTV放送などにおける立体映像表示を、2次元映像中に3次元映像が填め込まれた形で表示することにより眼精疲労を抑えた立体映像を提示することができ、眼の衛生に貢献する。   The 3D image display method and display apparatus of the present invention display a 3D image in a movie, exhibition, academic lecture, TV broadcast, or the like by displaying a 3D image embedded in a 2D image. 3D images with reduced fatigue can be presented, contributing to eye hygiene.

本発明の第1実施例に係る立体映像表示方法の原理を示す概念図である。It is a conceptual diagram which shows the principle of the stereo image display method which concerns on 1st Example of this invention. 第1実施例に係る立体映像表示方法の別の態様を示す概念図である。FIG. 6 is a conceptual diagram showing another aspect of the stereoscopic video display method according to the first embodiment. 第1実施例に係る立体映像表示装置の構成を示す構成図である。1 is a configuration diagram illustrating a configuration of a stereoscopic video display apparatus according to a first embodiment. FIG. 本発明の第2実施例に係る立体映像表示方法の原理を示す概念図である。It is a conceptual diagram which shows the principle of the stereo image display method which concerns on 2nd Example of this invention. 第2実施例に係る立体映像表示装置の構成を示す構成図である。It is a block diagram which shows the structure of the stereo image display apparatus which concerns on 2nd Example.

本発明の立体映像表示方法および装置は、地の2次元映像中に3次元映像を填め込んで表示、あるいは3次元映像中に2次元映像を填め込んで表示するものである。立体映像を観察する視線は、目の輻輳位置と焦点位置が隣接する平面映像に引きずられて移動しにくく、目にとって日常の態様に近づくので、立体映像が従来から見慣れている平面映像の中に取込まれた演出、表現と感じることにより、立体視における違和感が減少し眼精疲労も緩和される。
以下、実施例に基づき、本発明に係る立体映像表示方法および装置について、図面を参照しながら詳しく説明する。なお、図面では、発明の思想を容易に理解できるように、それぞれの段階で処理された映像信号が表すはずの映像で代替して概念的に説明している。
The stereoscopic image display method and apparatus of the present invention display a 3D image embedded in a 2D image of the ground, or display a 2D image embedded in a 3D image. The line of sight for observing a stereoscopic image is difficult to move because the convergence position and focal position of the eye are dragged by the adjacent planar image, and approaches the everyday mode for the eyes. By feeling the captured production and expression, the sense of incongruity in stereoscopic vision is reduced and eye strain is alleviated.
Hereinafter, based on an example, a 3D image display method and device concerning the present invention are explained in detail, referring to drawings. In the drawings, in order to easily understand the idea of the invention, the description is conceptually described by substituting the video that should be represented by the video signal processed at each stage.

本発明の第1実施例に係る立体映像表示方法および装置は、図1から図3に示すように、地の2次元映像と2次元映像中に填め込んで示す3次元映像が互いに独立している場合に適用するものである。
本実施例の立体映像表示方法を説明する図1は、講演者が表示スクリーンに表示された立体映像を使って説明している映像を例示するものである。たとえば、内臓手術の立体映像を示しながら手術経過を説明するところを撮影した場合などを想定することができる。
As shown in FIGS. 1 to 3, the stereoscopic image display method and apparatus according to the first embodiment of the present invention are configured such that the ground 2D image and the 3D image embedded in the 2D image are independent of each other. Applicable when
FIG. 1 for explaining the stereoscopic video display method of the present embodiment illustrates a video explained by a lecturer using a stereoscopic video displayed on a display screen. For example, it is possible to assume a case where a place explaining the progress of surgery is photographed while showing a stereoscopic image of visceral surgery.

本実施例の方法では、図1(a)に示すような2次元映像11を地の映像として提供する。地の2次元映像11には、一部に3次元映像を表示する表示スクリーン面などの立体映像表示領域11bが写し込まれている。
そこで、図1(b)に示すように、立体映像表示領域11bの輪郭11cを画定して、立体映像表示領域11b以外の平面映像表示領域11aを残した映像を形成する。輪郭11cは、提供された2次元映像11に基づいて、画像中の形状や位置を決めることができる。輪郭11cの位置や形状、座標などは、操作者が操作卓から指定して画定することができる。また、エッジ抽出などの画像処理技術を用いて自動的に輪郭11cを判定して利用することもできる。
なお、立体映像表示領域11bの部分は立体映像を上書きして無効化することにより形成することもできる。
In the method of this embodiment, a two-dimensional image 11 as shown in FIG. 1A is provided as a ground image. In the 2D image 11 of the ground, a 3D image display area 11b such as a display screen surface for displaying the 3D image is partially captured.
Accordingly, as shown in FIG. 1B, an outline 11c of the stereoscopic video display area 11b is defined to form an image that leaves the flat video display area 11a other than the stereoscopic video display area 11b. The contour 11 c can determine the shape and position in the image based on the provided two-dimensional video 11. The operator can specify and define the position, shape, coordinates, and the like of the contour 11c from the console. It is also possible to automatically determine and use the contour 11c using an image processing technique such as edge extraction.
Note that the portion of the stereoscopic video display area 11b can also be formed by overwriting the stereoscopic video and invalidating it.

図に示されたように、斜め前方から見た表示スクリーンであれば、台形に映し出され、カメラワークにしたがって表示スクリーンの位置や形状もフレーム毎に変化する場合もある。
輪郭11cは、映像にしたがって、多角形、円形、雲形、など適宜な形状をとることができる。さらに、人を立体像化する場合など、動くオブジェクトを識別して立体映像表示領域の輪郭11cと認識することもできる。
As shown in the figure, if the display screen is viewed obliquely from the front, it is projected into a trapezoid, and the position and shape of the display screen may change from frame to frame in accordance with the camera work.
The outline 11c can take an appropriate shape such as a polygon, a circle, or a cloud according to the image. Further, when moving a person into a three-dimensional image, a moving object can be identified and recognized as the outline 11c of the stereoscopic video display area.

一方、表示スクリーンに表示する立体映像は右目と左目に視差に基づいた異なる映像を与えて立体視させる2視差立体表示方式にしたがって、図1下端の図1(c)に示すように、左目用のL映像12と右目用のR映像13を対にして供給される。
2視差立体表示方式には、立体メガネを用いる偏光方式やシャッター方式、あるいはパララックス方式、レンチキラー方式などがあり、さらに近年は裸眼で鑑賞できる新しい方式も開発されている。
図1(d)に示すように、提供されたL映像12とR映像13から立体映像表示領域11cに表示する部分12a,13aを切出して、図1(e)に示すように、2次元映像11のなかの立体映像表示領域11bの形状に適合するように伸縮・整形して、填め込みL映像12bと填め込みR映像13bを形成する。
On the other hand, the stereoscopic video displayed on the display screen is for the left eye as shown in FIG. 1C at the bottom of FIG. 1 according to a two-parallax stereoscopic display method in which different images based on parallax are given to the right and left eyes. The L image 12 and the R image 13 for the right eye are supplied as a pair.
As the two-parallax stereoscopic display method, there are a polarization method, a shutter method, a parallax method, a wrench killer method and the like using stereoscopic glasses, and in recent years, a new method that allows viewing with the naked eye has been developed.
As shown in FIG. 1D, the portions 12a and 13a to be displayed in the stereoscopic video display area 11c are cut out from the provided L video 12 and R video 13, and as shown in FIG. 11 is expanded and contracted so as to conform to the shape of the stereoscopic image display area 11b, and the embedded L image 12b and the embedded R image 13b are formed.

次に、図1(f)に示すように、図1(b)に示した平面映像表示領域11aの2次元映像に填め込みL映像12bを填め込んで合成L映像14を形成し、また同じ2次元映像に填め込みR映像13bを填め込んで合成R映像15を形成する。   Next, as shown in FIG. 1 (f), the composite L video 14 is formed by inserting the embedded L video 12b into the two-dimensional video in the planar video display area 11a shown in FIG. 1 (b). The composite R video 15 is formed by inserting the R video 13b into the two-dimensional video.

なお、2次元映像と3次元映像の境界部分は視聴者に違和感を与えやすいので、境界における遷移を緩やかにして違和感を軽減することが好ましい。このため、2次元映像と3次元映像が接する部分で一方をフェードインし他方をフェードアウトする処理や、境界領域に額縁様のマスクを形成させて2次元映像と3次元映像が直接に接しないようにする処理などを採用することができる。本実施例では、図1(g)に示すように、填め込みL映像12bの周囲に額縁16aを形成した合成L映像16と、填め込みR映像13bの周囲に額縁17aを形成した合成R映像17を生成させている。   In addition, since the boundary part between the 2D video and the 3D video tends to give the viewer a sense of incongruity, it is preferable to moderate the transition at the boundary to reduce the sense of discomfort. Therefore, the process of fading in one and fading out the other at the part where the 2D video and 3D video are in contact, or forming a frame-like mask in the boundary area so that the 2D video and 3D video do not touch directly. It is possible to adopt a process such as In this embodiment, as shown in FIG. 1 (g), a composite L video 16 in which a frame 16a is formed around the padded L video 12b and a composite R video in which a frame 17a is formed around the padded R video 13b. 17 is generated.

合成L映像16と合成R映像17は、映像表示器18に送信され、図1(h)に示すように、2次元映像に囲まれて2視差立体表示方式に従った3次元映像が観察できる立体映像表示がなされる。
このように2次元映像に囲まれた3次元映像を観察する人は、表示面全体に3次元映像のみが表示された映像を観察する場合と比較して眼精疲労が緩和され、長時間の視聴に耐えられる。
The composite L video 16 and the composite R video 17 are transmitted to the video display 18, and as shown in FIG. 1 (h), a three-dimensional video according to the two-parallax stereoscopic display method can be observed surrounded by the two-dimensional video. A stereoscopic image is displayed.
In this way, a person who observes a 3D image surrounded by 2D images is less likely to suffer from eye strain compared to a case where only the 3D image is displayed on the entire display surface. Can withstand viewing.

図2は、第1実施例に係る立体映像表示方法をサイドバイサイド方式の立体映像に適用した場合を示す概念図である。図1に示した態様に対して、立体映像表示方式が異なるだけで他は変らない。
本態様の立体映像表示方法では、図2(a)に示すように、一部に3次元映像を表示する立体映像表示領域21bが写し込まれた2次元映像21を地の映像として用いる。
そこで、図2(b)に示すように、立体映像表示領域21bの輪郭21cを画定し、立体映像表示領域21b以外の平面映像表示領域21aを残した平面映像を形成する。輪郭21cは、提供された2次元映像21中のオブジェクトに基づいて、画像中の形状や位置を決めることができる。
FIG. 2 is a conceptual diagram illustrating a case where the stereoscopic video display method according to the first embodiment is applied to a side-by-side stereoscopic video. Compared to the mode shown in FIG. 1, only the stereoscopic video display method is different, and the others are not changed.
In the stereoscopic video display method of this aspect, as shown in FIG. 2A, a 2D video 21 in which a stereoscopic video display area 21b for displaying a 3D video is partially used is used as a ground video.
Therefore, as shown in FIG. 2B, the outline 21c of the stereoscopic video display area 21b is demarcated, and a planar video is formed in which the planar video display area 21a other than the stereoscopic video display area 21b is left. The contour 21 c can determine the shape and position in the image based on the provided object in the two-dimensional video 21.

立体映像表示領域の位置や形状は、適宜な形状をとることができ、映像中のオブジェクトや撮影するカメラが移動したりする場合のようにフレーム毎に変化することもある。
一方、表示スクリーンに表示する立体映像は2視差立体表示方式にしたがって、図2下端の図2(c)に示すように、左目用のL映像23と右目用のR映像24がそれぞれ圧縮され左右に並んで配置されたサイドバイサイド式映像信号として供給される。
図2(d)に示すように、提供されたL映像23とR映像24から立体映像表示領域21bに表示する部分23a,24aを切出して、図2(e)に示すように、2次元映像21のなかの立体映像表示領域21bの形状に適合するように伸縮・整形して、填め込みL映像23bと填め込みR映像24bを形成する。
The position and shape of the stereoscopic video display area can take an appropriate shape, and may change from frame to frame as in the case where an object in the video or a camera to be photographed moves.
On the other hand, as shown in FIG. 2C at the lower end of FIG. 2, the left-eye L image 23 and the right-eye R image 24 are compressed in accordance with the two-parallax stereoscopic display method. Are supplied as side-by-side video signals arranged side by side.
As shown in FIG. 2D, portions 23a and 24a to be displayed in the stereoscopic video display area 21b are cut out from the provided L video 23 and R video 24, and as shown in FIG. The embedded L video 23b and the embedded R video 24b are formed by expanding and contracting and shaping so as to conform to the shape of the stereoscopic video display area 21b.

次に、図2(f)に示すように、立体映像表示領域21bを取囲む平面映像表示領域21aを残した2次元映像に填め込みL映像23bを填め込んで合成L映像25aを形成し、また同じ平面映像表示領域21aを残した2次元映像に填め込みR映像24bを填め込んで合成R映像25bを形成し、サイドバイサイドに並べて合成して合成立体映像信号25とする。   Next, as shown in FIG. 2 (f), the L image 23b is embedded into the 2D image leaving the planar image display area 21a surrounding the stereoscopic image display area 21b to form a composite L image 25a. Further, a composite R video 25b is formed by inserting the R video 24b into a two-dimensional video that leaves the same planar video display area 21a, and is combined side by side to form a composite stereoscopic video signal 25.

さらに、図2(g)に示すように、合成立体映像26は、填め込みL映像23cの周囲に額縁26aを形成し、填め込みR映像24cの周囲に額縁26bを形成する境界域処理を施す。
境界域処理を施した合成立体映像26は、映像表示器27に送信され、図2(h)に示すように、2視差立体表示方式に従って2次元映像中の一部に3次元映像が観察できる映像表示がなされる。
Further, as shown in FIG. 2G, the composite stereoscopic image 26 is subjected to boundary area processing in which a frame 26a is formed around the embedded L image 23c and a frame 26b is formed around the embedded R image 24c. .
The composite stereoscopic video 26 subjected to the boundary area processing is transmitted to the video display device 27, and a three-dimensional video can be observed in a part of the two-dimensional video according to the two-parallax stereoscopic display method as shown in FIG. An image is displayed.

図3は、第1実施例に係る立体映像表示方法を実現するための立体映像表示装置の構成例を示す図面である。立体映像表示装置は、平面映像信号と立体映像信号を生成するカメラ群と、カメラ群から映像信号を受取って平面映像中に立体映像を埋込んだ映像信号を形成する信号処理装置と、映像表示器で構成される。信号処理装置は、映像加工に必要な諸元を指定する操作卓を付属させてもよい。   FIG. 3 is a diagram illustrating a configuration example of a stereoscopic video display apparatus for realizing the stereoscopic video display method according to the first embodiment. The stereoscopic video display device includes a camera group that generates a planar video signal and a stereoscopic video signal, a signal processing device that receives the video signal from the camera group and forms a video signal in which the stereoscopic video is embedded in the planar video, and a video display It is composed of a vessel. The signal processing apparatus may be accompanied by an operation console for specifying specifications necessary for video processing.

本実施例の立体映像表示装置は、平面映像を取得する2次元カメラ31と、立体映像を形成するための1対の視差像を取得する右目用カメラ32および左目用カメラ33を備える。右目用カメラ32で形成されたR映像信号と左目用カメラ33で形成されたL映像信号は、立体映像信号生成器34に供給され、映像表示器に立体像を表示するための立体映像信号に変成される。立体映像信号として、左右の視差映像を圧縮し水平方向に並べて形成するサイドバイサイド映像信号や、左右それぞれ1チャンネルずつ使う2ストリーム方式の映像信号など3次元表示装置が受け入れることのできる信号形式で、各種のものを利用することができる。   The stereoscopic image display apparatus according to the present embodiment includes a two-dimensional camera 31 that acquires a planar image, and a right-eye camera 32 and a left-eye camera 33 that acquire a pair of parallax images for forming a stereoscopic image. The R video signal formed by the right-eye camera 32 and the L video signal formed by the left-eye camera 33 are supplied to the stereoscopic video signal generator 34 and converted into a stereoscopic video signal for displaying a stereoscopic image on the video display. Transformed. Various 3D display signal formats that can be accepted by 3D display devices, such as side-by-side video signals that are formed by compressing left and right parallax images and arranging them in the horizontal direction, and two-stream video signals that use one channel for each channel. Can be used.

信号処理装置35は、本実施例の立体映像表示装置の中核となる装置で、平面映像信号処理器35a、立体映像表示設定器35b、平面映像変成器35c、LR信号分離器35d、R映像変成器35e、L映像変成器35f、合成立体映像信号形成器35g、境界域処理器35hを備え、操作卓36を付属することもできる。   The signal processing device 35 is a core device of the stereoscopic video display device of the present embodiment, and is a flat video signal processor 35a, a stereoscopic video display setting device 35b, a flat video transformer 35c, an LR signal separator 35d, and an R video transformer. 35e, an L video transformer 35f, a composite stereoscopic video signal generator 35g, and a boundary area processor 35h, and a console 36 can be attached.

平面映像信号処理器35aは、2次元カメラ31から平面映像信号を受取って、映像を形成する。実際には、映像化を想定して映像信号中に画像の位置や表示時刻を決められるようにするものであればよい。映像信号はカメラから直接受信する代わりに、予め記録媒体に記録された映像信号を取込んで処理することもできる。   The flat image signal processor 35a receives the flat image signal from the two-dimensional camera 31 and forms an image. In actuality, it is only necessary to be able to determine the position and display time of an image in a video signal assuming visualization. Instead of receiving the video signal directly from the camera, the video signal recorded in advance on the recording medium can be captured and processed.

立体映像表示設定器35cは、平面画像信号を受取って、平面映像中に立体映像を填め込む立体映像表示領域を画定し、立体映像のうち立体映像表示領域に表示する部分を指定する。
たとえば、平面映像中に写し込まれた表示スクリーンに立体映像を填め込むときには、画像中の表示スクリーンの領域を画定し、表示スクリーンに映写される立体映像を指定する。
The stereoscopic video display setting unit 35c receives the planar image signal, demarcates a stereoscopic video display area in which the stereoscopic video is embedded in the planar video, and designates a part of the stereoscopic video to be displayed in the stereoscopic video display area.
For example, when a 3D image is inserted into a display screen imaged in a flat image, a region of the display screen in the image is defined and a 3D image imaged on the display screen is designated.

立体映像表示領域は、たとえば、表示スクリーンなどの表示領域の輪郭線を、ポイントデバイスを使ったりアドレスにより画像中の座標で指定したりすることによって画定することができる。また、クロマキー合成、あるいは、エッジ抽出やオブジェクト抽出などの画像処理技術を用いて、対象物の輪郭を自動的に検出することにより、機械的に画定することもできる。さらに、平面映像と立体映像を同期させるため、立体映像を表示する時間を時刻あるいはフレーム番号などで指定することもできる。
なお、立体映像表示領域の形状や位置は適宜決めることができる。たとえば、画面中に雲形領域を指定して立体像を表示したり、映像中で動き回る人物や動物を指定して立体表示したりすることなども可能である。
The stereoscopic video display area can be defined, for example, by using a point device or specifying an outline of a display area such as a display screen by coordinates in the image by an address. Moreover, it is also possible to mechanically demarcate by automatically detecting the contour of the object using chroma key composition or image processing techniques such as edge extraction and object extraction. Furthermore, in order to synchronize the planar video and the stereoscopic video, the time for displaying the stereoscopic video can be designated by time or frame number.
Note that the shape and position of the stereoscopic video display area can be determined as appropriate. For example, it is possible to display a stereoscopic image by designating a cloud-shaped area on the screen, or to designate a person or an animal that moves around in the video to perform stereoscopic display.

画面中の立体映像表示領域の形状や位置、表示する立体映像の範囲、あるいは立体映像表示時間など、映像中の立体映像表示に関する諸元は、操作卓36を介して指定することもできる。操作卓36から入力された情報は、立体映像表示設定器35cに伝送されて、平面映像中に立体映像表示を指定するために使用される。   Specifications relating to stereoscopic video display in the video, such as the shape and position of the stereoscopic video display area on the screen, the range of the stereoscopic video to be displayed, or the stereoscopic video display time, can also be specified via the console 36. Information input from the console 36 is transmitted to the stereoscopic video display setting device 35c, and is used for designating the stereoscopic video display in the planar video.

また、立体映像信号生成器34から供給される立体映像信号は、LR信号分離器35dに入力され、右目用映像信号と左目用映像信号に分離される。なお、LR信号分離器35dは、予め記録媒体に記録された視差映像信号を取込んで処理することもできる。   Also, the stereoscopic video signal supplied from the stereoscopic video signal generator 34 is input to the LR signal separator 35d, and is separated into a right-eye video signal and a left-eye video signal. The LR signal separator 35d can also take in and process the parallax video signal recorded in advance on the recording medium.

LR信号分離器35dで分離された右目用映像のためのR映像信号は、R映像変成器35eに入力される。R映像変成器35eは、立体映像表示領域に表示しようとする立体映像に対応する右目用映像部分を切出し、立体映像表示設定器35cから供給される表示領域情報に基づいて、表示領域の形状に合わせて右目用映像を変形し圧縮・伸張して、合成立体映像信号形成器35gに供給する。   The R video signal for the right-eye video separated by the LR signal separator 35d is input to the R video transformer 35e. The R video transformer 35e cuts out the right-eye video portion corresponding to the stereoscopic video to be displayed in the stereoscopic video display area, and changes the shape of the display area based on the display area information supplied from the stereoscopic video display setting unit 35c. In addition, the right-eye video is deformed, compressed and expanded, and supplied to the composite stereoscopic video signal former 35g.

また、LR信号分離器35dで分離された左目用映像のためのL映像信号は、L映像変成器35fに入力され、立体映像表示領域に表示しようとする立体映像に対応する左目用映像部分が切出され、表示領域情報に基づいて変形され圧縮・伸張されて立体映像表示領域の形状に合わされ、合成立体映像信号形成器35gに供給される。   The L video signal for the left-eye video separated by the LR signal separator 35d is input to the L video transformer 35f, and the left-eye video portion corresponding to the stereoscopic video to be displayed in the stereoscopic video display area is displayed. It is cut out, deformed based on the display area information, compressed and decompressed, matched with the shape of the stereoscopic video display area, and supplied to the synthesized stereoscopic video signal generator 35g.

合成立体映像信号形成器35gは、平面映像変成器35cで平面映像から立体映像表示領域を切り欠いて形成した平面映像信号と、R映像変成器35eから出力される立体映像表示領域の部分に対応する右目用映像信号と、L映像変成器35fから出力される立体映像表示領域の部分に対応する左目用映像信号とを受信して、平面映像の立体映像表示領域に立体映像の右目用映像信号を填め込んだ合成R映像信号と、平面映像の立体映像表示領域に立体映像の左目用映像信号を填め込んだ合成L映像信号とを生成し、この2つの視差像信号を合成することにより2視差立体表示方式の合成立体映像信号を生成して、映像表示器37に供給する。   The composite stereoscopic video signal generator 35g corresponds to the planar video signal formed by cutting out the stereoscopic video display area from the flat video by the flat video transformer 35c and the part of the stereoscopic video display area output from the R video transformer 35e. Receiving the right-eye video signal and the left-eye video signal corresponding to the portion of the stereoscopic video display area output from the L video transformer 35f, and receiving the stereoscopic video right-eye video signal in the stereoscopic video display area. And a composite L video signal in which a left-eye video signal of a stereoscopic video is embedded in a stereoscopic video display area of a planar video, and the two parallax image signals are combined to generate 2 A composite stereoscopic video signal of the parallax stereoscopic display method is generated and supplied to the video display 37.

なお、合成立体映像信号形成器35gから出力される合成立体映像信号は、映像表示器37に供給する前に、さらに境界域処理器35hを通すことにより、立体映像表示領域の周囲の平面映像と立体映像が接する境界域に遷移帯を形成して、平面映像と立体映像の干渉を防ぐようにすることが好ましい。
平面画像と立体画像の干渉を防止する境界域処理は、たとえば、遷移帯の部分で一方の映像をフェードインして他方の映像をフェードアウトさせる処理や、立体映像を取囲む額縁様の映像を形成する処理により達成することができる。
The synthesized stereoscopic video signal output from the synthesized stereoscopic video signal forming unit 35g is further passed through the boundary area processor 35h before being supplied to the video display 37, so that the plane video around the stereoscopic video display area can be obtained. It is preferable to form a transition zone in a boundary area where the stereoscopic video is in contact so as to prevent interference between the planar video and the stereoscopic video.
Boundary area processing that prevents interference between a planar image and a stereoscopic image can be achieved by, for example, fading in one video at the transition zone and fading out the other video, or forming a frame-like video surrounding the stereoscopic video Can be achieved by the following process.

このようにして、映像表示器37は、表示スクリーンや自照式表示装置などに、平面映像の一部に立体映像を填め込んだ合成映像を表示させる。視聴者は、立体メガネを用いて映像を観察することができる。
なお、信号処理装置35で形成される立体映像信号は、直接に映像表示器37に送信する代わりに、ハードディスク、光学記憶媒体、電磁記憶媒体などの記録媒体に記録して後で再生して利用することもできる。
In this manner, the video display 37 displays a composite video in which a stereoscopic video is embedded in a part of a flat video on a display screen, a self-illuminating display device, or the like. The viewer can observe the video using stereoscopic glasses.
Note that the stereoscopic video signal formed by the signal processing device 35 is recorded on a recording medium such as a hard disk, an optical storage medium, or an electromagnetic storage medium, and then reproduced and used instead of being directly transmitted to the video display 37. You can also

本実施例の立体映像表示装置により、映像表示器37に表示された2視差立体表示方式の立体映像は、3次元映像が2次元映像に囲まれて表示されるので、映像を観察する者には、通常の平面映像中の一部として取込まれた演出、表現として立体映像を認識することになり、違和感が軽減し、眼に対する負荷が大幅に減退して眼精疲労を起しにくくなる効果がある。   The stereoscopic image display apparatus of the present embodiment displays the stereoscopic image of the two-parallax stereoscopic display method displayed on the video display 37 because the three-dimensional image is displayed surrounded by the two-dimensional image. Recognizes stereoscopic images as a part of the normal plane image, which reduces the sense of discomfort and greatly reduces the load on the eye, making it difficult to cause eye strain. effective.

なお、本実施例の立体映像表示方法および装置は、立体映像テレビジョンの放送に利用することもできる。また、ライブ放送に利用することもできる。ライブ放送では、予め詳細に設定するシナリオにしたがって、平面映像と立体映像を取得し、予定の位置に立体映像を填め込んだ映像信号を生成して送信すればよい。また、クロマキー合成を利用する方法も有効である。   Note that the stereoscopic video display method and apparatus of the present embodiment can also be used for broadcasting of stereoscopic video television. It can also be used for live broadcasting. In live broadcasting, planar video and stereoscopic video may be acquired in accordance with a scenario set in detail in advance, and a video signal in which stereoscopic video is embedded at a predetermined position may be generated and transmitted. A method using chroma key composition is also effective.

なお、上記実施例では、3D映像表示面が平面である場合について説明しているが、映像表示面が平坦でない場合にも利用できる。たとえば、単純なものでは立体映像表示面が球面や角錐面をなしている場合、複雑なものではビルディングの壁面に立体映像を投影する場合などが考えられる。これらの場合には、特に3次元映像の形成に問題が生じるので、投影面に対応する立体オブジェクトを作成し、その立体オブジェクト表面に3次元映像をマッピングする処理を行う。この場合、立体オブジェクト表面までの距離にしたがって、3次元映像の右目と左目の映像信号の変形、伸張・圧縮を行う。   In addition, although the said Example demonstrated the case where a 3D video display surface is a plane, it can utilize also when a video display surface is not flat. For example, in a simple case, the stereoscopic image display surface may be a spherical surface or a pyramid surface, and in a complicated case, a stereoscopic image may be projected onto the wall surface of a building. In these cases, a problem arises particularly in the formation of a 3D image. Therefore, a 3D object corresponding to the projection plane is created, and a process of mapping the 3D image on the surface of the 3D object is performed. In this case, the right-eye and left-eye video signals of the three-dimensional video are deformed, expanded / compressed according to the distance to the surface of the stereoscopic object.

図4と図5は、本発明の第2実施例に係る立体映像表示方法および装置を説明する図面である。第2実施例は、2視差立体表示方式の立体映像のうち設定した一部の領域のみを立体表示して、この立体映像表示領域の周りの部分を地の2次元映像として表示するものである。   4 and 5 are diagrams illustrating a stereoscopic image display method and apparatus according to a second embodiment of the present invention. In the second embodiment, only a part of a set region is displayed in a three-dimensional manner in a two-parallax stereoscopic display method, and a portion around the stereoscopic image display region is displayed as a two-dimensional image of the ground. .

本実施例の方法では、図4(a)に示すように、2視差立体表示方式の左目用のL映像41と右目用のR映像42の1対の立体映像信号が入力される。映像は、同じ対象に対して視差をもって撮影したものである。信号方式は、サイドバイサイド、2ストリーム、あるいは他の適宜の方式であってもよい。   In the method of the present embodiment, as shown in FIG. 4A, a pair of stereoscopic video signals of a left-eye L video 41 and a right-eye R video 42 in a two-parallax stereoscopic display system are input. The video is taken with parallax for the same object. The signaling scheme may be side-by-side, two streams, or any other suitable scheme.

そこで、図4(b)に示すように、左右両方の映像について、平面映像表示する平面映像表示領域41a、42aと立体表示する立体映像表示領域41b、42bを区分する輪郭を画定する。
そして、一方の映像について、立体映像表示領域の映像を残し、他方の映像の平面映像表示領域の映像と合体して、新しく一方の映像と置換える。すなわち、図4(b)に示すように、たとえばR映像42の立体映像表示領域42bの画像信号を残して、L映像41の平面映像表示領域41aの画像信号と合体して、新しい右目用のR映像44とする。これと対応する左目用のL映像43は、始めのL映像と同じものとする。
Therefore, as shown in FIG. 4B, for both the left and right images, outlines are defined that divide the flat image display areas 41a and 42a for displaying the flat image and the stereoscopic image display areas 41b and 42b for stereoscopic display.
Then, with respect to one video, the video in the stereoscopic video display area is left, and the video in the planar video display area of the other video is merged and replaced with a new video. That is, as shown in FIG. 4B, for example, the image signal of the stereoscopic video display area 42b of the R video 42 is left and merged with the image signal of the planar video display area 41a of the L video 41, so The R image 44 is assumed. The left-eye L video 43 corresponding to this is the same as the first L video.

ここで形成されたL映像43とR映像44を用いて2視差立体表示方式により得られる立体映像は、平面映像に囲まれた部分に立体映像が存在する映像で、立体映像部分を観察するときの違和感が軽減され、長時間観察しても眼精疲労が少ない。   The stereoscopic video obtained by the two-parallax stereoscopic display method using the L video 43 and the R video 44 formed here is a video in which the stereoscopic video is present in a portion surrounded by the planar video, and the stereoscopic video portion is observed. The feeling of discomfort is reduced, and eye strain is low even when observed for a long time.

さらに、好ましくは、図4(c)に示すように、立体映像表示領域の輪郭に立体映像と平面映像を区分する帯状の緩衝枠45a,46aを設けた合成L映像45と合成R映像46を形成する。緩衝枠45a,46aの部分で、フェードイン・フェードアウトするように処理して、平面映像と立体映像が互いに緩やかに推移するようにしてもよい。このような境界域処理により、眼精疲労をさらに軽減することができる。   Further, preferably, as shown in FIG. 4 (c), a composite L video 45 and a composite R video 46 provided with strip-shaped buffer frames 45a and 46a for dividing the stereoscopic video and the planar video at the outline of the stereoscopic video display area are provided. Form. Processing may be performed so as to fade in and out at the buffer frames 45a and 46a, so that the flat image and the stereoscopic image gradually change from each other. Eye strain can be further reduced by such boundary region processing.

こうして形成された合成L映像45と合成R映像46は、映像表示器47に伝送されて立体表示される。表示される映像は、左右に同じ映像が表示されて普通の平面映像として観察される平面映像表示領域47aに囲まれ、2視差立体表示方式により立体映像が表示される立体映像表示領域47bが存在するものとなる。平面映像と立体映像は、緩衝枠を介して接するため、観察する者の眼精疲労は大いに軽減される。   The composite L video 45 and the composite R video 46 formed in this way are transmitted to the video display 47 and displayed in three dimensions. The displayed video is surrounded by a planar video display area 47a where the same video is displayed on the left and right and is observed as a normal planar video, and there is a stereoscopic video display area 47b in which the stereoscopic video is displayed by the two-parallax stereoscopic display method. To be. Since the planar image and the stereoscopic image are in contact with each other through the buffer frame, the eye strain of the observer is greatly reduced.

図5は、第2実施例に係る立体映像表示方法を実現するための立体映像表示装置の構成例を示す図面である。立体映像表示装置は、立体映像信号を生成する1対のカメラと、カメラから映像信号を受取って平面映像中に立体映像を埋込んだ映像信号を形成する信号処理装置と、映像表示器で構成される。信号処理装置は、映像加工に必要な諸元を指定する操作卓を付属させてもよい。   FIG. 5 is a diagram illustrating a configuration example of a stereoscopic video display device for realizing the stereoscopic video display method according to the second embodiment. The stereoscopic video display device includes a pair of cameras that generate a stereoscopic video signal, a signal processing device that receives the video signal from the camera and forms a video signal in which the stereoscopic video is embedded in a planar video, and a video display Is done. The signal processing apparatus may be accompanied by an operation console for specifying specifications necessary for video processing.

本実施例の立体映像表示装置は、立体映像を形成するための1対の視差像を取得する左目用カメラ51および右目用カメラ52を備える。左目用カメラ51で形成されたL映像信号と右目用カメラ52で形成されたR映像信号は、立体映像信号生成器53に供給され、映像表示器に立体像を表示するためのサイドバイサイド方式や2ストリーム方式などの立体映像信号に変成される。   The stereoscopic video display apparatus according to the present embodiment includes a left-eye camera 51 and a right-eye camera 52 that acquire a pair of parallax images for forming a stereoscopic video. The L video signal formed by the left-eye camera 51 and the R video signal formed by the right-eye camera 52 are supplied to the stereoscopic video signal generator 53 to display a stereoscopic image on the video display. It is transformed into a stereoscopic video signal such as a stream system.

信号処理装置54は、LR信号分離器54a、L映像変成器54b、立体映像表示設定器54c、合成立体映像信号形成器54d、境界域処理器54eを備え、操作卓55を付属することもできる。   The signal processing device 54 includes an LR signal separator 54a, an L video transformer 54b, a stereoscopic video display setting device 54c, a composite stereoscopic video signal generator 54d, and a boundary area processor 54e, and can be provided with an operation console 55. .

立体カメラと連結される立体映像信号生成器53から供給される立体映像信号は、LR信号分離器54aに入力され、右目用映像信号と左目用映像信号に分離される。
LR信号分離器54aで分離された一方の映像信号、たとえば右目用映像のためのR映像信号はR映像変成器54bに入力される。
立体映像表示設定器54cは、R映像信号に基づいて、立体映像部分を残す立体映像表示領域を画定する。
The stereoscopic video signal supplied from the stereoscopic video signal generator 53 connected to the stereoscopic camera is input to the LR signal separator 54a and separated into a right-eye video signal and a left-eye video signal.
One video signal separated by the LR signal separator 54a, for example, the R video signal for the right-eye video, is input to the R video transformer 54b.
The stereoscopic video display setting unit 54c demarcates a stereoscopic video display area in which a stereoscopic video portion is left based on the R video signal.

立体映像表示設定器54cで使用する画面中の立体映像表示領域の形状や位置、表示する立体映像の範囲、あるいは立体映像表示時間など、映像中の立体映像表示に関する諸元は、第1実施例と同じように構成された操作卓55を介して指定することもできる。   The specifications regarding the stereoscopic video display in the video, such as the shape and position of the stereoscopic video display area in the screen used by the stereoscopic video display setting unit 54c, the range of the stereoscopic video to be displayed, or the stereoscopic video display time, are described in the first embodiment. It is also possible to specify via the console 55 configured in the same manner as in FIG.

R映像変成器54bは、立体映像表示設定器54cから供給される表示領域情報に基づいて、R映像信号から立体映像表示領域の映像部分を切出し、合成立体映像信号形成器54dに供給する。
また、LR信号分離器54aで分離された他方の映像信号、たとえば左目用映像のためのL映像信号は、そのまま合成立体映像信号形成器54dに供給される。
Based on the display area information supplied from the stereoscopic video display setting unit 54c, the R video transformer 54b cuts out the video portion of the stereoscopic video display area from the R video signal and supplies it to the combined stereoscopic video signal generator 54d.
The other video signal separated by the LR signal separator 54a, for example, the L video signal for the left-eye video, is supplied to the composite stereoscopic video signal former 54d as it is.

合成立体映像信号形成器54dは、LR信号分離器54aから供給されるL映像信号とR映像変成器54bから供給される立体映像表示領域のR映像信号とを用いて、始めのL映像信号に立体映像表示領域の部分に対応するR映像信号を填め込んで合成R映像信号を生成し、さらに始めのL映像信号をそのまま合成L映像信号として、2視差立体表示方式の合成立体映像信号を形成して、境界域処理器54eに供給する。   The composite stereoscopic video signal generator 54d uses the L video signal supplied from the LR signal separator 54a and the R video signal in the stereoscopic video display area supplied from the R video transformer 54b to generate the first L video signal. A composite R video signal is generated by embedding an R video signal corresponding to a portion of the stereoscopic video display area, and the first L video signal is directly used as a composite L video signal to form a composite stereoscopic video signal of a two-parallax stereoscopic display system. Then, it is supplied to the boundary area processor 54e.

境界域処理器54eは、合成立体映像信号形成器45dから出力される合成立体映像中の平面映像表示領域と立体映像表示領域が接する境界域に遷移帯を形成し、遷移帯にフェードイン・フェードアウト処理や枠取り処理を施して、映像表示器56に供給する。   The boundary area processor 54e forms a transition band in the boundary area where the planar video display area and the stereoscopic video display area in the synthesized stereoscopic video output from the synthesized stereoscopic video signal generator 45d are in contact, and fades in and fades out in the transition band. Processing and frame removal processing are performed and supplied to the video display 56.

このようにして、映像表示器56によって、平面映像の一部に立体映像が填め込まれた合成映像が表示される。
本実施例の立体映像表示装置においても、第1実施例と同様に、映像表示器56に表示された2視差立体表示方式の立体映像が、3次元映像が2次元映像に囲まれて表示されるので、映像を観察するときの違和感が減少し眼精疲労を起しにくい。
In this way, the video display 56 displays a composite video in which a stereoscopic video is embedded in a part of the planar video.
Also in the stereoscopic video display apparatus of the present embodiment, as in the first embodiment, the stereoscopic video of the two-parallax stereoscopic display method displayed on the video display 56 is displayed with the 3D video surrounded by the 2D video. Therefore, the sense of incongruity when observing the video is reduced and eye strain is less likely to occur.

なお、上記実施例では3次元映像が2次元映像に囲まれて表示される場合について説明したが、逆に2次元映像が3次元映像に囲まれて表示される場合にも、目の輻輳と焦点の位置が2次元映像を観察する状態に引きずられて変動しにくく、眼精疲労を抑制することができる。
また、本実施例では2視差立体表示方式による立体映像表示装置を用いた場合について説明したが、他の立体映像表示方式を用いた場合でも、本発明の方法により立体映像と平面映像を併存させて目の輻輳と焦点位置を平面映像面から移動しにくくすることにより、眼精疲労を抑制する効果がもたらされることに変りがない。
In the above embodiment, the case where the 3D image is displayed surrounded by the 2D image has been described, but conversely, when the 2D image is displayed surrounded by the 3D image, the eye congestion and It is difficult for the focus position to be dragged to a state where a two-dimensional image is observed, and eye strain can be suppressed.
In this embodiment, the case of using a stereoscopic video display device using a two-parallax stereoscopic display method has been described. However, even when another stereoscopic video display method is used, a stereoscopic video and a planar video can be coexisted by the method of the present invention. By making it difficult to move the vergence and focus position of the eye from the plane image plane, the effect of suppressing eye strain remains unchanged.

本発明は、映画や展示会、学術講演会あるいはTV放送やIPTV、3Dコンテンツパッケージなどにおいて、眼精疲労を抑制して眼の衛生を妨げない立体映像表示を可能にする立体映像表示方法および装置を提供するものである。   The present invention relates to a stereoscopic video display method and apparatus that enables stereoscopic video display that suppresses eye strain and prevents eye hygiene in movies, exhibitions, academic lectures, TV broadcasts, IPTV, 3D content packages, and the like. Is to provide.

11 2次元映像、11a 平面映像表示領域、11b 立体映像表示領域、11c 立体映像表示領域の輪郭
12 L映像、12a 立体映像表示領域の部分、12b 填め込みL映像
13 R映像、13a 立体映像表示領域の部分、13b 填め込みR映像
14 合成L映像
15 合成R映像
16 額縁を形成した合成L映像、16a 額縁
17 額縁を形成した合成R映像、17a 額縁
18 映像表示器
21 2次元映像、21a 平面映像表示領域、21b 立体映像表示領域、21c 輪郭
23 L映像、23a 立体映像表示領域に表示する部分、23b 填め込みL映像
24 R映像、24a 立体映像表示領域に表示する部分、24b 填め込みR映像
25 合成立体映像信号、25a 合成L映像、25b 合成R映像
26 合成立体映像、26a 額縁、26b 額縁
27 映像表示器
31 2次元カメラ
32 右目用カメラ
33 左目用カメラ
34 立体映像信号生成器
35 信号処理装置、35a 平面映像信号処理器、35b 立体映像表示設定器、35c 平面映像変成器、35d LR信号分離器、35e R映像変成器、35f L映像変成器、35g 合成立体映像信号形成器、35h 境界域処理器
36 操作卓
37 映像表示器
41 L映像、41a 平面映像表示領域、41b 立体映像表示領域
42 R映像、42a 平面映像表示領域、42b 立体映像表示領域
43 L映像
44 R映像
45 合成L映像、45a 緩衝枠
46 合成R映像、46a 緩衝枠
47 映像表示器、47a 平面映像表示領域、47b 立体映像表示領域
51 左目用カメラ
52 右目用カメラ
53 立体映像信号生成器
54 信号処理装置、54a LR信号分離器、54b L映像変成器、54c 立体映像表示設定器、54d 合成立体映像信号形成器、54e 境界域処理器
55 操作卓
56 映像表示器
11 2D image, 11a 3D image display area, 11b 3D image display area, 11c Outline of 3D image display area 12 L image, 12a Part of 3D image display area, 12b Filled L image 13 R image, 13a 3D image display area Part 13b, embedded R video 14, composite L video 15 composite R video 16 composite L video forming a frame, 16a frame 17 composite R video forming a frame, 17a frame 18 video display 21 two-dimensional video, 21a plane video Display area, 21b Stereoscopic video display area, 21c Contour 23 L video, 23a Part displayed in stereoscopic video display area, 23b Filled L video 24 R video, 24a Part displayed in stereoscopic video display area, 24b Filled R video 25 Composite stereoscopic video signal, 25a Composite L video, 25b Composite R video 26 Composite stereoscopic video, 26a Frame, 26b Edge 27 Video display 31 Two-dimensional camera 32 Right-eye camera 33 Left-eye camera 34 Stereo video signal generator 35 Signal processing device, 35a plane video signal processor, 35b stereoscopic video display setter, 35c plane video transformer, 35d LR Signal separator, 35e R video transformer, 35f L video transformer, 35g composite stereoscopic video signal generator, 35h boundary area processor 36 console 37 video display 41 L video, 41a planar video display area, 41b stereoscopic video display Area 42 R video, 42a Flat video display area, 42b Stereoscopic video display area 43 L video 44 R video 45 Composite L video, 45a Buffer frame 46 Composite R video, 46a Buffer frame 47 Video display, 47a Flat video display area, 47b Stereoscopic image display area 51 Left-eye camera 52 Right-eye camera 53 Stereoscopic image signal generator 54 Signal processing device 54 a LR signal separator, 54b L video transformer, 54c stereoscopic video display setting unit, 54d composite stereoscopic video signal generator, 54e boundary area processor 55 console 56 video display

Claims (7)

立体映像表示装置の映像表示面に表示する映像に立体映像表示領域と平面映像表示領域を一方の全周を他方が囲うように設け、立体映像表示領域に3次元映像を表示し、平面映像表示領域に2次元映像を表示することを特徴とする立体映像表示方法。   A stereoscopic video display area and a planar video display area are provided on the video display surface of the stereoscopic video display device so that one circumference surrounds the other, and a three-dimensional video is displayed in the stereoscopic video display area. A stereoscopic image display method, comprising: displaying a two-dimensional image in an area. 前記2次元映像に表示されるオブジェクトに基づいて前記立体映像表示領域を画定し、画定した該立体映像表示領域に適合する2視差立体表示方式の3次元映像信号を変成することを特徴とする請求項1記載の立体映像表示方法。   The stereoscopic video display area is defined based on an object displayed on the two-dimensional video, and a two-parallax stereoscopic display type three-dimensional video signal adapted to the defined stereoscopic video display area is transformed. Item 3. The stereoscopic image display method according to Item 1. 前記2次元映像と前記3次元映像の間に相互間が円滑に遷移する境界域を設けることを特徴とする請求項1又は2記載の立体映像表示方法。   The stereoscopic image display method according to claim 1, wherein a boundary region in which a transition between the two-dimensional image and the three-dimensional image smoothly transitions is provided. 前記映像を表示する映像表示面の形状に合わせた3Dオブジェクトを形成して、前記3次元映像を該3Dオブジェクト映像にマッピングして変成することを特徴とする請求項1から3のいずれか1項に記載の立体映像表示方法。   The 3D object according to the shape of the image display surface for displaying the image is formed, and the 3D image is mapped to the 3D object image and transformed. The stereoscopic image display method described in 1. 映像表示面に表示する2次元映像中に立体映像表示領域を画定すると共に3次元映像から立体映像表示領域に表示する部分を画定する立体映像表示設定部と、該立体映像表示設定部で画定された3次元映像の部分を2次元映像中の立体映像表示領域部分に填め込んだ映像を映像表示面に表示するための立体映像信号を形成する映像信号形成部と、を備えて、3次元映像とこれを囲繞する2次元映像を映像表示面に表示する立体映像表示装置。   A stereoscopic video display setting section that defines a stereoscopic video display area in a two-dimensional video to be displayed on the video display surface and a portion to be displayed from the three-dimensional video to the stereoscopic video display area, and the stereoscopic video display setting section. A 3D video signal forming unit for forming a 3D video signal for displaying on the video display surface a video in which a 3D video part is embedded in a 3D video display area in the 2D video. And a stereoscopic image display device for displaying a two-dimensional image surrounding the image on the image display surface. 前記立体映像表示設定部は、前記2次元映像に表示されるオブジェクトに基づいて前記立体映像表示領域を画定し、前記映像信号形成部は、画定した前記立体映像表示領域に適合する2視差立体表示方式の3次元映像信号を形成することを特徴とする請求項5記載の立体映像表示装置。     The stereoscopic video display setting unit defines the stereoscopic video display area based on an object displayed on the two-dimensional video, and the video signal forming unit is a two-parallax stereoscopic display that matches the defined stereoscopic video display area 6. The stereoscopic video display apparatus according to claim 5, wherein a three-dimensional video signal of a system is formed. さらに、前記2次元映像と前記3次元映像の間に相互間が円滑に遷移する境界域を設ける境界域処理器を備えることを特徴とする請求項5又は6記載の立体映像表示装置。   The stereoscopic image display apparatus according to claim 5, further comprising a boundary area processor that provides a boundary area between the two-dimensional image and the three-dimensional image that smoothly transitions between the two-dimensional image and the three-dimensional image.
JP2013046075A 2013-03-08 2013-03-08 Stereoscopic video display method and device Pending JP2014175813A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013046075A JP2014175813A (en) 2013-03-08 2013-03-08 Stereoscopic video display method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013046075A JP2014175813A (en) 2013-03-08 2013-03-08 Stereoscopic video display method and device

Publications (1)

Publication Number Publication Date
JP2014175813A true JP2014175813A (en) 2014-09-22

Family

ID=51696663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013046075A Pending JP2014175813A (en) 2013-03-08 2013-03-08 Stereoscopic video display method and device

Country Status (1)

Country Link
JP (1) JP2014175813A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218018A1 (en) * 2019-04-22 2020-10-29 株式会社ジャパンディスプレイ Display device
CN114979614A (en) * 2022-05-16 2022-08-30 北京芯海视界三维科技有限公司 Display mode determining method and display mode determining device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1028276A (en) * 1996-07-10 1998-01-27 Hitachi Ltd Image-display device, image-transmitting device, image-display system and image-display method
WO2006054518A1 (en) * 2004-11-18 2006-05-26 Pioneer Corporation 3d display device
JP2006340027A (en) * 2005-06-02 2006-12-14 Takehisa Matsushita Stereoscopic video image display method
WO2011132404A1 (en) * 2010-04-20 2011-10-27 パナソニック株式会社 3d image recording device and 3d image signal processing device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1028276A (en) * 1996-07-10 1998-01-27 Hitachi Ltd Image-display device, image-transmitting device, image-display system and image-display method
WO2006054518A1 (en) * 2004-11-18 2006-05-26 Pioneer Corporation 3d display device
JP2006340027A (en) * 2005-06-02 2006-12-14 Takehisa Matsushita Stereoscopic video image display method
WO2011132404A1 (en) * 2010-04-20 2011-10-27 パナソニック株式会社 3d image recording device and 3d image signal processing device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218018A1 (en) * 2019-04-22 2020-10-29 株式会社ジャパンディスプレイ Display device
CN114979614A (en) * 2022-05-16 2022-08-30 北京芯海视界三维科技有限公司 Display mode determining method and display mode determining device

Similar Documents

Publication Publication Date Title
WO2010084724A1 (en) Image processing device, program, image processing method, recording method, and recording medium
CA2553522C (en) System and method for managing stereoscopic viewing
TWI523488B (en) A method of processing parallax information comprised in a signal
WO2003081921A1 (en) 3-dimensional image processing method and device
US11785197B2 (en) Viewer-adjusted stereoscopic image display
US20120313930A1 (en) Dual view display method and dual view driving method for providing plural images to plural users and display apparatus and dual view glasses using the same
JP5396877B2 (en) Image processing apparatus, program, image processing method, and recording method
JP2011172172A (en) Stereoscopic video processing device and method, and program
JP2006128816A (en) Recording program and reproducing program corresponding to stereoscopic video and stereoscopic audio, recording apparatus and reproducing apparatus, and recording medium
JP6207640B2 (en) 2D image stereoscopic display device
JP2018157331A (en) Program, recording medium, image generating apparatus, image generation method
JP2014175813A (en) Stereoscopic video display method and device
JP2006340027A (en) Stereoscopic video image display method
US20160094837A1 (en) Distributed stereoscopic rendering for stereoscopic projecton and display
JP4966941B2 (en) 3D video data generation method, 3D video data generation system, and 3D video data generation program
WO2013042392A1 (en) Three-dimensional image evaluation device
WO2012096332A1 (en) 3d-image processing device, and 3d-image processing method and program
JP2005175539A (en) Stereoscopic video display apparatus and video display method
JP2018504014A (en) Method for reproducing an image having a three-dimensional appearance
KR101433082B1 (en) Video conversing and reproducing method to provide medium feeling of two-dimensional video and three-dimensional video
JP2012142800A (en) Image processing device, image processing method, and computer program
JP5250604B2 (en) Stereoscopic image display apparatus, stereoscopic image display method, and program
JP2007017558A (en) Apparatus and method for displaying stereoscopic image
KR102377499B1 (en) Viewer-adjustable stereoscopic image display
KR101276603B1 (en) Apparatus and method for display 3d image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170718