JP2015041789A - Two-dimensional and three-dimensional display apparatus - Google Patents
Two-dimensional and three-dimensional display apparatus Download PDFInfo
- Publication number
- JP2015041789A JP2015041789A JP2013170331A JP2013170331A JP2015041789A JP 2015041789 A JP2015041789 A JP 2015041789A JP 2013170331 A JP2013170331 A JP 2013170331A JP 2013170331 A JP2013170331 A JP 2013170331A JP 2015041789 A JP2015041789 A JP 2015041789A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- video
- camera
- vehicle
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、カメラにより撮影された対象物を含む車両周囲状況を表示する２次元３次元表示装置に関する。 The present invention relates to a two-dimensional and three-dimensional display device that displays a vehicle surrounding situation including an object photographed by a camera.
従来、ステレオカメラなどを使用した立体視映像を活用した技術が知られている。例えば、特許文献１に記載された映像処理装置において、視聴者検出部は、カメラで撮影された映像を用いて顔認識を行い、視聴者の位置情報を取得する。補正量算出部は、カメラの取り付け位置のずれに伴う位置情報の誤差を補償するための補正量を算出し、位置情報補正部は、補正量算出部で算出された補正量を用いて視聴者の位置情報を補正する。 Conventionally, a technique using a stereoscopic image using a stereo camera or the like is known. For example, in the video processing apparatus described in Patent Document 1, the viewer detection unit performs face recognition using video captured by a camera and acquires viewer position information. The correction amount calculation unit calculates a correction amount for compensating the positional information error due to the displacement of the camera mounting position, and the position information correction unit uses the correction amount calculated by the correction amount calculation unit to The position information of is corrected.
視域情報補正部は、位置情報補正部により補正された視聴者の位置情報を用いて視聴者を収める視域を設定するための制御パラメータを算出し、視域制御部は、制御パラメータに応じて視域を制御する。これにより、カメラの位置ずれを容易に補正し、視聴者が良好な立体映像を見ることができる。 The viewing area information correction unit calculates a control parameter for setting a viewing area in which the viewer is accommodated using the position information of the viewer corrected by the position information correction unit, and the viewing area control unit corresponds to the control parameter. To control the viewing zone. Thereby, the position shift of the camera can be easily corrected, and the viewer can view a good stereoscopic image.
しかしながら、特許文献１に記載された映像処理装置の立体映像では、カメラに近い物体に対しては映像視差が大きい。このため、人が映像を視認するとき、映像内に存在するカメラ近傍の物体が存在する場合、カメラ近傍の視差ずれが大きい物体を優先して視認してしまう。その結果、注視すべき遠方の対象物に対して視認時間がかかるという問題があった。 However, in the stereoscopic video of the video processing apparatus described in Patent Document 1, the video parallax is large for an object close to the camera. For this reason, when a person visually recognizes an image, if an object near the camera exists in the image, an object with a large parallax deviation near the camera is preferentially viewed. As a result, there is a problem that it takes a long time to visually recognize a far object to be watched.
本発明は、３次元映像の不動物体への注視を低減させ、視線認識すべき情報の認知時間を低減させることができる２次元３次元表示装置を提供する。 The present invention provides a two-dimensional three-dimensional display device that can reduce gaze on an inanimate body of a three-dimensional image and reduce the recognition time of information to be recognized as a line of sight.
本発明において、２次元３次元映像描画部は、自車両との相対的な位置変化が所定値以下の不動物体に対して２次元映像又は小さい視差の３次元映像を生成し、自車両との相対的な位置変化が所定値よりも大きい物体に対して３次元映像を生成する。２次元３次元表示部は、不動物体を２次元映像又は小さい視差の３次元映像で表示し自車両との相対的な位置変化が所定値よりも大きい物体を３次元映像で表示する。 In the present invention, the two-dimensional three-dimensional image drawing unit generates a two-dimensional image or a three-dimensional image with a small parallax for an inanimate object whose relative position change with respect to the own vehicle is a predetermined value or less. A three-dimensional image is generated for an object whose relative position change is larger than a predetermined value. The two-dimensional three-dimensional display unit displays an inanimate object as a two-dimensional image or a three-dimensional image with small parallax, and displays an object having a relative positional change larger than a predetermined value as a three-dimensional image.
本発明によれば、自車両との相対的な位置変化が所定値以内の不動物体を２次元映像で表示又は小さい視差の３次元映像で表示し自車両との相対的な位置変化が所定値よりも大きい物体を３次元映像で表示する。従って、３次元映像の不動物体への注視を低減させ、視認すべき情報の認知時間を低減させることができる。 According to the present invention, an inanimate object whose positional change relative to the host vehicle is within a predetermined value is displayed as a two-dimensional image or displayed as a three-dimensional image with a small parallax, and the relative position change relative to the host vehicle is a predetermined value. Larger objects are displayed in 3D video. Therefore, it is possible to reduce gaze on the inanimate body of the three-dimensional image and reduce the recognition time of information to be visually recognized.
（第１の実施形態）
以下、本発明の実施の形態の２次元３次元表示装置について図面を参照して説明する。図１に本発明の第１の実施形態の２次元３次元表示装置の構成を示す。
(First embodiment)
Hereinafter, a two-dimensional and three-dimensional display device according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows the configuration of a two-dimensional three-dimensional display device according to the first embodiment of the present invention.
この２次元３次元表示装置は、２次元／３次元表示部（以下、２Ｄ／３Ｄ表示部と称する。）１、情報表示部２、カメラ３、車両信号情報部４を備える。情報表示部２は、２次元／３次元映像描画部（以下、２Ｄ／３Ｄ映像描画部と称する。）２１、ＣＰＵ（Central Processing Unit）２２、ＲＯＭ(Read Only Memory)２３、ＲＡＭ(Random Access Memory)２４、インターフェース２５を備える。 The two-dimensional three-dimensional display device includes a two-dimensional / 3-dimensional display unit (hereinafter referred to as a 2D / 3D display unit) 1, an information display unit 2, a camera 3, and a vehicle signal information unit 4. The information display unit 2 includes a 2D / 3D video rendering unit (hereinafter referred to as a 2D / 3D video rendering unit) 21, a CPU (Central Processing Unit) 22, a ROM (Read Only Memory) 23, and a RAM (Random Access Memory). 24) An interface 25 is provided.
２Ｄ／３Ｄ表示部１は、カメラ３により撮影された車両周囲状況を表示する。情報表示部２は、カメラ３からの映像情報(カメラ映像)及び車両信号情報部４から自車両の走行状態として車両速度、前進、後退などの車両情報を取得する。カメラ３は、複数個、例えば２個設けられ、２個のカメラ３により立体映像を得る。インターフェース２５は、カメラ３からの映像情報および車両信号情報部４からの車両情報を入力し、これらの情報をＣＰＵ２２に出力する。 The 2D / 3D display unit 1 displays the vehicle surroundings imaged by the camera 3. The information display unit 2 acquires the vehicle information such as the vehicle speed, the forward movement, and the backward movement as the running state of the host vehicle from the video information (camera video) from the camera 3 and the vehicle signal information unit 4. A plurality of, for example, two cameras 3 are provided, and a stereoscopic image is obtained by the two cameras 3. The interface 25 inputs video information from the camera 3 and vehicle information from the vehicle signal information unit 4, and outputs these information to the CPU 22.
ＣＰＵ２２は、インターフェース２５からの映像情報および車両速度などの車両情報に基づき映像の時系列的な動きにより自車両との相対的位置変化が所定値以下の不動物体と自車両との相対的な位置変化が所定値よりも大きい物体（不動物体以外部分）とに分ける。２Ｄ／３Ｄ映像描画部２１は、２Ｄ／３Ｄ映像描画エンジンからなり、ＣＰＵ２２からの出力に基づき、自車両との相対的な位置変化が所定値以下の不動物体に対して２次元映像を生成し自車両との相対的な位置変化が所定値よりも大きい物体に対して３次元映像を生成する。所定値とは、ゼロ又はゼロに近い値である。２Ｄ／３Ｄ表示部１は、２Ｄ／３Ｄ映像描画部２１で生成された２次元映像で不動物体を表示し、不動物体以外部分を３次元映像で表示する。 The CPU 22 determines the relative position between the inanimate object and the host vehicle whose relative position change with respect to the host vehicle is less than a predetermined value due to the time-series movement of the image based on the video information from the interface 25 and the vehicle information such as the vehicle speed. It is divided into an object (a part other than an inanimate object) whose change is larger than a predetermined value. The 2D / 3D video rendering unit 21 includes a 2D / 3D video rendering engine, and generates a two-dimensional video for an inanimate object whose relative position change with respect to the host vehicle is a predetermined value or less based on an output from the CPU 22. A three-dimensional image is generated for an object whose positional change relative to the host vehicle is larger than a predetermined value. The predetermined value is zero or a value close to zero. The 2D / 3D display unit 1 displays an inanimate body with the 2D video generated by the 2D / 3D video rendering unit 21 and displays a portion other than the inanimate body with a 3D video.
また、２Ｄ／３Ｄ映像描画部２１は、不動物体に対して、カメラ３に近接する位置から遠方に行くに従って視差を徐々に大きくすることにより２次元映像から３次元映像へ変化させる。２Ｄ／３Ｄ表示部１は、不動物体を２次元映像から３次元映像へ変化させて表示する。なお、ＲＯＭ２３には車体データが格納されている。 Further, the 2D / 3D video rendering unit 21 changes the 2D video from the 2D video to the 3D video by gradually increasing the parallax from the position close to the camera 3 toward the far side of the inanimate object. The 2D / 3D display unit 1 displays an inanimate object by changing it from a 2D image to a 3D image. The ROM 23 stores vehicle body data.
次にこのように構成された第１の実施形態の２次元３次元表示装置の動作を図２に示すフローチャートおよび図３を参照しながら説明する。図３は、サイドミラー７に相当する位置にカメラ３を取り付けたときにカメラ３に映る車体部のみを２次元表示した例を示す図である。 Next, the operation of the two-dimensional three-dimensional display device of the first embodiment configured as described above will be described with reference to the flowchart shown in FIG. 2 and FIG. FIG. 3 is a diagram showing an example in which only the vehicle body part reflected on the camera 3 is displayed in a two-dimensional manner when the camera 3 is attached at a position corresponding to the side mirror 7.
まず、カメラ３で車両周囲状況を撮影する。図３（ａ）に示すように、車体５に搭載されたサイドミラー７に取り付けられたカメラ３によりサイドミラー映像範囲ＳＡＲを撮影する。これにより、図３（ｂ）に示すように、不動物体である車体部６ａと、背景、障害物などの自車両との相対的な位置変化が所定値よりも大きい物体である車体部以外部分９とがカメラ３により撮影される。 First, the camera 3 captures the vehicle surroundings. As shown in FIG. 3A, the side mirror image range SAR is photographed by the camera 3 attached to the side mirror 7 mounted on the vehicle body 5. As a result, as shown in FIG. 3 (b), the part other than the vehicle body part, which is an object whose relative position change between the vehicle body part 6a, which is an inanimate object, and the host vehicle, such as a background or an obstacle, is larger than a predetermined value. 9 is photographed by the camera 3.
次に、ステップＳ１において、情報表示部２は、カメラ３で撮影された映像情報と車両信号情報部４からの車両の走行状態の車両情報（前進、後退、車両速度）を入力する。 Next, in step S <b> 1, the information display unit 2 inputs video information captured by the camera 3 and vehicle information (forward, reverse, vehicle speed) of the running state of the vehicle from the vehicle signal information unit 4.
ステップＳ２において、ＣＰＵ２２は、カメラ３による映像情報と車両信号情報部４からの車両の走行状態の車両情報（前進、後退、車両速度）とに基づき、映像の時系列的な動きにより自車両との相対的な位置変化が所定値以下の不動物体と自車両との相対的な位置変化が所定値よりも大きい物体とに分ける。 In step S <b> 2, the CPU 22 recognizes the vehicle by the time-series movement of the video based on the video information from the camera 3 and the vehicle information (forward, reverse, vehicle speed) of the running state of the vehicle from the vehicle signal information unit 4. The relative position change of an inanimate object with a predetermined value or less is divided into an object with a relative position change of the host vehicle larger than the predetermined value.
ステップＳ３において、ＣＰＵ２２は、図示しない入力部からの映像表示選択情報に基づき、不動物体を「２次元表示（２Ｄ表示）」のみにするか、「２Ｄ表示から３次元表示（３Ｄ表示）へ徐々に変化させる」かのいずれかを選択する。 In step S <b> 3, based on video display selection information from an input unit (not shown), the CPU 22 makes the inanimate object only “2D display (2D display)” or gradually changes from “2D display to 3D display (3D display)”. Select "Change to".
ＣＰＵ２２が２Ｄ表示を選択した場合には、ステップＳ４−１において、２Ｄ／３Ｄ映像描画部２１は、ステップＳ２で得られた不動物体である車体部６ａに対して２次元映像を生成し、不動物体である車体部以外に対して３次元映像を生成する。２Ｄ表示の詳細については、後述する。 If the CPU 22 selects 2D display, in step S4-1, the 2D / 3D video rendering unit 21 generates a 2D video for the vehicle body 6a, which is an inanimate body obtained in step S2, and does not move. A three-dimensional image is generated for parts other than the body part that is an object. Details of the 2D display will be described later.
ＣＰＵ２２が２Ｄ表示から３Ｄ表示を選択した場合には、ステップＳ４−２の処理を行う。２Ｄ／３Ｄ映像描画部２１は、ステップＳ２で得られた不動物体である車体部６ａに対して、カメラ３近傍から遠方に行くに従って２Ｄ表示から３Ｄ表示への映像を生成し、不動物体である車体部６ａ以外の領域に対して３次元映像を生成する。２Ｄ表示から３Ｄ表示の詳細については、後述する。 When the CPU 22 selects 3D display from 2D display, the process of step S4-2 is performed. The 2D / 3D video drawing unit 21 generates an image from 2D display to 3D display as it goes farther from the vicinity of the camera 3 with respect to the vehicle body 6a that is an inanimate body obtained in step S2, and is an inanimate body. A three-dimensional image is generated for an area other than the vehicle body 6a. Details of 2D display to 3D display will be described later.
ステップＳ５において、２Ｄ／３Ｄ映像描画部２１は、ステップＳ４−１又はステップＳ４−２で生成された映像を２Ｄ／３Ｄ表示部１に映像出力する。ステップＳ６において、ＣＰＵ２２は、カメラ３による映像入力が続いているかどうかを判断し、映像入力が続いている場合にはステップＳ１に戻って処理を繰り返し、映像入力が終わっている場合には処理を終了する。 In step S5, the 2D / 3D video drawing unit 21 outputs the video generated in step S4-1 or step S4-2 to the 2D / 3D display unit 1. In step S6, the CPU 22 determines whether or not video input by the camera 3 continues. If video input continues, the CPU 22 returns to step S1 and repeats the process. If video input is completed, the process is performed. finish.
（２Ｄ表示の詳細）
ＣＰＵ２２が２Ｄ表示を選択した場合には、図３に示すように、車体５は、カメラ３に対して不動の映像になるので、車体部６ａは、不動物体となる。この不動物体である車体部６ａは、２Ｄ／３Ｄ表示部１に２次元表示され、その他の背景や障害物などの車体部以外部分９は、２Ｄ／３Ｄ表示部１に３次元表示される。これにより、カメラ３に近い車体部６ａの立体表示時の煩わしさ（視点が合わないような状態）を低減し、車両周辺部の対象物への認知時間を低減することができる。
(Details of 2D display)
When the CPU 22 selects 2D display, as shown in FIG. 3, the vehicle body 5 becomes an immobile image with respect to the camera 3, so the vehicle body portion 6 a becomes an inanimate object. The inanimate body 6a is displayed in a two-dimensional manner on the 2D / 3D display unit 1, and other parts 9 such as the background and obstacles are displayed in a three-dimensional manner on the 2D / 3D display unit 1. Thereby, the troublesomeness (state that a viewpoint does not match) of the vehicle body 6a close to the camera 3 can be reduced, and the recognition time for the object in the vehicle periphery can be reduced.
また、図４（ａ）に、車体後部１０のバックビューカメラの搭載位置にカメラ３を搭載してバックビュー映像範囲ＢＡＲを撮影する様子を示す。図４（ｂ）に、カメラ３に映る不動物体である車体部（バンパー部）６ｂのみを２次元表示した例を示す。この例では、車体部６ｂを２Ｄ／３Ｄ表示部１に２次元表示し、車体部以外部分９ｂを２Ｄ／３Ｄ表示部１に３次元表示する。これにより、カメラ３に近い車体部６ａの立体表示時の煩わしさ（視点が合わないような状態）を低減し、車両周辺部の対象物への認知時間を低減することができる。 FIG. 4A shows a state where the camera 3 is mounted at the mounting position of the rear view camera on the rear part 10 of the vehicle body and the back view video range BAR is photographed. FIG. 4B shows an example in which only the vehicle body part (bumper part) 6b which is an inanimate object reflected on the camera 3 is displayed in a two-dimensional manner. In this example, the vehicle body portion 6 b is two-dimensionally displayed on the 2D / 3D display portion 1, and the portion 9 b other than the vehicle body portion is three-dimensionally displayed on the 2D / 3D display portion 1. Thereby, the troublesomeness (state that a viewpoint does not match) of the vehicle body 6a close to the camera 3 can be reduced, and the recognition time for the object in the vehicle periphery can be reduced.
（２Ｄ表示から３Ｄ表示の詳細）
ＣＰＵ２２が２Ｄ表示から３Ｄ表示を選択した場合には、２Ｄ／３Ｄ映像描画部２１は、カメラ３に映る不動物体である車体部６ａをカメラ３に近い距離から遠くに行くに従って視差を徐々に大きくして２次元映像から３次元映像へ変化させる。図５に示すように、カメラ近傍領域ＡＲ１は、２Ｄ／３Ｄ表示部１に２次元表示され、カメラ遠方領域ＡＲ２は、２Ｄ／３Ｄ表示部１に視差をつけて３次元表示される。車体部以外部分９ａは、２Ｄ／３Ｄ表示部１に３次元表示される。
(Details of 2D display to 3D display)
When the CPU 22 selects the 3D display from the 2D display, the 2D / 3D video rendering unit 21 gradually increases the parallax as the body part 6a, which is an inanimate object reflected on the camera 3, moves away from a distance close to the camera 3. Then, the 2D image is changed to the 3D image. As shown in FIG. 5, the camera vicinity area AR1 is two-dimensionally displayed on the 2D / 3D display unit 1, and the camera far area AR2 is displayed three-dimensionally with parallax on the 2D / 3D display unit 1. The portion 9 a other than the vehicle body is displayed three-dimensionally on the 2D / 3D display unit 1.
図６は、車体部６ａをカメラ近傍から５段階で視差を変化させる例を示す。図６に示す例では、サイドミラー７に２つのカメラを取り付けている。図６（ａ）に示す実カメラＲＣ１、ＲＣ５と対象物Ｐとがあった場合、それぞれの実カメラＲＣ１，ＲＣ５で撮影される映像は、図６（ｂ）に示すような実映像ＲＣ１ＶＤ、ＲＣ５ＶＤとなる。 FIG. 6 shows an example in which the parallax is changed in five steps from the vicinity of the camera body 6a. In the example shown in FIG. 6, two cameras are attached to the side mirror 7. When there are the real cameras RC1 and RC5 and the object P shown in FIG. 6A, the images taken by the real cameras RC1 and RC5 are the real images RC1VD and RC5VD as shown in FIG. It becomes.
得られた２つの実映像ＲＣ１ＶＤ、ＲＣ５ＶＤに基づき、図６（ｃ）に示すように、実カメラＲＣ１、ＲＣ５間を均等に割る仮想カメラＶＣ１，ＶＣ２，ＶＣ３の仮想映像ＶＣ２ＶＤ、ＶＣ３ＶＤ、ＶＣ４ＶＤを作成することができる。 Based on the obtained two real images RC1VD and RC5VD, as shown in FIG. 6C, virtual images VC2, VC2, VC3VD, VC3VD, and VC4VD of virtual cameras VC1, VC2, and VC3 that equally divide the real cameras RC1 and RC5 are created. can do.
得られた図６（ｃ）に示す５つの映像ＲＣ１ＶＤ、ＲＣ５ＶＤ、ＶＣ２ＶＤ、ＶＣ３ＶＤ、ＶＣ４ＶＤの組み合わせにより、図７（ｂ）に示す５段階ＬＶ１〜ＬＶ５で視差を変化させることができる。図７（ｂ）の視差が最も小さい段階ＬＶ１では、映像ＲＣ１ＶＤと映像ＲＣ１ＶＤとの組み合わせで、視差がない。 The parallax can be changed in five stages LV1 to LV5 shown in FIG. 7B by combining the obtained five images RC1VD, RC5VD, VC2VD, VC3VD, and VC4VD shown in FIG. 6C. In the stage LV1 where the parallax is the smallest in FIG. 7B, there is no parallax in the combination of the video RC1VD and the video RC1VD.
段階ＬＶ２では、映像ＲＣ１ＶＤと映像ＶＣ２ＶＤとの組み合わせで、視差が小さい。段階ＬＶ３では、映像ＲＣ１ＶＤと映像ＶＣ３ＶＤとの組み合わせで、視差がわずかに小さい。段階ＬＶ４では、映像ＲＣ１ＶＤと映像ＶＣ４ＶＤとの組み合わせで、視差がやや大きい。段階ＬＶ５では、映像ＲＣ１ＶＤと映像ＲＣ５ＶＤとの組み合わせで、視差が大きい。 In the stage LV2, the parallax is small by the combination of the video RC1VD and the video VC2VD. In the stage LV3, the parallax is slightly small by the combination of the video RC1VD and the video VC3VD. In the stage LV4, the parallax is slightly large due to the combination of the video RC1VD and the video VC4VD. In the stage LV5, the combination of the video RC1VD and the video RC5VD has a large parallax.
このため、図７（ａ）に示すように、車体部６ａの内、カメラ近傍領域ＡＲ１では、段階ＬＶ１の映像ＲＣ１ＶＤと映像ＲＣ１ＶＤの組み合わせを採用し、視差を小さいして２次元表示している。また、車体部６ａの内、カメラ遠方領域ＡＲ２では、段階ＬＶ５の映像ＲＣ１ＶＤと映像ＲＣ５ＶＤの組み合わせを採用し、視差を大きくして３次元表示している。 Therefore, as shown in FIG. 7A, in the camera vicinity area AR1 in the vehicle body portion 6a, a combination of the video RC1VD and the video RC1VD at the stage LV1 is adopted, and the two-dimensional display is performed with a reduced parallax. . Further, in the camera distant region AR2 in the vehicle body 6a, a combination of the video RC1VD and the video RC5VD at the stage LV5 is adopted, and the parallax is increased and the three-dimensional display is performed.
即ち、車体部６ａの内、カメラ近傍領域ＡＲ１からカメラ遠方領域ＡＲ２に行くに従って、徐々に段階ＬＶ１、段階ＬＶ２、段階ＬＶ３、段階ＬＶ４、段階ＬＶ５と視差を徐々に大きくする。これにより、車体部６ａのカメラ近傍では２次元表示し、カメラ３から遠ざかるに従って３次元表示へと変化させることができる。 That is, the parallax is gradually increased in stages LV1, LV2, LV3, LV4, LV5, and LV5 in the body portion 6a from the camera vicinity area AR1 to the camera far area AR2. As a result, two-dimensional display can be performed in the vicinity of the camera of the vehicle body portion 6a, and the display can be changed to three-dimensional display as the distance from the camera 3 increases.
従って、カメラ３に近い車体部６ａの立体表示時の煩わしさ（視点が合わないような状態）を低減できる。また、カメラ３に近い位置に存在する物体とカメラ３から遠い周辺部の３次元映像とを滑らかに接続させ、２次元表示と３次元表示との境目の違和感を低減することができる。また、３次元表示の違和感を低減できるため、視認すべき対象物への認知時間を低減することができる。なお、この例では、視差を５段階に変化させたが、これに限定されることなく、視差を３段階あるいは７段階等に変化させても良い。 Accordingly, it is possible to reduce troublesomeness (a state in which the viewpoint does not match) at the time of stereoscopic display of the vehicle body 6a close to the camera 3. In addition, an object present at a position close to the camera 3 and a three-dimensional image of a peripheral part far from the camera 3 can be smoothly connected to reduce a sense of incongruity between the two-dimensional display and the three-dimensional display. Moreover, since the uncomfortable feeling of three-dimensional display can be reduced, the recognition time for the object to be visually recognized can be reduced. In this example, the parallax is changed in five steps. However, the present invention is not limited to this, and the parallax may be changed in three steps or seven steps.
また、２Ｄ／３Ｄ映像描画部２１は、不動物体である車体部に対して自車両との相対的な位置変化が所定値よりも大きい物体の視差よりも小さい視差の３次元映像を生成し、２Ｄ／３Ｄ表示部１が不動物体である車体部を小さい視差の３次元映像で表示しても良い。また、自車両との相対的な位置変化が所定値よりも大きい物体は、車体部の視差よりも大きい視差の３次元映像で表示される。 Further, the 2D / 3D video rendering unit 21 generates a 3D video image with a parallax smaller than the parallax of an object whose relative position change with respect to the host vehicle is larger than a predetermined value with respect to the body part that is an inanimate body, The vehicle body part in which the 2D / 3D display unit 1 is an inanimate object may be displayed as a small parallax three-dimensional image. In addition, an object whose positional change relative to the host vehicle is larger than a predetermined value is displayed as a three-dimensional image with a parallax larger than the parallax of the vehicle body.
２Ｄ／３Ｄ映像描画部２１は、不動物体である車体部全体に対して、例えば、図５に示す段階ＬＶ２又は段階ＬＶ３の映像を用いて、小さい視差の３次元映像を生成する。２Ｄ／３Ｄ表示部１が小さい視差の３次元映像を表示する。即ち、２次元表示に近い３次元表示を行う。 The 2D / 3D video drawing unit 21 generates a three-dimensional video with a small parallax, for example, using the video of the stage LV2 or the stage LV3 shown in FIG. The 2D / 3D display unit 1 displays a small parallax 3D image. That is, three-dimensional display close to two-dimensional display is performed.
従って、３次元映像の自然な表示も確保しながら、車体部６ａを見やすく表示することができる。また、３次元立体表示の違和感を低減させるため、映像に表示される周囲の情報の認知時間を低減することができる。さらに、注視すべき物体(情報)の認知時間を低減することができる。 Accordingly, it is possible to display the vehicle body portion 6a in an easy-to-see manner while securing a natural display of a three-dimensional image. In addition, since the uncomfortable feeling of the three-dimensional stereoscopic display is reduced, it is possible to reduce the recognition time of surrounding information displayed on the video. Furthermore, the recognition time of the object (information) to be watched can be reduced.
第１の実施形態の２次元３次元表示装置によれば、自車両との相対的な位置変化が所定値以内の不動物体を２次元表示し、自車両との相対的な位置変化が所定値よりも大きい物体を３次元表示する。従って、３次元映像の不動物体への注視を低減させ、視認すべき情報の認知時間を低減させることができる。 According to the two-dimensional three-dimensional display device of the first embodiment, an inanimate object whose relative position change with respect to the own vehicle is two-dimensionally displayed and the relative position change with respect to the own vehicle is a predetermined value. A larger object is displayed in three dimensions. Therefore, it is possible to reduce gaze on the inanimate body of the three-dimensional image and reduce the recognition time of information to be visually recognized.
（第２の実施形態）
図８は、第２の実施形態の２次元３次元表示装置の処理を示すフローチャートである。第２の実施形態の２次元３次元表示装置では、２Ｄ／３Ｄ映像描画部２１が、不動物体に対して、カメラ３に近接する位置から遠方に行くに従って徐々に解像度を変化させた２次元映像又は３次元映像を生成する。
(Second Embodiment)
FIG. 8 is a flowchart illustrating processing of the two-dimensional three-dimensional display device according to the second embodiment. In the two-dimensional three-dimensional display device of the second embodiment, the 2D / 3D video drawing unit 21 changes the resolution gradually toward a distant object from a position close to the camera 3 toward the far side. Alternatively, a 3D image is generated.
また、２Ｄ／３Ｄ映像描画部２１が、不動物体に対して、カメラ３に近接する位置から遠方に行くに従って徐々に低コントラストから高コントラストに変化させた２次元映像又は３次元映像を生成する。 Further, the 2D / 3D video drawing unit 21 generates a 2D video or a 3D video in which the inanimate object is gradually changed from a low contrast to a high contrast as the distance from the position close to the camera 3 increases.
次に、図８に示すフローチャートを参照しながら、第２の実施形態の２次元３次元表示装置の処理を詳細に説明する。なお、ステップＳ１〜ステップＳ２、ステップＳ５、ステップＳ６の処理は、図２に示すフローチャートのそれらと同じであるので、その説明は省略する。ここでは、第２の実施形態の２次元３次元表示装置の特徴であるステップＳ７、ステップＳ８−１、ステップＳ８−２の処理について説明する。 Next, the process of the two-dimensional three-dimensional display apparatus of 2nd Embodiment is demonstrated in detail, referring the flowchart shown in FIG. In addition, since the process of step S1-step S2, step S5, and step S6 is the same as those of the flowchart shown in FIG. 2, the description is abbreviate | omitted. Here, the processes of step S7, step S8-1, and step S8-2, which are features of the two-dimensional three-dimensional display device of the second embodiment, will be described.
まず、ステップＳ７において、ＣＰＵ２２は、不動物体である車体部６ａの「解像度変更」と「コントラスト変更」とのいずれかを選択する。 First, in step S7, the CPU 22 selects either “resolution change” or “contrast change” of the inanimate vehicle body 6a.
ＣＰＵ２２が、車体部６ａの「解像度変更」を選択した場合には、ステップＳ８−１の処理を行う。２Ｄ／３Ｄ映像描画部２１は、不動物体に対して、カメラ３に近接する位置から遠方に行くに従って徐々に解像度を変化させた２次元映像又は３次元映像のための映像を生成する。２Ｄ／３Ｄ表示部１は、２Ｄ／３Ｄ映像描画部２１の映像出力に基づき、カメラ３に近接する位置から遠方に行くに従って徐々に解像度を変化させた２次元表示又は３次元表示を行う。 When the CPU 22 selects “resolution change” of the vehicle body 6a, the process of step S8-1 is performed. The 2D / 3D video rendering unit 21 generates a 2D video or a video for a 3D video in which the resolution is gradually changed from a position close to the camera 3 toward the far side of the inanimate object. Based on the video output of the 2D / 3D video rendering unit 21, the 2D / 3D display unit 1 performs two-dimensional display or three-dimensional display in which the resolution is gradually changed from a position close to the camera 3 toward the far side.
図９に車体表示の解像度を変更する例を示す。図９に示すように、車体部６ａのカメラ近傍領域ＡＲ１については低解像度で表示し、車体部６ａのカメラ近傍領域ＡＲ１から遠ざかるに従って高解像度へ変化させる。このため、カメラ遠方領域ＡＲ２は高解像度で表示される。また、背景、路面、障害物などの車体部以外部分は、高解像度で３次元表示される。 FIG. 9 shows an example of changing the resolution of the vehicle body display. As shown in FIG. 9, the camera vicinity area AR1 of the vehicle body portion 6a is displayed at a low resolution, and is changed to a high resolution as the distance from the camera vicinity area AR1 of the vehicle body portion 6a increases. For this reason, the camera far area AR2 is displayed with high resolution. In addition, parts other than the vehicle body, such as the background, road surface, and obstacles, are displayed three-dimensionally with high resolution.
これにより、カメラ近傍の車体部については、不必要な情報を低下し、視認すべき対象物の認知時間を低減させることができる。なお、低解像度から高解像度に徐々に変更する代わりに、車体部６ａ全体を低解像度で表示することもできる。 Thereby, about the vehicle body part near a camera, unnecessary information can be reduced and the recognition time of the target object which should be visually recognized can be reduced. Instead of gradually changing from low resolution to high resolution, the entire vehicle body 6a can be displayed at low resolution.
一方、ＣＰＵ２２が、車体部６ａの「コントラスト変更」を選択した場合には、ステップＳ８−２の処理を行う。２Ｄ／３Ｄ映像描画部２１は、不動物体に対して、カメラ３に近接する位置から遠方に行くに従って徐々に低コントラストから高コントラストに変化させた２次元映像又は３次元映像を生成する。自車両との相対的な位置変化が所定値よりも大きい物体は、高コントラストの３次元映像が生成される。また、２次元３次元映像描画部２１は、自車両との相対的な位置変化が所定値よりも大きい物体のコントラストよりも不動物体のコントラストを低下させた２次元映像又は３次元映像を生成しても良い。 On the other hand, when the CPU 22 selects “contrast change” of the vehicle body 6a, the process of step S8-2 is performed. The 2D / 3D video drawing unit 21 generates a two-dimensional video or a three-dimensional video in which the inanimate object is gradually changed from a low contrast to a high contrast as the distance from the position close to the camera 3 increases. A high-contrast three-dimensional image is generated for an object whose positional change relative to the host vehicle is larger than a predetermined value. The two-dimensional three-dimensional image drawing unit 21 generates a two-dimensional image or a three-dimensional image in which the contrast of the inanimate object is lower than the contrast of the object whose positional change relative to the host vehicle is larger than a predetermined value. May be.
２Ｄ／３Ｄ表示部１は、２Ｄ／３Ｄ映像描画部２１の映像出力に基づき、カメラ３に近接する位置から遠方に行くに従って徐々に低コントラストから高コントラストに変化させた２次元表示又は３次元表示を行う。 The 2D / 3D display unit 1 is a two-dimensional display or a three-dimensional display that is gradually changed from a low contrast to a high contrast as it goes farther from a position close to the camera 3 based on the video output of the 2D / 3D video rendering unit 21. I do.
図１０に車体表示のコントラストを変更する例を示す。図１０に示すように、車体部６ａのカメラ近傍領域ＡＲ１では、低コントラストで表示し、カメラ遠方領域ＡＲ２では、高コントラストで表示する。これにより、カメラ近傍の車体部６ａについては、不必要な情報を低下し、視認すべき対象物の認知時間を低減させることができる。 FIG. 10 shows an example of changing the contrast of the vehicle body display. As shown in FIG. 10, in the camera vicinity area AR1 of the vehicle body 6a, display is performed with low contrast, and in the camera far area AR2, display is performed with high contrast. Thereby, about the vehicle body part 6a near a camera, unnecessary information can be reduced and the recognition time of the target object which should be visually recognized can be reduced.
（第３の実施形態）
図１１は、第３の実施形態の２次元３次元表示装置の処理を示すフローチャートである。第３の実施形態の２次元３次元表示装置では、２Ｄ／３Ｄ映像描画部２１が、自車両との相対的な位置変化が所定値よりも大きい物体のコントラストよりも、自車両から遠ざかる物体のコントラストを低下させた２次元映像又は３次元映像を生成する。
(Third embodiment)
FIG. 11 is a flowchart illustrating processing of the two-dimensional three-dimensional display device according to the third embodiment. In the two-dimensional three-dimensional display device according to the third embodiment, the 2D / 3D video rendering unit 21 detects an object moving away from the host vehicle rather than the contrast of the object whose relative position change with the host vehicle is larger than a predetermined value. A two-dimensional image or a three-dimensional image with reduced contrast is generated.
次に、図１１に示すフローチャートを参照しながら、第３の実施形態の２次元３次元表示装置の処理を詳細に説明する。なお、ステップＳ１、ステップＳ５、ステップＳ６の処理は、図２に示すフローチャートのそれらと同じであるので、その説明は省略する。ここでは、第３の実施形態の２次元３次元表示装置の特徴であるステップＳ９、ステップＳ１０の処理について説明する。 Next, the processing of the two-dimensional three-dimensional display device of the third embodiment will be described in detail with reference to the flowchart shown in FIG. In addition, since the process of step S1, step S5, and step S6 is the same as those of the flowchart shown in FIG. 2, the description is abbreviate | omitted. Here, the process of step S9 and step S10 which are the characteristics of the two-dimensional three-dimensional display apparatus of 3rd Embodiment is demonstrated.
まず、ステップＳ９において、ＣＰＵ２２は、映像情報に基づき映像における不動物体の領域と遠ざかる物体の領域を算出する。物体の時系列的な変化により、物体の位置が元の位置から遠ざかる場合には、遠ざかる物体と判定される。 First, in step S <b> 9, the CPU 22 calculates a region of an object moving away from an inanimate object region in the video based on the video information. When the position of the object moves away from the original position due to the time-series change of the object, it is determined that the object moves away.
ステップＳ１０において、ＣＰＵ２２は、算出された不動物体の領域と遠ざかる物体の領域に対して、自車両との相対的な位置変化が所定値よりも大きい物体のコントラストよりも、コントラストを低下させる。このため、不動物体の領域と遠ざかる物体の領域に対して、コントラストが低下された２次元映像で表示され、その他の部分は、３次元映像で表示される。 In step S <b> 10, the CPU 22 reduces the contrast of the calculated object area away from the object area rather than the contrast of an object whose positional change relative to the host vehicle is greater than a predetermined value. For this reason, the object region moving away from the inanimate object region is displayed as a two-dimensional image with reduced contrast, and the other portions are displayed as a three-dimensional image.
図１２に、第３の実施形態の２次元３次元表示装置において遠ざかる物体に対して自車両との相対的な位置変化が所定値よりも大きい物体のコントラストよりも、コントラストを低下させる例を示す。後方車両が近づいて来る場合、後方車両のコントラストよりも後方車両以外部分の遠ざかる物体のコントラストを低下させる。 FIG. 12 shows an example in which the contrast is lowered compared to the contrast of an object whose relative position change with respect to the host vehicle is larger than a predetermined value with respect to the object moving away in the two-dimensional three-dimensional display device of the third embodiment. . When the vehicle behind is approaching, the contrast of the object that is moving away from the vehicle other than the vehicle behind is lowered than the contrast of the vehicle behind.
即ち、遠ざかる物体に対して、コントラストを低下することにより、注視すべき物体（情報）の認知時間を低減させることができる。車両では近づいてくる物体の情報は重要であるので、遠ざかる物体の情報を目立たなくさせる。 That is, it is possible to reduce the recognition time of an object (information) to be watched by reducing contrast with respect to an object that moves away. Since information on an approaching object is important in a vehicle, information on an object moving away is made inconspicuous.
なお、本発明は、第１の実施の形態及び第２の実施形態の２次元３次元表示装置に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。本発明は、例えば、第１の実施の形態の２次元３次元表示装置と第２の実施の形態の２次元３次元表示装置と第３の実施の形態の２次元３次元表示装置とを組み合わせた実施例にも適用することができる。 Note that the present invention is not limited to the two-dimensional and three-dimensional display devices of the first embodiment and the second embodiment, and the technical idea according to the present invention is not limited to this embodiment. Of course, various changes can be made according to the design or the like as long as they do not deviate from the above. The present invention, for example, combines the two-dimensional three-dimensional display device of the first embodiment, the two-dimensional three-dimensional display device of the second embodiment, and the two-dimensional three-dimensional display device of the third embodiment. This embodiment can also be applied.
１ ２Ｄ／３Ｄ表示部
２ 情報表示部
３ カメラ
４ 車両信号情報部
５ 車体
６ａ，６ｂ 車体部
７ サイドミラー
９ａ，９ｂ 車体部以外部分
１０ 車体後部
２１ ２Ｄ／３Ｄ映像描画部
２２ ＣＰＵ
２３ ＲＯＭ
２４ ＲＡＭ
２５ インターフェース
ＳＡＲ サイドミラー映像範囲
ＢＡＲ バックビュー映像範囲
ＡＲ１ カメラ近辺領域
ＡＲ２ カメラ遠方領域
ＲＣ１，ＲＣ５ 実カメラ
ＶＣ２，ＶＣ３．ＶＣ４ 仮想カメラ
ＲＣ１ＶＤ，ＶＣ２ＶＤ，ＶＣ３ＶＤ，ＶＣ４ＶＤ，ＲＣ５ＶＤ 映像データ
1 2D / 3D display section
2 Information display unit 3 Camera 4 Vehicle signal information unit 5 Car body 6a, 6b Car body part 7 Side mirrors 9a, 9b Parts other than the car body part 10 Car body rear part 21 2D / 3D image drawing part 22 CPU
23 ROM
24 RAM
25 Interface SAR Side mirror image range BAR Back view image range AR1 Camera near area AR2 Camera far area RC1, RC5 Real cameras VC2, VC3. VC4 virtual camera RC1VD, VC2VD, VC3VD, VC4VD, RC5VD Video data
Claims (6)
前記カメラからの映像情報と車両情報とに基づき自車両との相対的な位置変化が所定値以下の不動物体に対して２次元映像を生成し、自車両との相対的な位置変化が所定値よりも大きい物体に対して３次元映像を生成する２次元３次元映像描画部と、
前記不動物体を前記２次元３次元映像描画部により生成された２次元映像で表示し、自車両との相対的な位置変化が所定値よりも大きい物体を３次元映像で表示する２次元３次元表示部と、
を備えることを特徴とする２次元３次元表示装置。 A two-dimensional three-dimensional display device that displays a vehicle surrounding situation photographed by a camera,
Based on the video information from the camera and the vehicle information, a two-dimensional image is generated for an inanimate object whose relative position change with the host vehicle is a predetermined value or less, and the relative position change with the host vehicle is a predetermined value. A 2D 3D video rendering unit for generating 3D video for a larger object,
A two-dimensional three-dimensional display that displays the inanimate object as a two-dimensional image generated by the two-dimensional three-dimensional image drawing unit and displays an object whose positional change relative to the host vehicle is larger than a predetermined value as a three-dimensional image. A display unit;
A two-dimensional three-dimensional display device comprising:
前記カメラからの映像情報と車両情報とに基づき自車両との相対的な位置変化が所定値以下の不動物体に対して、自車両との相対的な位置変化が所定値よりも大きい物体の視差よりも小さい視差の３次元映像を生成する２次元３次元映像描画部と、
前記不動物体を前記２次元３次元映像描画部により生成された前記小さい視差の３次元映像で表示する２次元３次元表示部と、
を備えることを特徴とする２次元３次元表示装置。 A two-dimensional three-dimensional display device that displays a vehicle surrounding situation photographed by a camera,
The parallax of an object whose relative position change with respect to the own vehicle is larger than a predetermined value with respect to an inanimate object whose relative position change with respect to the own vehicle is less than a predetermined value based on the video information from the camera and the vehicle information A 2D 3D video rendering unit that generates a 3D video with a smaller parallax,
A two-dimensional three-dimensional display unit for displaying the inanimate body with the small-parallax three-dimensional image generated by the two-dimensional three-dimensional image drawing unit;
A two-dimensional three-dimensional display device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013170331A JP6136748B2 (en) | 2013-08-20 | 2013-08-20 | 2D 3D display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013170331A JP6136748B2 (en) | 2013-08-20 | 2013-08-20 | 2D 3D display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015041789A true JP2015041789A (en) | 2015-03-02 |
| JP6136748B2 JP6136748B2 (en) | 2017-05-31 |
Family
ID=52695744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013170331A Active JP6136748B2 (en) | 2013-08-20 | 2013-08-20 | 2D 3D display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6136748B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105739110A (en) * | 2016-05-06 | 2016-07-06 | 宁波维真显示科技有限公司 | Local naked eye 3D display |
| WO2022202892A1 (en) * | 2021-03-25 | 2022-09-29 | いすゞ自動車株式会社 | Display control apparatus |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001114048A (en) * | 1999-10-20 | 2001-04-24 | Matsushita Electric Ind Co Ltd | On-vehicle operation supporting information display device |
| WO2004084559A1 (en) * | 2003-03-20 | 2004-09-30 | Seijiro Tomita | Video display for vehicle |
| JP2011035712A (en) * | 2009-08-03 | 2011-02-17 | Mitsubishi Electric Corp | Image processing device, image processing method and stereoscopic image display device |
| JP2011035729A (en) * | 2009-08-03 | 2011-02-17 | Alpine Electronics Inc | Apparatus and method for displaying vehicle-surrounding image |
| JP2012249038A (en) * | 2011-05-27 | 2012-12-13 | Hitachi Consumer Electronics Co Ltd | Image signal processing apparatus and image signal processing method |
-
2013
- 2013-08-20 JP JP2013170331A patent/JP6136748B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001114048A (en) * | 1999-10-20 | 2001-04-24 | Matsushita Electric Ind Co Ltd | On-vehicle operation supporting information display device |
| WO2004084559A1 (en) * | 2003-03-20 | 2004-09-30 | Seijiro Tomita | Video display for vehicle |
| JP2011035712A (en) * | 2009-08-03 | 2011-02-17 | Mitsubishi Electric Corp | Image processing device, image processing method and stereoscopic image display device |
| JP2011035729A (en) * | 2009-08-03 | 2011-02-17 | Alpine Electronics Inc | Apparatus and method for displaying vehicle-surrounding image |
| JP2012249038A (en) * | 2011-05-27 | 2012-12-13 | Hitachi Consumer Electronics Co Ltd | Image signal processing apparatus and image signal processing method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105739110A (en) * | 2016-05-06 | 2016-07-06 | 宁波维真显示科技有限公司 | Local naked eye 3D display |
| WO2022202892A1 (en) * | 2021-03-25 | 2022-09-29 | いすゞ自動車株式会社 | Display control apparatus |
| JP2022149557A (en) * | 2021-03-25 | 2022-10-07 | いすゞ自動車株式会社 | Display control device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6136748B2 (en) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5320970B2 (en) | Vehicle display device and display method | |
| JP5911775B2 (en) | Image generation apparatus, image display system, and image generation method | |
| JP5321711B2 (en) | Vehicle periphery monitoring device and video display method | |
| JPWO2015194501A1 (en) | Image composition system, image composition apparatus and image composition method therefor | |
| KR20130025005A (en) | Apparatus and method for compensating around image of vehicle | |
| JP2013183298A (en) | Rearward visibility support device for vehicle and rearward visibility support method for vehicle | |
| JP7263731B2 (en) | Image processing device | |
| US11146740B2 (en) | Image display apparatus | |
| JP6589313B2 (en) | Parallax value deriving apparatus, device control system, moving body, robot, parallax value deriving method, and program | |
| JP2015179063A (en) | Parallax value derivation device, apparatus control system, moving body, robot, parallax value derivation method and program | |
| US20190166357A1 (en) | Display device, electronic mirror and method for controlling display device | |
| US11813988B2 (en) | Image processing apparatus, image processing method, and image processing system | |
| JP6890288B2 (en) | Image processing equipment, image display system and image processing method | |
| CN112351242A (en) | Image processing apparatus and image processing method | |
| US20190166358A1 (en) | Display device, electronic mirror and method for controlling display device | |
| JP6136748B2 (en) | 2D 3D display device | |
| JP2015088942A (en) | Image display system, image display method, and program | |
| JP7442029B2 (en) | Image processing device, image processing program | |
| JP7021001B2 (en) | Image processing device and image processing method | |
| JP6136747B2 (en) | 2D 3D display device | |
| JP2019083385A (en) | Head-up display unit | |
| JP6999239B2 (en) | Image processing device and image processing method | |
| WO2016059765A1 (en) | Video processing device and in-vehicle video processing system | |
| JP7135378B2 (en) | Perimeter monitoring device | |
| JP2007051976A (en) | On-vehicle camera system, object position detecting system and object position detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160325 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170417 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6136748 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |