JP2016201742A - Moving image data for stereoscopic vision generation device, method executed thereby, and moving image display device for stereoscopic vision - Google Patents

Moving image data for stereoscopic vision generation device, method executed thereby, and moving image display device for stereoscopic vision Download PDF

Info

Publication number
JP2016201742A
JP2016201742A JP2015081942A JP2015081942A JP2016201742A JP 2016201742 A JP2016201742 A JP 2016201742A JP 2015081942 A JP2015081942 A JP 2015081942A JP 2015081942 A JP2015081942 A JP 2015081942A JP 2016201742 A JP2016201742 A JP 2016201742A
Authority
JP
Japan
Prior art keywords
image
data
eye
moving image
image light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015081942A
Other languages
Japanese (ja)
Inventor
山本　正男
Masao Yamamoto
正男 山本
高橋　淳
Atsushi Takahashi
淳 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MEDICOM KK
Scalar Corp
Original Assignee
MEDICOM KK
Scalar Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MEDICOM KK, Scalar Corp filed Critical MEDICOM KK
Priority to JP2015081942A priority Critical patent/JP2016201742A/en
Publication of JP2016201742A publication Critical patent/JP2016201742A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technique generating moving image data for stereoscopic vision easily.SOLUTION: A camera includes an imaging element 140. Two image light beams L1R, L1L are guided, while having a parallax, to the imaging plane 141 of the imaging element 140. The image light beams L1R, L1L are focused, respectively, at the center point of the right half and the center point of the left half of the imaging plane 141. Frame data is outputted sequentially from the imaging element 140. The frame data is divided into right frame data generated by the image light beams L1R, and a left frame data generated by the image light beams L1L, by an image processing circuit 156. The former is continued as the data of moving image for the right eye, and the latter is continued as the data of moving image for the left eye.SELECTED DRAWING: Figure 6

Description

本発明は、主に、立体視用の動画を生成するための技術に関する。   The present invention mainly relates to a technique for generating a moving image for stereoscopic viewing.

動画よる立体視を行う場合には、ユーザの右目に右目用動画を、左目に左目用動画を見せることにより、これを実現する。
右目用動画と左目用動画とをユーザの右目と左目に導く場合には、それらを表示するための少なくとも１つのディスプレイが必要となる。ディスプレイは、１つの場合と２つの場合がある。
ディスプレイが１つの場合には一般に、ディスプレイに右目用動画を構成するフレームと、左目用動画を構成するフレームとを交互に写す。そして、右目用動画を構成するフレームからの光を右目に、左目用動画を構成するフレームからの光を左目に、時分割、或いは視差分割で、ユーザの目にそれぞれ導くことにより、ユーザの右目に右目用動画を、ユーザの左目に左目用動画を、それぞれ見せることになる。時分割の場合には、ディスプレイには、１フレーム毎に交互に右目用動画を構成するフレームと左目用動画を構成するフレームが表示される。ユーザは、１フレーム毎に交互に表示される右目用動画のフレームと左目用動画のフレームとを、ディスプレイに表示されるフレームの切替タイミングに同期して交互に開閉する液晶シャッタを左右の両目の前にそれぞれ位置させられる特殊な眼鏡等を用いて見ることにより、立体視を行うことができる。他方、視差分割の場合には、ディスプレイに表示されるすべてのフレームの中に、右目用動画を構成する部分と、左目用動画を構成する部分とが表示される。１つのフレームの中に映しだされる右目用動画を構成する部分と、左目用動画を構成する部分とから出た光は、例えば、視野バリア又はレンチキュラーレンズを用いて右目と左目のそれぞれに、分離して導かれる。それにより、ユーザは立体視を行うことができる。
他方、ディスプレイが２つの場合には、右目用動画を表示する右ディスプレイと、左目用動画を表示する左ディスプレイとを準備し、当初から別の物となっている２つのディスプレイそれぞれからの像光を、例えばレンズを含む適当な光学系でユーザの右目と左目とに導くことにより、ユーザは立体視を行う。 When performing stereoscopic viewing using a moving image, this is realized by showing the moving image for the right eye on the right side of the user and the moving image for the left eye on the left side of the user.
When the right-eye moving image and the left-eye moving image are guided to the user's right eye and left eye, at least one display for displaying them is required. There can be one display and two displays.
In the case of a single display, generally, a frame constituting the right-eye moving image and a frame constituting the left-eye moving image are alternately displayed on the display. Then, by guiding the light from the frame constituting the right-eye moving image to the right eye and the light from the frame constituting the left-eye moving image to the user's eyes by time division or parallax division, the user's right eye The right eye moving image and the left eye moving image are shown to the left eye of the user. In the case of time division, the frame constituting the right-eye moving image and the frame constituting the left-eye moving image are alternately displayed on the display for each frame. The user opens a liquid crystal shutter that alternately opens and closes the right-eye moving image frame and the left-eye moving image frame that are alternately displayed for each frame in synchronization with the switching timing of the frame displayed on the display. Stereoscopic viewing can be performed by using special glasses or the like that are positioned in front of each other. On the other hand, in the case of the parallax division, a part constituting the moving picture for the right eye and a part constituting the moving picture for the left eye are displayed in all the frames displayed on the display. Light emitted from the part constituting the moving image for the right eye and the part constituting the moving image for the left eye projected in one frame, for example, to each of the right eye and the left eye using a visual field barrier or a lenticular lens, Guided separately. Thereby, the user can perform a stereoscopic view.
On the other hand, when there are two displays, a right display that displays a right-eye moving image and a left display that displays a left-eye moving image are prepared, and image light from each of the two different displays from the beginning. For example, the user performs stereoscopic viewing by guiding the image to the right eye and the left eye of the user with an appropriate optical system including a lens.

以上で大まかに説明したように、立体視には様々な方式があるが、ユーザが立体視を行う場合に用いられるディスプレイが１つの場合であれ、２つの場合であれ、立体視用の動画を作るために、右目用動画と左目用動画という２種類の動画のデータが必要となる点には違いがない。右目用動画と左目用動画とは、略同じ動画であるが、両眼の視差に相当する視差を与えて撮像された、異なる動画である。視差を与えて撮像された２種類の異なる動画をユーザの右目と左目のそれぞれで見ることにより、ユーザは立体視を行えるようになるのであるから、右目用動画と左目用動画という２種類の動画のデータを準備するというのは、立体視を実現するためには欠かすことができない。   As described above in general, there are various methods for stereoscopic viewing. However, even if there are one or two displays used when a user performs stereoscopic viewing, a moving image for stereoscopic viewing is displayed. There is no difference in that data of two types of moving images, that is, a moving image for the right eye and a moving image for the left eye, are required to make it. The right-eye moving image and the left-eye moving image are substantially the same moving image, but are different moving images that are captured with parallax equivalent to binocular parallax. By viewing two different types of moving images captured with parallax with each of the user's right eye and left eye, the user can perform stereoscopic viewing, so two types of moving images, a right eye moving image and a left eye moving image, are provided. This data preparation is indispensable for realizing stereoscopic viewing.

ところで、右目用動画と左目用動画という２つの動画を撮像するのはそれ程簡単ではない。
一般に、右目用動画と左目用動画は、２つの撮像素子と、それら撮像素子のそれぞれ用の適当な光学系を有するカメラを用いて撮像される。しかしながら、右目用動画と左目用動画は、それらにそれぞれ含まれている多数のフレームについて、より具体的に言えば、例えば、それらフレームの切り替えのタイミングについて、極めて高い精度で同期が取られていることが必要であるが、かかる同期を実現することが難しい。また、右目用動画と左目用動画との間では、色と明るさの一致が必要なところ、撮像素子を２つ用いた場合には、同一の撮像素子を用いたとしても製造誤差に基づく個体差が撮像素子間にあるため、それらを用いて作られる右目用動画と左目用動画との間で色と明るさの一致させるための何らかの処理が必要となるが、その処理は比較的面倒であり、且つコストも嵩む。 By the way, it is not so easy to capture two moving images, a right-eye moving image and a left-eye moving image.
In general, a moving image for the right eye and a moving image for the left eye are imaged using a camera having two image sensors and an appropriate optical system for each of the image sensors. However, the right-eye moving image and the left-eye moving image are synchronized with extremely high accuracy, for example, with regard to the switching timing of these frames, more specifically, with respect to the many frames included in each of them. However, it is difficult to realize such synchronization. Further, between the right-eye moving image and the left-eye moving image, it is necessary to match the color and the brightness. When two image sensors are used, even if the same image sensor is used, an individual based on a manufacturing error is used. Since there is a difference between the image sensors, some processing is required to make the color and brightness match between the right-eye video and the left-eye video that are created using them, but the processing is relatively troublesome. Yes and cost is high.

本願発明は、立体視用の動画データを簡単に生成する技術を提供することをその課題とする。   An object of the present invention is to provide a technique for easily generating moving image data for stereoscopic viewing.

本願発明者は、上述の課題を解決するために、以下の発明を提案する。
本願発明は、そこに結像させられた像光の撮像を行う撮像面を有し、且つ前記撮像面に結像させられた像光に基づく静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようになっている１つの撮像素子と、前記撮像素子に右目用の画像である右目用動画の像光である右像光を導く右撮像光学系と、前記撮像素子に左目用の画像である左目用動画の像光である左像光を導く左撮像光学系と、を備えてなるとともに、前記右像光と、前記左像光とは、前記撮像素子の前記撮像面の異なる部位に結像させられるようになっており、前記撮像素子は、前記右像光と、前記左像光とによる動画データを出力するようになっている、立体視用動画データ生成装置である。
この立体視用動画データ生成装置は、右目用の画像である右目用動画の像光である右像光を撮像素子の撮像面に導く右撮像光学系と、左目用の画像である左目用動画の像光である左像光を撮像素子の撮像面に導く左撮像光学系とを備えている。右撮像光学系により導かれる右像光と、左撮像光学系により導かれる左像光とは、いずれも１つの撮像素子に導かれ、撮像素子の撮像面の異なる部位に結像させられる。本願発明では、右像光と左像光とを１つの撮像素子に導き、１つの撮像素子から一列で出力されるデータにより、立体視用の動画データを生成する。この発明では、２つの撮像素子を用いずに、１つの撮像素子から一列で出力されるデータから、右目用動画のデータと、左目用動画のデータとを作ることができるから、２つの撮像素子の同期、及び色と明るさの一致を得るための複雑な処理を省略することができる。加えて、撮像素子の数を減らせるから、この立体視用動画データ生成装置は、安価にし易くもなる。
１つの撮像素子から一列で出力されるデータから右目用動画のデータと左目用動画のデータを生成するには、フレームデータの連続であるその一列で出力されるデータにおける各フレームデータの中から、右像光によって生成されたデータと、左像光によって生成されたデータをそれぞれ取出し、前者を、右目画像用のフレームデータである右フレームデータとし、後者を、左目画像用のフレームデータである左フレームデータとにすれば良い。つまり、一列で出力されるデータを２つに分けることにより、一列で出力されるデータから、右目用動画のデータと、左目用動画のデータを生成することができる。 The present inventor proposes the following invention in order to solve the above-described problems.
The present invention has an image pickup surface that picks up image light imaged on the image plane, and continuously receives frame data that is data about a still image based on the image light imaged on the image pickup surface. One imaging device capable of capturing a moving image by outputting, and right imaging optics that guides right image light that is image light of a right-eye moving image that is an image for the right eye to the imaging device And a left imaging optical system that guides left image light that is image light of a left-eye moving image that is an image for the left eye to the image sensor, and the right image light and the left image light are The imaging device is adapted to form an image on different parts of the imaging surface, and the imaging device is configured to output moving image data of the right image light and the left image light. This is a stereoscopic video data generating device.
The stereoscopic moving image data generation device includes a right imaging optical system that guides right image light, which is image light of a right eye moving image that is an image for the right eye, to an imaging surface of the imaging element, and a left eye moving image that is an image for the left eye. And a left imaging optical system that guides the left image light, which is the image light, to the imaging surface of the imaging device. Both the right image light guided by the right imaging optical system and the left image light guided by the left imaging optical system are guided to one image sensor and formed on different parts of the imaging surface of the image sensor. In the present invention, the right image light and the left image light are guided to one image sensor, and moving image data for stereoscopic viewing is generated from data output from one image sensor in a line. In the present invention, the right eye moving image data and the left eye moving image data can be created from the data output in one line from one image sensor without using two image sensors. Synchronization, and complicated processing for obtaining a match between color and brightness can be omitted. In addition, since the number of image sensors can be reduced, the stereoscopic moving image data generating device can be easily made inexpensive.
In order to generate right-eye moving image data and left-eye moving image data from data output in a single row from one image sensor, each frame data in the data output in a single row of frame data is The data generated by the right image light and the data generated by the left image light are respectively taken out, the former is the right frame data that is the frame data for the right eye image, and the latter is the left that is the frame data for the left eye image. Frame data can be used. That is, by dividing the data output in one row into two, it is possible to generate right eye moving image data and left eye moving image data from the data output in one row.

右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成する処理は、立体視用動画データ生成装置内で行われても良いし、画像処理を行うことのできる他の装置で行われても良い。右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成する処理が立体視用動画データ生成装置内で行われる場合には、立体視用動画データ生成装置は、前記撮像素子によって出力されたフレームデータに対して画像処理を行うことができるようになっている画像処理手段を備えており、前記画像処理手段が、各フレームデータの中から、前記右像光によって生成されたデータと、前記左像光によって生成されたデータをそれぞれ取出し、右目画像用のフレームデータである右フレームデータと、左目画像用のフレームデータである左フレームデータとを生成することにより、立体視における右目用動画のデータと、左目用動画のデータとを別々に出力できるようになっているものとすることができる。   The processing for generating the right-eye moving image data and the left-eye moving image data from the data output in a row from one image sensor may be performed in the stereoscopic moving image data generation device, or may be image processing. It may be performed by another device capable of performing the above. When processing for generating right-eye moving image data and left-eye moving image data from data output in a row from one imaging device is performed in the stereoscopic moving image data generating device, the stereoscopic moving image data The data generation device includes image processing means that can perform image processing on the frame data output by the imaging device, and the image processing means The data generated by the right image light and the data generated by the left image light are respectively taken out, right frame data that is frame data for the right eye image, and left frame data that is frame data for the left eye image. By generating, the right-eye moving image data and the left-eye moving image data in stereoscopic view can be output separately. It can be.

右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成する処理が、立体視用動画データ生成装置内で行われるにせよ、行われないにせよ、立体視用動画データ生成装置は、１つの撮像素子から一列で出力されるデータを記録する記録媒体（立体視用動画データ生成装置に着脱自在にされていても良い。）を備えていても良い。かかる記録媒体に一旦１つの撮像素子から一列で出力されるデータを記録することとすれば、右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成する処理を、そのデータを上記記録媒体から読み込んだ他の装置で行わせることが容易となる。他方、立体視用動画データ生成装置は、１つの撮像素子から一列で出力されるデータを出力する端子を備えていても良い。その場合、その端子から出力されたデータを入力された他の装置で、右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成する処理を行うことが可能となる。   Even if processing for generating right-eye moving image data and left-eye moving image data from data output in a row from one image sensor is performed in the stereoscopic moving image data generation device, it is not performed. In other words, the stereoscopic moving image data generation device includes a recording medium (which may be detachably attached to the stereoscopic moving image data generation device) that records data output in a row from one imaging device. Also good. If data output in one line from one image sensor is once recorded on such a recording medium, the data for the right eye moving image data and the left eye moving image data are output in one line from one image sensor. It is easy to cause the other data read from the recording medium to be processed by the other device. On the other hand, the moving image data generation device for stereoscopic vision may include a terminal that outputs data output from one image sensor in a line. In this case, the processing for generating the right-eye moving image data and the left-eye moving image data from the data output in a single row from one image sensor is performed by another device to which the data output from the terminal is input. Can be done.

右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成する処理が立体視用動画データ生成装置内で行われる場合には、それ以外の画像処理もその立体視用動画データ生成装置内で行われるようになっていても良い。それ以外の画像処理の例としては、ユーザが立体視を行うときに用いられる１つのディスプレイに表示される動画のデータを生成するための画像処理を挙げることができる。
例えば、右目用動画のデータと左目用動画のデータが存在しているとする。右目用動画のデータと左目用動画のデータは、それらに基づく動画を２つのディスプレイにそれぞれ表示し、２つのディスプレイからの光をそれぞれ別の光学系でユーザの右目と左目に個別に導いたときに、ユーザが立体視を行えるようなものである。つまり、２つのディスプレイを使用する立体視用動画表示装置でユーザが立体視を行う場合には、１つの撮像素子から一列で出力されるデータから右目用動画のデータと、左目用動画のデータとを生成する処理を実行した段階で、既に立体視用動画表示装置で必要となる動画のデータは完成している。
他方、立体視用動画表示装置が１つのディスプレイで立体視用の動画を表示するものであるとする。その場合には、右目用動画のデータと左目用動画のデータを用いて、１つのディスプレイで表示される１つの立体視用の動画のデータを生成する必要がある。立体視用動画表示装置が１つのディスプレイで、時分割される立体視用の動画を表示する場合には、立体視用の動画のデータは、１フレーム毎に交互に右目用動画を構成するフレームと左目用動画を構成するフレームが連続していくものとなる。この場合には、右目用動画のデータの１フレーム目、左目用動画のデータの２フレーム目、右目用動画のデータの３フレーム目、左目用動画のデータの４フレーム目…、というように、右目用動画に連続して含まれるフレームと、左目用動画に連続して含まれるフレームとを、それぞれのフレームからフレームを一つ飛ばしに落として行きつつ、交互に連続させたものが立体視用の動画のデータとなる。立体視用動画表示装置が１つのディスプレイで視差分割される立体視用の動画を表示する場合には、立体視用の動画のデータにおける各フレームは、各フレームの視差によって分割される右目で見るべき範囲に右目用動画の画像が、左目で見るべき範囲に左目用動画の画像が、それぞれ配置されたものとなる。右目用動画と左目用動画のデータがそれぞれ存在しているのであれば、同じ順番のフレームの画像同士を適切に混合することによって、立体視用の動画のデータを得ることができることになる。
上述したように、以上のような画像処理は、立体視用動画データ生成装置内で行われるようになっていても良いが、そうでなくても良い。 When processing for generating right-eye moving image data and left-eye moving image data from data output in a row from one image sensor is performed in the stereoscopic moving image data generation device, other images are used. The processing may also be performed within the stereoscopic video data generation device. Examples of other image processing include image processing for generating moving image data displayed on one display used when the user performs stereoscopic viewing.
For example, it is assumed that there is right eye moving image data and left eye moving image data. The right-eye video data and the left-eye video data are displayed when the video based on them is displayed on two displays, respectively, and the light from the two displays is individually guided to the right and left eyes of the user by different optical systems. In addition, the user can perform stereoscopic viewing. That is, when a user performs stereoscopic viewing on a stereoscopic video display device that uses two displays, right eye moving image data and left eye moving image data are output from data output in a row from one image sensor. The moving image data necessary for the stereoscopic moving image display device has already been completed at the stage of executing the process of generating the image.
On the other hand, it is assumed that the stereoscopic video display device displays a stereoscopic video on one display. In that case, it is necessary to generate one stereoscopic video data displayed on one display using the right-eye video data and the left-eye video data. When the stereoscopic video display device displays a time-divided stereoscopic video on a single display, the stereoscopic video data is a frame that constitutes the right-eye video alternately for each frame. And the frames constituting the left-eye moving image are continuous. In this case, the first frame of the right eye moving image data, the second frame of the left eye moving image data, the third frame of the right eye moving image data, the fourth frame of the left eye moving image data, and so on, For stereoscopic viewing, frames that are continuously included in the video for the right eye and frames that are continuously included in the video for the left eye are skipped from each frame and are alternately continued. It becomes the data of the video. When the stereoscopic video display device displays a stereoscopic video that is parallax-divided on one display, each frame in the stereoscopic video data is viewed with the right eye that is divided by the parallax of each frame. The moving image for the right eye is arranged in the power range, and the moving image for the left eye is arranged in the range to be viewed with the left eye. If right-eye moving image data and left-eye moving image data exist, stereoscopically-moving moving image data can be obtained by appropriately mixing images of frames in the same order.
As described above, the image processing as described above may be performed in the stereoscopic video data generation apparatus, but it does not have to be.

本願の立体視用動画データ生成装置では、上述のように、右撮像光学系により導かれる右像光と、左撮像光学系により導かれる左像光とは、いずれも１つの撮像素子に導かれ、撮像素子の撮像面の異なる部位に結像させられるようになっている。
これには限られないが、前記右像光と、前記左像光とはそれぞれ、前記撮像面を左右に二分した場合における右側の領域と、左側の領域とにそれぞれ結像するようになっていてもよい。この場合には、右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成するために行われる処理、つまり、フレームデータの連続であるその一列で出力されるデータにおける各フレームデータの中から、右像光によって生成されたデータと、左像光によって生成されたデータとをそれぞれ取出す処理は、極めて簡単に実行できる。フレームデータの連続であるその一列で出力されるデータにおける各フレームデータは、撮像面に設けられた略水平な走査線（フィールド）上の素子から出力されたデータを含んでいるが、各フィールドのデータを前後に分けるだけで、右目用動画のデータと左目用動画のデータを得ることができる。
前記右像光と、前記左像光とはそれぞれ、前記撮像面を左右に二分した場合における右側の領域の中央と、左側の領域の中央とにそれぞれ結像するようになっていてもよい。この場合には、フレームデータの連続であるその一列で出力されるデータにおける各フレームデータの中から、右像光によって生成されたデータと、左像光によって生成されたデータとをそれぞれ取出す処理は、更に簡単に実行できる。この場合、各フレームデータに対して、フレームデータを構成する各フィールドのデータを前後に、半分に分けるだけで、右目用動画のデータと左目用動画のデータを得ることができる。
立体視用動画データ生成装置が画像処理手段を備えている場合には、画像処理手段は、右目用動画のデータと、左目用動画のデータとを、１つの撮像素子から一列で出力されるデータから生成するために行われる処理を、上述のようにして実行するようになっていてもよい。
例えば、前記画像処理手段は、前記フレームデータのそれぞれに含まれる各走査線のうち、撮像面の右側の領域にある画素で生成された部分の走査線を特定するデータを集めて、右フレームデータを、各フレームデータに含まれる各走査線のうち、撮像面の左側の領域にある画素で生成された部分の走査線を特定するデータを集めて、左フレームデータを、それぞれ生成するようになっていてもよい。 In the stereoscopic moving image data generation device of the present application, as described above, both the right image light guided by the right imaging optical system and the left image light guided by the left imaging optical system are guided to one imaging element. The image is formed on different parts of the imaging surface of the imaging element.
Although not limited to this, the right image light and the left image light are respectively imaged in the right region and the left region when the imaging surface is divided into right and left. May be. In this case, right eye moving image data and left eye moving image data are generated from data output from one image sensor in a line, that is, a series of frame data. The processing for extracting the data generated by the right image light and the data generated by the left image light from the respective frame data in the data output in (5) can be performed very easily. Each frame data in the data output in one row which is a continuous frame data includes data output from elements on a substantially horizontal scanning line (field) provided on the imaging surface. It is possible to obtain right eye moving image data and left eye moving image data simply by dividing the data into front and rear.
The right image light and the left image light may be respectively formed on the center of the right region and the center of the left region when the imaging surface is divided into right and left. In this case, the process of taking out the data generated by the right image light and the data generated by the left image light from the respective frame data in the data output in one row that is a continuation of the frame data, respectively. It can be executed more easily. In this case, the data for the right eye moving image and the data for the left eye moving image can be obtained by dividing the data of each field constituting the frame data into two halves before and after each frame data.
In the case where the stereoscopic moving image data generation device includes an image processing unit, the image processing unit outputs data of right eye moving image data and left eye moving image data in a line from one image sensor. The processing performed to generate the data from the above may be executed as described above.
For example, the image processing means collects data specifying the scanning lines of the portion generated by the pixels in the right region of the imaging surface among the scanning lines included in each of the frame data, and the right frame data Among the scanning lines included in each frame data, the data for identifying the scanning lines of the portions generated by the pixels in the left region of the imaging surface are collected to generate the left frame data, respectively. It may be.

本願では、また、上述したいずれかの立体視用動画データ生成装置を含んでなる立体視用動画表示装置をも本願発明の一態様として提案する。
かかる立体視用動画表示装置は、前記画像処理手段から順次出力される前記右フレームデータからなる前記右目用動画のデータを受取り、ユーザの右目に前記右目用動画のデータに基づく動画である右目用動画の像光を出力する右ディスプレイと、前記画像処理手段から順次出力される前記左フレームデータからなる前記左目用動画のデータを受取り、ユーザの左目に前記左目用動画のデータに基づく動画である左目用動画の像光を出力する左ディスプレイと、を有することにより、前記撮像素子で撮像された前記右像光に基づく右目用動画と、前記撮像素子で撮像された前記左像光に基づく左目用動画とを、略実時間でユーザの右目と左目に導くことができるようになっている。
かかる立体視用動画表示装置を用いれば、ユーザは、略実時間で、立体視を行えるようになる。ユーザに立体視用動画表示装置で見せる立体視用動画を何らかの対象物の拡大像とすれば、ユーザはその拡大像を立体視により見ることができるようになる。
これには限られないが、立体視用動画表示装置は、前記立体視用動画データ生成装置、前記右ディスプレイ、及び前記左ディスプレイを含む本体部と、前記本体部をユーザの頭部に対して着脱自在に固定する固定手段と、を含んでなり、ヘッドマウントディスプレイとされていても良い。
こうすることで、ユーザは、自分の視野内にあるものを、ヘッドマウントディスプレイである立体視用動画表示装置を通して、立体視をしつつ見ることができるようになる。立体視用動画表示装置で表示される動画が拡大像その他の肉眼では見ることのできないものであれば、ユーザは肉眼で物を見るよりも多くの情報、或いは肉眼で物を見るのとは異なる情報を、その動画から得られることになる。 In the present application, a stereoscopic moving image display device including any one of the above-described stereoscopic moving image data generation devices is also proposed as one aspect of the present invention.
The stereoscopic video display device receives the data of the right-eye video composed of the right frame data sequentially output from the image processing means, and is for the right eye which is a video based on the data of the right-eye video for the user's right eye. The moving image is based on the left-eye moving image data received from the left-eye moving image data including the right display for outputting moving image light and the left frame data sequentially output from the image processing unit. A left display that outputs image light of a left-eye moving image, whereby a right-eye moving image based on the right image light imaged by the image sensor and a left eye based on the left image light imaged by the image sensor The user's right eye and left eye can be led in substantially real time.
By using such a stereoscopic video display device, the user can perform stereoscopic viewing in substantially real time. If the stereoscopic video displayed to the user on the stereoscopic video display device is an enlarged image of some object, the user can view the enlarged image by stereoscopic vision.
Although not limited thereto, the stereoscopic video display device includes a main body unit including the stereoscopic video data generation device, the right display, and the left display, and the main body unit with respect to the user's head. A detachable fixing means, and may be a head mounted display.
By doing so, the user can view what is in his / her field of view while viewing stereoscopically through the stereoscopic video display device which is a head-mounted display. If the moving image displayed on the stereoscopic moving image display device cannot be viewed with a magnified image or the naked eye, the user is different from viewing the object with the naked eye or more information than viewing the object with the naked eye. Information can be obtained from the video.

本願発明による立体視用動画データ生成装置と同様の効果を、以下の方法によっても得ることができる。
その方法の一例は、そこに結像させられた像光の撮像を行う撮像面を有し、且つ前記撮像面に結像させられた像光に基づく静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようになっている１つの撮像素子と、前記撮像素子に右目用の画像である右目用動画の像光である右像光を導く右撮像光学系と、前記撮像素子に左目用の画像である左目用動画の像光である左像光を導く左撮像光学系と、前記撮像素子によって出力されたフレームデータに対して画像処理を行うことができるようになっている、画像処理手段と、を備えており、前記右像光と、前記左像光とは、前記撮像素子の前記撮像面の異なる部位に結像させられるようになっている、立体視用動画データ生成装置にて実行される方法である。
この方法は、前記画像処理手段が、各フレームデータの中から、前記右像光によって生成されたデータと、前記左像光によって生成されたデータをそれぞれ取出す過程、右目画像用のフレームデータである右フレームデータと、左目画像用のフレームデータである左フレームデータとを生成することにより、立体視における右目用動画のデータと、左目用動画のデータとを別々に出力する過程、を含む。 The same effects as those of the stereoscopic video data generating device according to the present invention can also be obtained by the following method.
One example of such a method is that it has an imaging surface for capturing image light imaged on the image surface, and frame data that is data about a still image based on the image light imaged on the imaging surface is continuously obtained. And outputting the right image light that is the image light of the moving image for the right eye that is the image for the right eye to the imaging device, and the right image light that is capable of capturing the moving image. Image processing is performed on an imaging optical system, a left imaging optical system that guides left image light that is image light of a left-eye moving image that is an image for the left eye to the imaging element, and frame data output by the imaging element Image processing means, and the right image light and the left image light can be imaged on different parts of the imaging surface of the imaging element. The stereoscopic video data generator It is a method that is row.
In this method, the image processing means takes out the data generated by the right image light and the data generated by the left image light from the frame data, respectively, and is frame data for the right eye image. It includes a process of separately generating right-eye moving image data and left-eye moving image data in stereoscopic view by generating right frame data and left frame data that is frame data for the left-eye image.

第１実施形態のＨＭＤの外観を示す斜視図。The perspective view which shows the external appearance of HMD of 1st Embodiment. 図１に示したＨＭＤの本体の内部構造を概略的に示す水平断面図。FIG. 2 is a horizontal sectional view schematically showing an internal structure of the main body of the HMD shown in FIG. 1. 図２に示した撮像素子の撮像面に像光が結像する状態を観念的に示す図。FIG. 3 is a diagram conceptually illustrating a state in which image light is imaged on an imaging surface of the imaging element illustrated in FIG. 2. 図２に示した撮像素子が生成するフレームデータのデータ構造を観念的に示す図。FIG. 3 is a diagram conceptually showing a data structure of frame data generated by the image sensor shown in FIG. 2. 図２に示した撮像素子が生成するフレームデータから右フレームデータと左フレームデータとを生成する方法を観念的に示す図。FIG. 3 is a diagram conceptually illustrating a method of generating right frame data and left frame data from frame data generated by the image sensor illustrated in FIG. 2. 第２実施形態のカメラの内部構造を概略的に示す水平断面図。The horizontal sectional view which shows roughly the internal structure of the camera of 2nd Embodiment.

以下、本発明の第１〜第２実施形態について説明する。なお、各実施形態の説明において共通する対象には共通する符号を付すものとし、重複する説明は場合により省略するものとする。   Hereinafter, first to second embodiments of the present invention will be described. In the description of each embodiment, common objects are denoted by common reference numerals, and redundant descriptions are omitted depending on circumstances.

≪第１実施形態≫
図１に、この実施形態におけるヘッドマウントディスプレイ（以下、「ＨＭＤ」と称する。）の概観を示す。
ＨＭＤは、本体１００と、本体１００に接続された固定部材２００とを備えている。固定部材２００は、ＨＭＤをユーザの頭部に着脱自在に固定するためのものである。この実施形態における固定部材２００は、ＨＭＤをユーザの頭部に固定するに際してユーザの頭部の周囲を囲む輪状部２１０と、ＨＭＤをユーザの頭部に固定するに際してユーザの頭部の上半分を頭頂部を通過しつつ左右にまたぐＵ字部２２０とを備えているが、ＨＭＤをユーザの頭部に着脱自在に固定することが可能であれば、固定部材２００の構成はこの限りではない。例えば、固定部材２００は、本体１００の幅方向の両端の背面付近にその両端を接続された伸縮性を与えられたベルトとすることができる。
本体１００と固定部材２００とは、その両端で本体１００及び固定部材２００とヒンジ接続された板状の接続部材３００で接続されている。接続部材３００の存在により、固定部材２００でＨＭＤがユーザの頭部に固定された状態で、本体１００をユーザの目の前方に位置させた状態と、ユーザの額の前に位置させた状態の２つの状態を採らせることができるようになる。ユーザの目の前方に本体１００が位置した状態で、ユーザは後述する立体視用動画を見ることができる。また、ユーザは、立体視用動画を見る必要がない場合、或いは肉眼での視界を確保したい場合には、固定部材２００を頭部に固定したまま、本体１００を額の前に跳ね上げれば良い。 << First Embodiment >>
FIG. 1 shows an overview of a head mounted display (hereinafter referred to as “HMD”) in this embodiment.
The HMD includes a main body 100 and a fixing member 200 connected to the main body 100. The fixing member 200 is for detachably fixing the HMD to the user's head. The fixing member 200 in this embodiment includes a ring-shaped portion 210 surrounding the user's head when fixing the HMD to the user's head, and an upper half of the user's head when fixing the HMD to the user's head. Although the U-shaped part 220 is provided to pass right and left while passing through the top of the head, the configuration of the fixing member 200 is not limited to this as long as the HMD can be detachably fixed to the user's head. For example, the fixing member 200 may be a stretchable belt having both ends connected in the vicinity of the back surfaces of both ends in the width direction of the main body 100.
The main body 100 and the fixing member 200 are connected by a plate-like connecting member 300 that is hinged to the main body 100 and the fixing member 200 at both ends thereof. Due to the presence of the connecting member 300, the HMD is fixed to the user's head with the fixing member 200, and the main body 100 is positioned in front of the user's eyes and in front of the user's forehead. Two states can be adopted. With the main body 100 positioned in front of the user's eyes, the user can watch a stereoscopic video to be described later. In addition, when the user does not need to view the stereoscopic video, or when it is desired to secure the field of view with the naked eye, the user may simply flip the main body 100 in front of the forehead while the fixing member 200 is fixed to the head. .

本体１００は、中空とされたケース１１０を備えている。ケース１１０は、例えば樹脂製である。
ケース１１０の前面には、筒状の左右２つの鏡筒１２０Ｒ、１２０Ｌが取付けられている。鏡筒１２０Ｒは、本体１００がユーザの目の前方に位置しているときに、略ユーザの右目の前に位置し、鏡筒１２０Ｌは、本体１００がユーザの目の前方に位置しているときに、略ユーザの左目の前に位置するようになっている。両鏡筒１２０Ｒ、１２０Ｌは、後述する右目用動画と左目用動画とに適切な視差を与えるために図２に示したように、内側にやや傾けられている。 The main body 100 includes a case 110 that is hollow. The case 110 is made of resin, for example.
Two cylindrical right and left lens barrels 120R and 120L are attached to the front surface of the case 110. The lens barrel 120R is positioned substantially in front of the user's right eye when the main body 100 is positioned in front of the user's eyes, and the lens barrel 120L is positioned when the main body 100 is positioned in front of the user's eyes. In addition, it is positioned in front of the user's left eye. Both lens barrels 120R and 120L are slightly tilted inward as shown in FIG. 2 in order to give an appropriate parallax to a later-described right-eye moving image and left-eye moving image.

鏡筒１２０Ｒ、１２０Ｌはケース１１０を前後に貫いている。鏡筒１２０Ｒ、１２０Ｌには、レンズである第１レンズ１３１Ｒ、１３１Ｌが取付けられている。第１レンズ１３１Ｒ、１３１Ｌは、これには限られないが拡大レンズである。ユーザの視野内にある対象物からの像光は、第１レンズ１３１Ｒ、１３１Ｌにて拡大されるようになっている。
鏡筒１２０Ｒ、１２０Ｌの基端側には、第１レンズ１３１Ｒ、１３１Ｌを通過した像光をケース１１０の幅方向の内側に向かって反射させる鏡である第１ミラー１３２Ｒ、１３２Ｌが設けられている。また、これには限られないが、ケース１１０の幅方向の略中央には、第１ミラー１３２Ｒ、１３２Ｌで反射された像光を、後述する撮像素子の撮像面に向けて反射させるための鏡である第２ミラー１３３Ｒ、１３３Ｌが設けられている。
第１レンズ１３１Ｒ、第１ミラー１３２Ｒ、第２ミラー１３３Ｒは、鏡筒１２０Ｒを通過した像光Ｌ１Ｒを、撮像素子の撮像面の所定の部分に結像させるためのものである。それが可能な限りにおいて、或いはそれを可能とするために必要なのであれば、鏡筒１２０Ｒを通過した像光Ｌ１Ｒの光路上に、レンズ、鏡、プリズム等の他の光学要素が存在していても構わない。同様に、第１レンズ１３１Ｌ、第１ミラー１３２Ｌ、第２ミラー１３３Ｌは、鏡筒１２０Ｌを通過した像光Ｌ１Ｌを、撮像素子の撮像面の所定の部分に結像させるためのものである。それが可能な限りにおいて、或いはそれを可能とするために必要なのであれば、鏡筒１２０Ｌを通過した像光Ｌ１Ｌの光路上に、レンズ、鏡、プリズム等の他の光学要素が存在していても構わない。なお、像光Ｌ１Ｒと、像光Ｌ１Ｌの結像する位置は、異なる位置となるようになっている。
より具体的には、像光Ｌ１Ｒは、撮像素子１４０の撮像面１４１の右半分（撮像素子を背後から（図２の下側から）見た場合の右半分。本願では撮像素子の左右の概念はすべてこれに倣っている。）のどこかに、像光Ｌ１Ｌは、撮像素子１４０の撮像面１４１の左半分のどこかに、それぞれ結像させられるようになっている。 The lens barrels 120R and 120L penetrate the case 110 forward and backward. First lenses 131R and 131L, which are lenses, are attached to the lens barrels 120R and 120L. The first lenses 131R and 131L are magnifying lenses, although not limited thereto. Image light from an object in the user's field of view is enlarged by the first lenses 131R and 131L.
First mirrors 132 </ b> R and 132 </ b> L that are mirrors that reflect the image light that has passed through the first lenses 131 </ b> R and 131 </ b> L toward the inside in the width direction of the case 110 are provided on the base end sides of the lens barrels 120 </ b> R and 120 </ b> L. . Although not limited to this, a mirror for reflecting the image light reflected by the first mirrors 132R and 132L toward the imaging surface of an imaging device to be described later is provided at the approximate center in the width direction of the case 110. Second mirrors 133R and 133L are provided.
The first lens 131R, the first mirror 132R, and the second mirror 133R are for imaging the image light L1R that has passed through the lens barrel 120R on a predetermined portion of the imaging surface of the imaging device. Other optical elements such as lenses, mirrors, and prisms are present on the optical path of the image light L1R that has passed through the lens barrel 120R as much as possible or if necessary to enable it. It doesn't matter. Similarly, the first lens 131L, the first mirror 132L, and the second mirror 133L are for imaging the image light L1L that has passed through the lens barrel 120L on a predetermined portion of the imaging surface of the imaging device. Other optical elements such as lenses, mirrors, and prisms are present on the optical path of the image light L1L that has passed through the lens barrel 120L as much as possible or if necessary to enable it. It doesn't matter. Note that the positions at which the image light L1R and the image light L1L are formed are different positions.
More specifically, the image light L1R is the right half of the image pickup surface 141 of the image pickup device 140 (the right half when the image pickup device is viewed from the back (from the lower side in FIG. 2). The image light L1L is imaged somewhere on the left half of the imaging surface 141 of the imaging device 140, respectively.

ケース１１０の内部には、１つの撮像素子１４０が配置されている。撮像素子１４０の鏡筒１２０Ｒ、１２０Ｌ側には、撮像面１４１が設けられている。撮像面１４１はそこに結像した像光Ｌ１Ｒ、Ｌ１Ｌを撮像する面である。撮像素子１４０は、静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようなものとなっている。撮像素子１４０は、動画の撮像が可能となっている一般的なイメージセンサで良い。例えば、ＣＣＤ（Charge-Coupled Device）、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）である。
撮像面１４１の大きさ形状は適宜選択可能であるが、この実施形態では、その縦横比が、９：１６となるようになっている。 One image sensor 140 is disposed inside the case 110. An imaging surface 141 is provided on the lens barrel 120R, 120L side of the imaging element 140. The imaging surface 141 is a surface that images the image lights L1R and L1L formed there. The image sensor 140 can capture a moving image by continuously outputting frame data that is data about a still image. The image sensor 140 may be a general image sensor that can capture moving images. For example, it is a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
The size and shape of the imaging surface 141 can be selected as appropriate, but in this embodiment, the aspect ratio is 9:16.

撮像素子１４０の撮像面１４１に像光Ｌ１Ｒと、像光Ｌ１Ｌとが導かれる範囲を図３に示す。
撮像面１４１は、物理的、構造的に分かれているわけではないが、右側の範囲である右撮像面１４１Ｒと、左側の範囲である左撮像面１４１Ｌとに、概念上分かれている。上述したように、像光Ｌ１Ｒと、像光Ｌ１Ｌとはそれぞれ、右撮像面１４１Ｒと、左撮像面１４１Ｌとに結像させられるようになっている。より詳細には、像光Ｌ１Ｒと、像光Ｌ１Ｌとはそれぞれ、右撮像面１４１Ｒの中心（ＣＲ）と、左撮像面１４１Ｌの中心（ＣＬ）に結像されるようになっている。
撮像面１４１に導かれた像光Ｌ１Ｒと、像光Ｌ１Ｌはともに、共に矩形である右撮像面１４１Ｒと、左撮像面１４１Ｌに略一致するようになっている（完全に一致するようになっていても勿論よい。）。これにより像光Ｌ１Ｒと、像光Ｌ１Ｌとはともに、右撮像面１４１Ｒと、左撮像面１４１Ｌの略全体（或いは全体）をカバーするようになっている。撮像面１４１に導かれた像光Ｌ１Ｒ及び像光Ｌ１Ｌの断面を共に矩形とするには、像光Ｌ１Ｒについては、第１ミラー１３２Ｒ、第２ミラー１３３Ｒの少なくとも一方において像光Ｌ１Ｒの周縁部の光を反射しないことにより、それを実現することができる。例えば、第２ミラー１３３Ｒの中心を像光Ｌ１Ｒの光軸と一致させるとともに、第２ミラー１３３Ｒの大きさを、撮像面１４１に導かれる像光Ｌ１Ｒが右撮像面１４１Ｒに略一致する程度に、第２ミラー１３３Ｒに至った像光Ｌ１Ｒの断面よりも予め小さくしておけば、撮像面１４１に導かれた像光Ｌ１Ｒの断面を矩形にするとともに、撮像面１４１に導かれる像光Ｌ１Ｒが右撮像面１４１Ｒに略一致するようにすることができる。像光Ｌ１Ｌにおいても同様である。 A range in which the image light L1R and the image light L1L are guided to the imaging surface 141 of the image sensor 140 is illustrated in FIG.
Although the imaging surface 141 is not physically and structurally separated, it is conceptually divided into a right imaging surface 141R that is a right range and a left imaging surface 141L that is a left range. As described above, the image light L1R and the image light L1L are imaged on the right imaging surface 141R and the left imaging surface 141L, respectively. More specifically, the image light L1R and the image light L1L are imaged at the center (CR) of the right imaging surface 141R and the center (CL) of the left imaging surface 141L, respectively.
Both the image light L1R and the image light L1L guided to the image pickup surface 141 are substantially coincident with the right image pickup surface 141R and the left image pickup surface 141L, both of which are rectangular (completely coincide with each other). Of course, you can.) As a result, both the image light L1R and the image light L1L cover substantially the whole (or the whole) of the right imaging surface 141R and the left imaging surface 141L. In order to make both the cross sections of the image light L1R and the image light L1L guided to the imaging surface 141 rectangular, at least one of the first mirror 132R and the second mirror 133R has a peripheral portion of the image light L1R. This can be achieved by not reflecting light. For example, the center of the second mirror 133R is aligned with the optical axis of the image light L1R, and the size of the second mirror 133R is set so that the image light L1R guided to the imaging surface 141 substantially matches the right imaging surface 141R. If the cross section of the image light L1R reaching the second mirror 133R is made smaller in advance, the cross section of the image light L1R guided to the imaging surface 141 is rectangular and the image light L1R guided to the imaging surface 141 is right It can be made to substantially coincide with the imaging surface 141R. The same applies to the image light L1L.

撮像素子１４０は、フレームデータを連続して出力するための信号線１５１の一端と接続されている。信号線１５１は、その他端で、撮像素子１４０からフレームデータを受取る画像処理回路１５６と接続されている。画像処理回路１５６は、ハードウェア的に、或いはソフトウエア的に、後述する画像処理、より具体的には、各フレームデータの中から、像光Ｌ１Ｒによって生成されたデータと、像光Ｌ１Ｌによって生成されたデータをそれぞれ取出し、右目の画像である右目用動画用のフレームデータである右フレームデータと、左目の画像である左目用動画用のフレームデータである左フレームデータとを生成する処理を行うようになっている。なお、かかる処理については、後述する。
画像処理回路１５６は、右信号線１５２Ｒと、左信号線１５２Ｌとそれらの一端で接続されている。右フレームデータの連続である右目用動画のデータは右信号線１５２Ｒを介して、右信号線１５２Ｒの他端に接続されている右ディスプレイ１６０Ｒに出力されるようになっている。他方、左フレームデータの連続である左目用動画のデータは左信号線１５２Ｌを介して、左信号線１５２Ｌの他端に接続されている左ディスプレイ１６０Ｌに出力されるようになっている。右ディスプレイ１６０Ｒは、右目用動画のデータに基づいて右目用動画を表示するようになっている。左ディスプレイ１６０Ｌは、左目用動画のデータに基づいて左目用動画を表示するようになっている。右ディスプレイ１６０Ｒと、左ディスプレイ１６０Ｌとは、これには限られないが、この出願では同じディスプレイである。右ディスプレイ１６０Ｒと、左ディスプレイ１６０Ｌは、いずれも公知或いは周知のもので良く、例えば液晶ディスプレイであり、或いは有機ＥＬディスプレイである。
なお、右ディスプレイ１６０Ｒと、左ディスプレイ１６０Ｌの画像が表示される面は、図２における下方である。 The image sensor 140 is connected to one end of a signal line 151 for continuously outputting frame data. The other end of the signal line 151 is connected to an image processing circuit 156 that receives frame data from the image sensor 140. The image processing circuit 156 is hardware or software-based image processing to be described later. More specifically, the image processing circuit 156 generates data generated by the image light L1R and image data L1L from each frame data. The obtained data is respectively extracted, and right frame data that is right eye moving image frame data that is a right eye image and left frame data that is left eye moving image frame data that is a left eye image are generated. It is like that. This process will be described later.
The image processing circuit 156 is connected to the right signal line 152R, the left signal line 152L, and one end thereof. The right eye moving image data that is a continuation of the right frame data is output to the right display 160R connected to the other end of the right signal line 152R via the right signal line 152R. On the other hand, the left-eye moving image data, which is a continuation of the left frame data, is output to the left display 160L connected to the other end of the left signal line 152L via the left signal line 152L. The right display 160R displays the right-eye moving image based on the right-eye moving image data. The left display 160L displays the left-eye moving image based on the left-eye moving image data. The right display 160R and the left display 160L are the same display in this application, although not limited thereto. Both the right display 160R and the left display 160L may be known or well-known, for example, a liquid crystal display or an organic EL display.
In addition, the surface on which the images of the right display 160R and the left display 160L are displayed is the lower side in FIG.

図２に示したように、本体１００には、第２レンズ１７０Ｒ、１７０Ｌが取付けられている。
第２レンズ１７０Ｒは、右ディスプレイ１６０Ｒの背後にあり、本体１００がユーザの眼前に位置している場合に、右ディスプレイ１６０Ｒからの像光Ｌ２Ｒをユーザの右目に導くようになっている。第２レンズ１７０Ｌは、左ディスプレイ１６０Ｌの背後にあり、本体１００がユーザの眼前に位置している場合に、左ディスプレイ１６０Ｌからの像光Ｌ２Ｌをユーザの左目に導くようになっている。
第２レンズ１７０Ｒは、右ディスプレイ１６０Ｒに表示されている動画をユーザが見ることができるようにして、右ディスプレイ１６０Ｒからの像光Ｌ２Ｒをユーザの右目に導くものである。それが可能な限りにおいて、或いはそれを可能とするために必要なのであれば、像光Ｌ２Ｒの光路上に、レンズ、鏡、プリズム等の他の光学要素が存在していても構わない。
第２レンズ１７０Ｌは、左ディスプレイ１６０Ｌに表示されている動画をユーザが見ることができるようにして、左ディスプレイ１６０Ｌからの像光Ｌ２Ｌをユーザの左目に導くものである。それが可能な限りにおいて、或いはそれを可能とするために必要なのであれば、像光Ｌ２Ｌの光路上に、レンズ、鏡、プリズム等の他の光学要素が存在していても構わない。 As shown in FIG. 2, second lenses 170 </ b> R and 170 </ b> L are attached to the main body 100.
The second lens 170R is behind the right display 160R, and guides the image light L2R from the right display 160R to the right eye of the user when the main body 100 is positioned in front of the user's eyes. The second lens 170L is behind the left display 160L, and guides the image light L2L from the left display 160L to the left eye of the user when the main body 100 is positioned in front of the user's eyes.
The second lens 170R guides the image light L2R from the right display 160R to the user's right eye so that the user can see the moving image displayed on the right display 160R. Other optical elements such as a lens, a mirror, and a prism may exist on the optical path of the image light L2R as long as it is possible or if it is necessary to make it possible.
The second lens 170L guides the image light L2L from the left display 160L to the left eye of the user so that the user can see the moving image displayed on the left display 160L. Other optical elements such as a lens, a mirror, and a prism may exist on the optical path of the image light L2L as long as it is possible or if necessary to enable it.

次に、このＨＭＤの使用方法及び動作について説明する。
このＨＭＤを使用するには、ユーザは固定部材２００を頭部に装着する。そして本体１００を、ユーザの目の前方に位置させる。 Next, the usage method and operation | movement of this HMD are demonstrated.
To use this HMD, the user wears the fixing member 200 on the head. Then, the main body 100 is positioned in front of the user's eyes.

ユーザは、見たい物の方に顔を向ける。
ユーザの鏡筒１２０Ｒと、鏡筒１２０Ｌの前方にあるその「物」からの像光Ｌ１Ｒ、及び像光Ｌ１Ｌは、図２に示したように、鏡筒１２０Ｒと、鏡筒１２０Ｌに向かい、第１レンズ１３１Ｒ、１３１Ｌを通過する。
像光Ｌ１Ｒ、及び像光Ｌ１Ｌは、第１レンズ１３１Ｒ、１３１Ｌを通過するときに拡大され、そして次に第１ミラー１３２Ｒ、１３２Ｌに向かう。像光Ｌ１Ｒ、及び像光Ｌ１Ｌは、第１ミラー１３２Ｒ、１３２Ｌでケース１１０の幅方向の内側に向かって反射させられ、第２ミラー１３３Ｒ、１３３Ｌに向かう。
第２ミラー１３３Ｒ、１３３Ｌで反射させられた像光Ｌ１Ｒ、及び像光Ｌ１Ｌは、撮像素子１４０の撮像面１４１に向かう。これには限られないが、上述したように、像光Ｌ１Ｒ、及び像光Ｌ１Ｌは、撮像面１４１上の右撮像面１４１Ｒの中心と、左撮像面１４１との中心とにそれぞれ結像させられるようになっている。
撮像面１４１が像光Ｌ１Ｒ、及び像光Ｌ１Ｌを捉えると、撮像素子１４０からはフレームデータが連続して出力される。よく知られているように、撮像面１４１には、図４に示したように、多数の走査線（フィールド）Ｆ１〜Ｆｎが存在する。フレームデータは、１フレーム分のデータであるがそれは、走査線Ｆ１〜Ｆｎからそれぞれ出力されたデータであるフィールドデータＤ１〜Ｄｎの集合である。各フィールドデータＤ１〜Ｄｎの終わりにはよく知られているように水平同期信号が追加され、各フレームデータの終わりにはよく知られているように垂直同期信号が追加される。これには限られないが、そのような極一般的なフレームデータが次々に、撮像素子１４０から出力される。なお、各走査線Ｆ１〜Ｆｎは、右撮像面１４１Ｒと左撮像面１４１Ｌとで物理的に分断されているわけではなく、各走査線Ｆ１〜Ｆｎからそれぞれ出力されたデータであるフィールドデータＤ１〜Ｄｎも右撮像面１４１Ｒと、左撮像面１４１Ｌとの境界部分で分断されてはいない。 The user turns his face toward the object he wants to see.
The image light L1R and the image light L1L from the user's lens barrel 120R and its “object” in front of the lens barrel 120L are directed to the lens barrel 120R and the lens barrel 120L as shown in FIG. It passes through one lens 131R, 131L.
The image light L1R and the image light L1L are enlarged when passing through the first lenses 131R and 131L, and then go to the first mirrors 132R and 132L. The image light L1R and the image light L1L are reflected by the first mirrors 132R and 132L toward the inner side in the width direction of the case 110, and are directed to the second mirrors 133R and 133L.
The image light L1R and the image light L1L reflected by the second mirrors 133R and 133L travel toward the imaging surface 141 of the imaging element 140. Although not limited thereto, as described above, the image light L1R and the image light L1L are imaged on the center of the right imaging surface 141R on the imaging surface 141 and the center of the left imaging surface 141, respectively. It is like that.
When the imaging surface 141 captures the image light L1R and the image light L1L, frame data is continuously output from the imaging element 140. As is well known, a large number of scanning lines (fields) F1 to Fn exist on the imaging surface 141 as shown in FIG. The frame data is data for one frame, which is a set of field data D1 to Dn that are data respectively output from the scanning lines F1 to Fn. As is well known, a horizontal sync signal is added to the end of each field data D1 to Dn, and a vertical sync signal is added to the end of each frame data as is well known. Although not limited to this, such extremely general frame data is output from the image sensor 140 one after another. Note that each of the scanning lines F1 to Fn is not physically divided by the right imaging surface 141R and the left imaging surface 141L, but is field data D1 to data that are respectively output from the scanning lines F1 to Fn. Dn is not divided at the boundary between the right imaging surface 141R and the left imaging surface 141L.

フレームデータは信号線１５１を介して画像処理回路１５６に送られる。画像処理回路１５６は、画像処理を行う。ここで行われる画像処理は、少なくとも、各フレームデータの中から、像光Ｌ１Ｒによって生成されたデータと、像光Ｌ１Ｌによって生成されたデータをそれぞれ取出し（或いはそれらデータを分離し）、右目の画像である右目用動画用のフレームデータである右フレームデータと、左目の画像である左目用動画用のフレームデータである左フレームデータとを生成する処理を含んでいる。
各フレームデータの中から、像光Ｌ１Ｒによって生成されたデータと、像光Ｌ１Ｌによって生成されたデータをそれぞれ取出すには、各フレームデータを構成するフィールドデータＤ１〜Ｄｎを前後半に二等分し、前半部分を右フレームデータを構成する右フィールドデータＤＲ１〜ＤＲｎと、後半部分を左フレームデータを構成する左フィールドデータＤＬ１〜ＤＬｎとすればよい。上述したように、各走査線Ｆ１〜Ｆｎは、右撮像面１４１Ｒと左撮像面１４１Ｌとで物理的に分断されているわけではないが、それらのうち右撮像面１４１Ｒに位置するものが出力するデータは、フィールドデータＤ１〜Ｄｎのうちの前半部分に対応し、それらのうち左撮像面１４１Ｌに位置するものが出力するデータは、フィールドデータＤ１〜Ｄｎのうちの後半部分に対応するから、各フレームデータを構成するフィールドデータＤ１〜Ｄｎを単に前後に二等分するだけで、各フレームデータを、像光Ｌ１Ｒによって生成されたデータと、像光Ｌ１Ｌによって生成されたデータとに分離したことになるのである。なお、各フィールドデータＤ１〜Ｄｎを前後半に分けるには、例えば、各フィールドデータの中に含まれる、各素子が生成した信号の数を画像処理回路１５６で計数し、前後の信号の数が等しくなるようにすれば良い。
なお、像光Ｌ１Ｒと、像光Ｌ１Ｌが、右撮像面１４１Ｒと、左撮像面１４１Ｌの中心にそれぞれ結像しない場合、或いは、右撮像面１４１Ｒと、左撮像面１４１Ｌとが撮像面１４１を左右に二等分したものでない場合においても、各フィールドデータＤ１〜Ｄｎを適当に分割することにより（フィールドデータによっては、０％と１００％に分割され、事実上分割されないこともある。）、各フレームデータを、像光Ｌ１Ｒによって生成されたデータと、像光Ｌ１Ｌによって生成されたデータとに分離することができる。
そして、フィールドデータＤ１〜Ｄｎの前半から得られた右フィールドデータＤＲ１〜ＤＲｎを図５に示したように一纏めにして右フレームデータとし、フィールドデータＤ１〜Ｄｎの後半から得られた左フィールドデータＤＬ１〜ＤＬｎを図５に示したように一纏めにすると左フレームデータとなる。画像処理回路１５６は、これらにも、通常のビデオ信号と同様に、公知の水平同期信号と垂直同期信号を追加する。それにより、右フレームデータも、左フレームデータも、公知或いは周知のディスプレイにより普通に扱えるものとなる。 The frame data is sent to the image processing circuit 156 via the signal line 151. The image processing circuit 156 performs image processing. The image processing performed here extracts at least the data generated by the image light L1R and the data generated by the image light L1L from each frame data (or separates them), and the right eye image Processing for generating right frame data that is frame data for the right-eye moving image and left frame data that is frame data for the left-eye moving image that is the image of the left eye.
In order to extract the data generated by the image light L1R and the data generated by the image light L1L from each frame data, the field data D1 to Dn constituting each frame data are divided into two equal parts. The first half part may be the right field data DR1 to DRn constituting the right frame data, and the second half part may be the left field data DL1 to DLn constituting the left frame data. As described above, each of the scanning lines F1 to Fn is not physically divided between the right imaging surface 141R and the left imaging surface 141L, but the one located on the right imaging surface 141R is output. The data corresponds to the first half of the field data D1 to Dn, and the data output by those located on the left imaging surface 141L corresponds to the second half of the field data D1 to Dn. The fact that each frame data is separated into data generated by the image light L1R and data generated by the image light L1L by simply dividing the field data D1 to Dn constituting the frame data into two equal parts. It becomes. In order to divide each field data D1 to Dn into the first and second half, for example, the number of signals generated by each element included in each field data is counted by the image processing circuit 156, and the number of signals before and after is calculated. It should be made equal.
Note that when the image light L1R and the image light L1L are not focused on the centers of the right imaging surface 141R and the left imaging surface 141L, respectively, or the right imaging surface 141R and the left imaging surface 141L move the imaging surface 141 left and right. Even when the field data is not equally divided into two, by dividing each field data D1 to Dn appropriately (depending on the field data, it may be divided into 0% and 100% and may not be actually divided). The frame data can be separated into data generated by the image light L1R and data generated by the image light L1L.
Then, the right field data DR1 to DRn obtained from the first half of the field data D1 to Dn are collected as right frame data as shown in FIG. 5, and the left field data DL1 obtained from the second half of the field data D1 to Dn is collected. When DLn is grouped as shown in FIG. 5, the left frame data is obtained. The image processing circuit 156 adds a known horizontal synchronization signal and vertical synchronization signal to these as well as a normal video signal. Thereby, both the right frame data and the left frame data can be normally handled by a known or well-known display.

画像処理回路１５６は、右フレームデータの連続である右目用動画のデータを右信号線１５２Ｒを介して、右ディスプレイ１６０Ｒに出力する。同時に画像処理回路１５６は、左フレームデータの連続である左目用動画のデータを、左信号線１５２Ｌの他端に接続されている左ディスプレイ１６０Ｌに出力する。右ディスプレイ１６０Ｒは、右目用動画のデータに基づいて右目用動画を表示する。他方、左ディスプレイ１６０Ｌは、左目用動画のデータに基づいて左目用動画を表示する。   The image processing circuit 156 outputs right eye moving image data, which is a continuation of the right frame data, to the right display 160R via the right signal line 152R. At the same time, the image processing circuit 156 outputs the left-eye moving image data, which is a continuation of the left frame data, to the left display 160L connected to the other end of the left signal line 152L. The right display 160R displays the right-eye moving image based on the right-eye moving image data. On the other hand, the left display 160L displays the left-eye moving image based on the left-eye moving image data.

第２レンズ１７０Ｒは、右ディスプレイ１６０Ｒの背後にあり、本体１００がユーザの眼前に位置している場合に、右ディスプレイ１６０Ｒからの像光Ｌ２Ｒをユーザの右目に導くようになっている。第２レンズ１７０Ｌは、左ディスプレイ１６０Ｌの背後にあり、本体１００がユーザの眼前に位置している場合に、左ディスプレイ１６０Ｌからの像光Ｌ２Ｌをユーザの左目に導くようになっている。
第２レンズ１７０Ｒは、右ディスプレイ１６０Ｒに表示されている動画をユーザが見ることができるようにして、右ディスプレイ１６０Ｒからの像光Ｌ２Ｒをユーザの右目に導く。
同時に、第２レンズ１７０Ｌは、左ディスプレイ１６０Ｌに表示されている動画をユーザが見ることができるようにして、左ディスプレイ１６０Ｌからの像光Ｌ２Ｌをユーザの左目に導く。
右目で像光Ｌ２Ｒを、左目で像光Ｌ２Ｌを見たユーザは、立体視を行うことができる。ユーザは、かかる立体視を、略実時間で行うことができる。ユーザが立体視で見ることのできる動画は、この実施形態の場合であれば、第１レンズ１３１Ｒ、１３１Ｌの存在により、ユーザが肉眼で物を見た場合とは異なるものとなる。 The second lens 170R is behind the right display 160R, and guides the image light L2R from the right display 160R to the right eye of the user when the main body 100 is positioned in front of the user's eyes. The second lens 170L is behind the left display 160L, and guides the image light L2L from the left display 160L to the left eye of the user when the main body 100 is positioned in front of the user's eyes.
The second lens 170R guides the image light L2R from the right display 160R to the user's right eye so that the user can view the moving image displayed on the right display 160R.
At the same time, the second lens 170L guides the image light L2L from the left display 160L to the user's left eye so that the user can see the moving image displayed on the left display 160L.
A user who has viewed the image light L2R with the right eye and the image light L2L with the left eye can perform stereoscopic viewing. The user can perform such stereoscopic viewing in substantially real time. In the case of this embodiment, the moving image that can be viewed by the user is different from the case where the user views the object with the naked eye due to the presence of the first lenses 131R and 131L.

一時的に立体視を行う必要がなくなったらユーザは、本体１００を額の前に跳ね上げ、また完全に立体視を行う必要がなくなったのであれば、固定部材２００を頭部から外す。   When it is no longer necessary to perform stereoscopic viewing temporarily, the user flips up the main body 100 in front of the forehead, and removes the fixing member 200 from the head if it is no longer necessary to perform stereoscopic viewing.

≪第２実施形態≫
次に、本願発明の第２実施形態について説明する。
第２実施形態は、カメラである。このカメラは、立体視用の動画データを生成する装置である。 << Second Embodiment >>
Next, a second embodiment of the present invention will be described.
The second embodiment is a camera. This camera is a device that generates moving image data for stereoscopic viewing.

立体視用動画データを生成するための第２実施形態のカメラは、そのような目的で用いられている公知のカメラと同様、いわゆるステレオカメラである。
そして、このカメラの構成は、第１実施形態のＨＭＤの構成を、右目用動画のデータと左目用動画のデータの生成を行うまでの機構を撮像側の機構と呼び、右目用動画と左目用動画とを右ディスプレイ１６０Ｒと、左ディスプレイ１６０Ｌに表示してユーザの目に見せるための機構を表示側の機構と呼ぶのであれば、第１実施形態のＨＭＤの撮像側の機構と概ね同一の構成を有している。 The camera of the second embodiment for generating stereoscopic video data is a so-called stereo camera, similar to a known camera used for such a purpose.
In the configuration of this camera, the mechanism until the generation of the right-eye moving image data and the left-eye moving image data is referred to as the imaging-side mechanism in the HMD configuration of the first embodiment, and the right-eye moving image and the left-eye moving image are generated. If the mechanism for displaying the moving image on the right display 160R and the left display 160L and displaying it to the user's eyes is called a display-side mechanism, the structure is almost the same as the mechanism on the imaging side of the HMD of the first embodiment. have.

カメラは、ケース１１０を備えている。ただし、このケース１１０は、第１実施形態の場合に存在した固定部材２００と接続されている必要はない。固定部材２００と接続してヘッドマウントカメラとしてこのカメラを用いることも勿論可能ではあるが、例えば所定の台の上に載置して、或いは周知の三脚の上部に接続した状態でこのカメラを用いることが前提なのであれば、固定部材２００は不要である。
ケース１１０には２つの鏡筒１２０Ｒ、１２０Ｌが設けられており、それらには、第１レンズ１３１Ｒ、１３１Ｌが取付けられている。もっとも、第１レンズ１３１Ｒ、１３１Ｌは、像光Ｌ１Ｒ、及び像光Ｌ１Ｌを拡大するものでなくても良い。ケース１１０の内部には、第１ミラー１３２Ｒ、１３２Ｌと、第２ミラー１３３Ｒ、１３３Ｌがあり、また、撮像素子１４０が存在している。撮像素子１４０は、右撮像面と左撮像面とに概念的に分割された撮像面１４１を備えている。
ここまでは、特に断りのない点については、それらの機能を含めて、第１実施形態の場合と変わりがない。 The camera includes a case 110. However, the case 110 does not need to be connected to the fixing member 200 existing in the case of the first embodiment. Of course, it is possible to use this camera as a head-mounted camera by connecting to the fixing member 200. For example, this camera is used while being mounted on a predetermined base or connected to the upper part of a known tripod. If this is the premise, the fixing member 200 is unnecessary.
The case 110 is provided with two lens barrels 120R and 120L, to which first lenses 131R and 131L are attached. However, the first lenses 131R and 131L may not enlarge the image light L1R and the image light L1L. Inside the case 110 are first mirrors 132R and 132L, second mirrors 133R and 133L, and an image sensor 140. The imaging element 140 includes an imaging surface 141 that is conceptually divided into a right imaging surface and a left imaging surface.
Up to this point, there are no particular differences from the case of the first embodiment, including those functions, unless otherwise noted.

第２実施形態のカメラが第１実施形態のヘッドマウントと異なるのは、事実上、筐体の中に第２画像処理回路１８０と、記録媒体１９０が存在するという点である。
第２画像処理回路１８０は、右信号線１５２Ｒと左信号線１５２Ｌを介して、画像処理回路１５６と接続されている。画像処理回路１５６は、第１実施形態の場合と同様に、右フレームデータの連続である右目用動画のデータを右信号線１５２Ｒを介して出力し、左フレームデータの連続である左目用動画のデータを、左信号線１５２Ｌを介して出力するようになっている。右目用動画のデータと、左目用動画のデータとは、それらがそれぞれ右ディスプレイ１６０Ｒと、左ディスプレイ１６０Ｌで受け取られた第１実施形態の場合と異なり、第２画像処理回路１８０に受け取られるようになっている。
第２画像処理回路１８０は、右目用動画のデータ及び左目用動画のデータに対して、必要に応じて画像処理を行うようになっている。必要がなければ第２画像処理回路１８０は、右目用動画のデータ及び左目用動画のデータをそのまま通過させる。 The camera of the second embodiment is different from the head mount of the first embodiment in that the second image processing circuit 180 and the recording medium 190 exist in the housing.
The second image processing circuit 180 is connected to the image processing circuit 156 via the right signal line 152R and the left signal line 152L. As in the case of the first embodiment, the image processing circuit 156 outputs the right-eye moving image data that is a continuation of the right frame data via the right signal line 152R, and the left-eye moving image data that is a continuation of the left frame data. Data is output via the left signal line 152L. The right-eye moving image data and the left-eye moving image data are received by the second image processing circuit 180, unlike the first embodiment in which they are received by the right display 160R and the left display 160L, respectively. It has become.
The second image processing circuit 180 performs image processing on the right-eye moving image data and the left-eye moving image data as necessary. If not necessary, the second image processing circuit 180 passes the right-eye moving image data and the left-eye moving image data as they are.

第２画像処理回路１８０で画像処理が必要な場合において行われる画像処理は、もっぱら、画像処理回路１５６が生成した右目用動画のデータと、左目用動画のデータとを用いてユーザに立体視を行わせる装置である立体視用動画表示装置が、１つのディスプレイを備えるときにおいて、右目用動画のデータと、左目用動画のデータという２つのデータから、かかる１つのディスプレイに表示させる１つの動画のデータを生成するというものである。
例えば、立体視用動画表示装置が１つのディスプレイで、時分割される立体視用の動画を表示する場合には、立体視用の動画のデータは、１フレーム毎に交互に右目用動画を構成するフレームと左目用動画を構成するフレームが連続していくものとなる。この場合には、第２画像処理回路１８０は、右目用動画のデータの１フレーム目、左目用動画のデータの２フレーム目、右目用動画のデータの３フレーム目、左目用動画のデータの４フレーム目…、というように、右目用動画に連続して含まれるフレームと、左目用動画に連続して含まれるフレームとを、それぞれのフレームからフレームを一つ飛ばしに落として行きつつ、交互に連続させて、立体視用の動画のデータを生成する。
また、立体視用動画表示装置が１つのディスプレイで視差分割される立体視用の動画を表示する場合には、立体視用の動画のデータにおける各フレームは、各フレームの視差によって分割される右目で見るべき範囲に右目用動画の画像が、左目で見るべき範囲に左目用動画の画像が、それぞれ配置されたものとなる。この場合には、第２画像処理回路１８０は、右目用動画のデータと左目用動画のデータから、同じ順番のフレームの画像同士を適切に混合して新たなフレームデータを順に生成することにより立体視用の動画のデータを生成する。 The image processing performed when image processing is necessary in the second image processing circuit 180 is mainly for stereoscopic viewing to the user using the data for the right eye moving image and the data for the left eye moving image generated by the image processing circuit 156. When the stereoscopic video display device, which is a device to be performed, includes a single display, one of the videos to be displayed on the single display from the data of the right-eye video data and the left-eye video data is displayed. Data is generated.
For example, when a stereoscopic video display device displays a time-divided stereoscopic video on a single display, the stereoscopic video data alternately forms a right-eye video for each frame. The frames constituting the moving image for the left eye and the left eye moving image are continuous. In this case, the second image processing circuit 180 uses the first frame of the right eye moving image data, the second frame of the left eye moving image data, the third frame of the right eye moving image data, and the fourth frame of the left eye moving image data. Frames ... Alternately, the frames included in the right-eye video and the frames included in the left-eye video are dropped while skipping one frame from each frame. Continuously, moving image data for stereoscopic viewing is generated.
In addition, when the stereoscopic video display device displays a stereoscopic video that is parallax-divided on one display, each frame in the stereoscopic video data is divided by the right eye divided by the parallax of each frame. The moving image for the right eye is arranged in the range to be viewed with the left eye, and the moving image for the left eye is arranged in the range to be viewed with the left eye. In this case, the second image processing circuit 180 generates three-dimensional data by sequentially mixing the images in the same order from the right-eye moving image data and the left-eye moving image data, and sequentially generating new frame data. Generate video data for viewing.

第２画像処理回路１８０は、右出力線１８１Ｒと、左出力線１８１Ｌとに接続されており、また、右接続線１８２Ｒと、左接続線１８２Ｌに接続されている。右接続線１８２Ｒと、左接続線１８２Ｌは、記録媒体１９０に接続されている。記録媒体１９０はデータの記録を行えるものであり、公知、周知のもので良い。記録媒体１９０は、カメラに対して固定されていてもよく、カメラに対して着脱自在とされていてもよい。前者の例としては例えばハードディスクを挙げることができ、後者の例としては、ＤＶＤディスクや、ＵＳＢメモリを挙げることができる。
第２画像処理回路１８０が右目用動画のデータと左目用動画のデータに対して何らの処理も行わなかった場合には、それらデータはそのまま右出力線１８１Ｒと、左出力線１８１Ｌから外部に出力されるか、或いは右接続線１８２Ｒと、左接続線１８２Ｌから記録媒体１９０に送られる。記録媒体１９０に送られた右目用動画のデータと左目用動画のデータは、記録媒体１９０に記録される。右出力線１８１Ｒと、左出力線１８１Ｌから外部に出力された右目用動画のデータと左目用動画のデータは、外部の装置に送られて、例えば、第２画像処理回路１８０で行われたのと同じように、１つのディスプレイでの立体視を実現するための立体視用の動画データを生成するために用いられる。記録媒体１９０に記録された右目用動画のデータと左目用動画のデータは、必要なときに、第２画像処理回路１８０と、右出力線１８１Ｒ及び左出力線１８１Ｌと、を介して外部に出力され、上述の場合と同様に利用される。また、記録媒体１９０がカメラに対して着脱自在になっているのであれば、カメラから取外した記録媒体１９０に記録されたデータを他の装置に読み込ませることによって、そのデータを上述の場合と同様に利用することができる。
他方、第２画像処理回路１８０で上述のような処理を行った場合においては、処理されたデータは、例えば右出力線１８１Ｒを介して外部の装置に出力され、或いは右接続線１８２Ｒを介して記録媒体１９０に送られ、記録媒体１９０に記録される。第２画像処理回路１８０で生成されたデータは一列のデータである場合には、右出力線１８１Ｒと左出力線１８１Ｌという２本の出力線は不要であり、また右接続線１８２Ｒと、左接続線１８２Ｌという２本の接続線は不要である。
第２画像処理回路１８０で画像処理を行うか否か、また画像処理が行われた、或いは行われなかったデータの出力先をどこにするのか、或いは記録媒体１９０に記録されたデータをいつ出力するのかは、例えば、カメラのケース１１０に設けた、テンキーその他の図示を省略の入力装置からの入力によって決定可能とすることができる。 The second image processing circuit 180 is connected to the right output line 181R and the left output line 181L, and is connected to the right connection line 182R and the left connection line 182L. The right connection line 182R and the left connection line 182L are connected to the recording medium 190. The recording medium 190 can record data, and may be a known or well-known one. The recording medium 190 may be fixed with respect to the camera, or may be detachable from the camera. Examples of the former include a hard disk, and examples of the latter include a DVD disk and a USB memory.
When the second image processing circuit 180 does not perform any processing on the right-eye moving image data and the left-eye moving image data, the data is output to the outside as it is from the right output line 181R and the left output line 181L. Alternatively, the recording medium 190 is sent from the right connection line 182R and the left connection line 182L. The right eye moving image data and the left eye moving image data sent to the recording medium 190 are recorded on the recording medium 190. The right-eye moving image data and the left-eye moving image data output to the outside from the right output line 181R and the left output line 181L are sent to an external device, for example, performed by the second image processing circuit 180. In the same manner as described above, it is used to generate moving image data for stereoscopic viewing for realizing stereoscopic viewing on one display. The right-eye moving image data and the left-eye moving image data recorded on the recording medium 190 are output to the outside via the second image processing circuit 180, the right output line 181R, and the left output line 181L when necessary. And used in the same manner as described above. Further, if the recording medium 190 is detachable from the camera, the data recorded on the recording medium 190 removed from the camera is read by another device, and the data is the same as in the above case. Can be used.
On the other hand, when the above-described processing is performed by the second image processing circuit 180, the processed data is output to an external device, for example, via the right output line 181R, or via the right connection line 182R. It is sent to the recording medium 190 and recorded on the recording medium 190. When the data generated by the second image processing circuit 180 is a single row of data, the two output lines of the right output line 181R and the left output line 181L are unnecessary, and the right connection line 182R and the left connection line are connected. Two connecting lines called the line 182L are unnecessary.
Whether to perform image processing in the second image processing circuit 180, where to output data for which image processing has been or has not been performed, or when to output data recorded on the recording medium 190 This can be determined by, for example, input from a numeric keypad or other input device provided on the camera case 110, which is not shown.

１００ 本体
１１０ ケース
１２０ 鏡筒
１３１Ｒ 第１レンズ
１３１Ｌ 第１レンズ
１３２Ｒ 第１ミラー
１３２Ｌ 第１ミラー
１３３Ｒ 第２ミラー
１３３Ｌ 第２ミラー
１４０ 撮像素子
１４１ 撮像面
１４１Ｒ 右撮像面
１４１Ｌ 左撮像面
１５６ 画像処理回路
１６０Ｒ 右ディスプレイ
１６０Ｌ 左ディスプレイ
１７０Ｒ 第２レンズ
１７０Ｌ 第２レンズ
１８０ 第２画像処理回路
１９０ 記録媒体
２００ 固定部材
３００ 接続部材
Ｌ１Ｒ 像光
Ｌ１Ｌ 像光
Ｌ２Ｒ 像光
Ｌ２Ｌ 像光 DESCRIPTION OF SYMBOLS 100 Main body 110 Case 120 Barrel 131R 1st lens 131L 1st lens 132R 1st mirror 132L 1st mirror 133R 2nd mirror 133L 2nd mirror 140 Imaging element 141 Imaging surface 141R Right imaging surface 141L Left imaging surface 156 Image processing circuit 160R Right display 160L Left display 170R Second lens 170L Second lens 180 Second image processing circuit 190 Recording medium 200 Fixed member 300 Connecting member L1R Image light L1L Image light L2R Image light L2L Image light

Claims (8)

そこに結像させられた像光の撮像を行う撮像面を有し、且つ前記撮像面に結像させられた像光に基づく静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようになっている１つの撮像素子と、
前記撮像素子に右目用の画像である右目用動画の像光である右像光を導く右撮像光学系と、
前記撮像素子に左目用の画像である左目用動画の像光である左像光を導く左撮像光学系と、
を備えてなるとともに、
前記右像光と、前記左像光とは、前記撮像素子の前記撮像面の異なる部位に結像させられるようになっており、前記撮像素子は、前記右像光と、前記左像光とによる動画データを出力するようになっている、
立体視用動画データ生成装置。 By continuously outputting frame data, which is data about a still image based on the image light imaged on the imaging surface, having an imaging surface for imaging the image light imaged there. One image sensor capable of capturing a moving image;
A right imaging optical system for guiding right image light, which is image light of a moving image for right eye, which is an image for right eye, to the imaging element;
A left imaging optical system that guides left image light that is image light of a left-eye moving image that is an image for the left eye to the imaging element;
As well as
The right image light and the left image light are formed on different parts of the imaging surface of the imaging device, and the imaging device includes the right image light, the left image light, and the left image light. To output video data by
Stereoscopic moving image data generation device. 前記撮像素子によって出力されたフレームデータに対して画像処理を行うことができるようになっている画像処理手段を備えており、
前記画像処理手段は、各フレームデータの中から、前記右像光によって生成されたデータと、前記左像光によって生成されたデータをそれぞれ取出し、右目画像用のフレームデータである右フレームデータと、左目画像用のフレームデータである左フレームデータとを生成することにより、立体視における右目用動画のデータと、左目用動画のデータとを別々に出力できるようになっている、
請求項１記載の立体視用動画データ生成装置。 Comprising image processing means adapted to perform image processing on the frame data output by the image sensor;
The image processing means takes out data generated by the right image light and data generated by the left image light from each frame data, and right frame data that is frame data for the right eye image, By generating left frame data that is frame data for the left eye image, right eye moving image data and left eye moving image data in stereoscopic view can be output separately.
The stereoscopic video data generating device according to claim 1. 前記右像光と、前記左像光とはそれぞれ、前記撮像面を左右に二分した場合における右側の領域と、左側の領域とにそれぞれ結像するようになっている、
請求項１又は２記載の立体視用動画データ生成装置。 The right image light and the left image light are respectively formed on the right region and the left region when the imaging surface is divided into right and left, respectively.
The stereoscopic moving image data generation device according to claim 1 or 2. 前記右像光と、前記左像光とはそれぞれ、前記撮像面を左右に二分した場合における右側の領域の中央と、左側の領域の中央とにそれぞれ結像するようになっている、
請求項３記載の立体視用動画データ生成装置。 The right image light and the left image light are respectively imaged at the center of the right region and the center of the left region when the imaging surface is divided into right and left.
The stereoscopic video data generating device according to claim 3. 前記画像処理手段は、前記フレームデータのそれぞれに含まれる各走査線のうち、撮像面の右側の領域にある画素で生成された部分の走査線を特定するデータを集めて、右フレームデータを、各フレームデータに含まれる各走査線のうち、撮像面の左側の領域にある画素で生成された部分の走査線を特定するデータを集めて、左フレームデータを、それぞれ生成するようになっている、
請求項４記載の立体視用動画データ生成装置。 The image processing means collects data for specifying a scanning line of a portion generated by a pixel in a region on the right side of the imaging surface among each scanning line included in each of the frame data, and obtains right frame data, Among the scanning lines included in each frame data, data specifying the scanning lines of the portion generated by the pixels in the left region of the imaging surface is collected, and left frame data is generated respectively. ,
The stereoscopic video data generating device according to claim 4. 請求項１〜５のいずれかに記載の立体視用動画データ生成装置を含んでなる立体視用動画表示装置であって、
前記画像処理手段から順次出力される前記右フレームデータからなる前記右目用動画のデータを受取り、ユーザの右目に前記右目用動画のデータに基づく動画である右目用動画の像光を出力する右ディスプレイと、
前記画像処理手段から順次出力される前記左フレームデータからなる前記左目用動画のデータを受取り、ユーザの左目に前記左目用動画のデータに基づく動画である左目用動画の像光を出力する左ディスプレイと、
を有することにより、前記撮像素子で撮像された前記右像光に基づく右目用動画と、前記撮像素子で撮像された前記左像光に基づく左目用動画とを、略実時間でユーザの右目と左目に導くことができるようになっている、
立体視用動画表示装置。 A stereoscopic video display device comprising the stereoscopic video data generation device according to any one of claims 1 to 5,
A right display that receives the right eye moving image data composed of the right frame data sequentially output from the image processing means, and outputs right eye moving image light that is a moving image based on the right eye moving image data to the user's right eye When,
A left display that receives the left-eye moving image data composed of the left frame data sequentially output from the image processing means, and outputs image light of the left-eye moving image that is a moving image based on the left-eye moving image data to the user's left eye When,
A right-eye moving image based on the right image light imaged by the image sensor and a left-eye moving image based on the left image light imaged by the image sensor, and the user's right eye in substantially real time. Can be led to the left eye,
Stereoscopic video display device. 前記立体視用動画データ生成装置、前記右ディスプレイ、及び前記左ディスプレイを含む本体部と、前記本体部をユーザの頭部に対して着脱自在に固定する固定手段と、を含んでなり、
ヘッドマウントディスプレイとされた、
請求項６記載の立体視用動画表示装置。 A main body including the stereoscopic video data generation device, the right display, and the left display; and a fixing unit that detachably fixes the main body to a user's head,
Head mounted display,
The moving image display device for stereoscopic viewing according to claim 6. そこに結像させられた像光の撮像を行う撮像面を有し、且つ前記撮像面に結像させられた像光に基づく静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようになっている１つの撮像素子と、
前記撮像素子に右目用の画像である右目用動画の像光である右像光を導く右撮像光学系と、
前記撮像素子に左目用の画像である左目用動画の像光である左像光を導く左撮像光学系と、
前記撮像素子によって出力されたフレームデータに対して画像処理を行うことができるようになっている、画像処理手段と、
を備えており、
前記右像光と、前記左像光とは、前記撮像素子の前記撮像面の異なる部位に結像させられるようになっている、
立体視用動画データ生成装置にて実行される方法であって、
前記画像処理手段が、
各フレームデータの中から、前記右像光によって生成されたデータと、前記左像光によって生成されたデータをそれぞれ取出す過程、
右目画像用のフレームデータである右フレームデータと、左目画像用のフレームデータである左フレームデータとを生成することにより、立体視における右目用動画のデータと、左目用動画のデータとを別々に出力する過程、
を含む方法。 By continuously outputting frame data, which is data about a still image based on the image light imaged on the imaging surface, having an imaging surface for imaging the image light imaged there. One image sensor capable of capturing a moving image;
A right imaging optical system for guiding right image light, which is image light of a moving image for right eye, which is an image for right eye, to the imaging element;
A left imaging optical system that guides left image light that is image light of a left-eye moving image that is an image for the left eye to the imaging element;
Image processing means adapted to perform image processing on the frame data output by the imaging device;
With
The right image light and the left image light are adapted to be imaged on different parts of the imaging surface of the imaging element.
A method executed by the stereoscopic video data generation device,
The image processing means
A process of taking out the data generated by the right image light and the data generated by the left image light from each frame data,
By generating right frame data that is frame data for the right eye image and left frame data that is frame data for the left eye image, the data for the right eye moving image and the data for the left eye moving image in stereoscopic view are separated. Output process,
Including methods.
JP2015081942A 2015-04-13 2015-04-13 Moving image data for stereoscopic vision generation device, method executed thereby, and moving image display device for stereoscopic vision Pending JP2016201742A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015081942A JP2016201742A (en) 2015-04-13 2015-04-13 Moving image data for stereoscopic vision generation device, method executed thereby, and moving image display device for stereoscopic vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015081942A JP2016201742A (en) 2015-04-13 2015-04-13 Moving image data for stereoscopic vision generation device, method executed thereby, and moving image display device for stereoscopic vision

Publications (1)

Publication Number Publication Date
JP2016201742A true JP2016201742A (en) 2016-12-01

Family

ID=57424730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015081942A Pending JP2016201742A (en) 2015-04-13 2015-04-13 Moving image data for stereoscopic vision generation device, method executed thereby, and moving image display device for stereoscopic vision

Country Status (1)

Country Link
JP (1) JP2016201742A (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6170839U (en) * 1984-10-17 1986-05-14
JPH0870474A (en) * 1994-08-29 1996-03-12 Sanyo Electric Co Ltd Stereoscopic image pickup unit and stereoscopic image recording and reproducing device
JPH08149515A (en) * 1994-11-18 1996-06-07 Sanyo Electric Co Ltd Stereoscopic image pickup device
JP2004260787A (en) * 2002-09-09 2004-09-16 Rohm Co Ltd Image sensor module
JP2011247966A (en) * 2010-05-24 2011-12-08 Olympus Imaging Corp Imaging apparatus
JP2013132026A (en) * 2011-12-22 2013-07-04 Canon Inc Information processing apparatus
JP2013222177A (en) * 2012-04-19 2013-10-28 Canon Inc Stereoscopic video photographing optical system and stereoscopic video photographing device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6170839U (en) * 1984-10-17 1986-05-14
JPH0870474A (en) * 1994-08-29 1996-03-12 Sanyo Electric Co Ltd Stereoscopic image pickup unit and stereoscopic image recording and reproducing device
JPH08149515A (en) * 1994-11-18 1996-06-07 Sanyo Electric Co Ltd Stereoscopic image pickup device
JP2004260787A (en) * 2002-09-09 2004-09-16 Rohm Co Ltd Image sensor module
JP2011247966A (en) * 2010-05-24 2011-12-08 Olympus Imaging Corp Imaging apparatus
JP2013132026A (en) * 2011-12-22 2013-07-04 Canon Inc Information processing apparatus
JP2013222177A (en) * 2012-04-19 2013-10-28 Canon Inc Stereoscopic video photographing optical system and stereoscopic video photographing device

Similar Documents

Publication Publication Date Title
CN101836432A (en) Imaging device and image recording and playback system
JPS59500298A (en) 3D image television system
JP2006033228A (en) Picture imaging apparatus
KR20110114620A (en) Stereoscopic imaging apparatus and method
CN101995758A (en) Imaging device and video recording/reproducing system
CN107111147A (en) Stereos copic viewing device
US20150301313A1 (en) Stereoscopic lens for digital cameras
CN103329549B (en) Dimensional video processor, stereoscopic imaging apparatus and three-dimensional video-frequency processing method
CN103339948B (en) 3D video playing device, 3D imaging device, and 3D video playing method
JP3676916B2 (en) Stereoscopic imaging device and stereoscopic display device
JP2018152748A (en) Imaging/display device of stereoscopic image and head mount device
JP2011053564A (en) Display device and imaging device
JPS63244011A (en) Electronic endoscope
JPH11187425A (en) Stereoscopic video system and method
JP2004144873A (en) Picture display device and picture display method
JP2016201742A (en) Moving image data for stereoscopic vision generation device, method executed thereby, and moving image display device for stereoscopic vision
JP5627930B2 (en) 3D image data generation method
JP3235441U (en) Encode the image of one camera of one image sensor into all existing 3D formats
JP2006129225A (en) Stereoscopic video image display device and method
KR100401703B1 (en) Photographing apparatus for stereo image
JP5551517B2 (en) Imaging device
JP4353001B2 (en) 3D imaging adapter
US20060127055A1 (en) 3-Dimensional video recording/reproduction device
JP2014045392A (en) Stereoscopic image receiver
JP7202449B2 (en) Optical Arrangement for Generating Virtual Reality Stereoscopic Images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190910