JP2013115666A - Imaging apparatus, video recording apparatus, control method, program, and video recording system - Google Patents
Imaging apparatus, video recording apparatus, control method, program, and video recording system Download PDFInfo
- Publication number
- JP2013115666A JP2013115666A JP2011261002A JP2011261002A JP2013115666A JP 2013115666 A JP2013115666 A JP 2013115666A JP 2011261002 A JP2011261002 A JP 2011261002A JP 2011261002 A JP2011261002 A JP 2011261002A JP 2013115666 A JP2013115666 A JP 2013115666A
- Authority
- JP
- Japan
- Prior art keywords
- raw
- moving image
- image
- imaging
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、撮像装置、動画記録装置、制御方法、プログラム、及び動画記録システムに関し、特に高解像度の動画を記録する技術に関する。 The present invention relates to an imaging device, a moving image recording device, a control method, a program, and a moving image recording system, and more particularly to a technique for recording a high-resolution moving image.
近年、デジタルカメラやデジタルビデオカメラのような撮像装置に設けられた撮像素子は、多画素化の傾向にある。撮像装置の多くは静止画像の記録に限らず、動画像の記録にも対応している。画素数の多い撮像素子を有する撮像装置では、所謂HD映像等の高解像度の動画像を記録することができる。 In recent years, an image pickup element provided in an image pickup apparatus such as a digital camera or a digital video camera has a tendency to increase the number of pixels. Many imaging devices are not limited to recording still images, but also support recording moving images. An imaging apparatus having an imaging device with a large number of pixels can record a high-resolution moving image such as a so-called HD video.
また、従来から撮像装置の中には映像出力インタフェース(映像出力機能)を有するものがある。このような撮像装置では、撮影した静止画像や動画像を家庭用のテレビジョン受像器等の表示装置に出力することで、表示装置での閲覧を可能にしている。近年では、高解像度の動画像の出力インタフェースとして、HD−SDI(High Definition Serial Digital Interface)やHDMI(High Definition Multimedia Interface(登録商標))が用いられている。 Conventionally, some imaging apparatuses have a video output interface (video output function). In such an imaging device, the captured still image or moving image is output to a display device such as a home television receiver, thereby enabling browsing on the display device. In recent years, HD-SDI (High Definition Serial Digital Interface) and HDMI (High Definition Multimedia Interface (registered trademark)) are used as output interfaces for high-resolution moving images.
このような映像出力機能の利用は、閲覧に限らず利用可能である。上述したような高解像度の動画像は、特許文献1のように撮像により得られた画像データ(フレーム画像)を映像出力機能を利用して出力し、外部の記録装置において動画データに変換させることによって得ることもできる。
Use of such a video output function can be used not only for browsing. As described above, high-resolution moving images are obtained by outputting image data (frame images) obtained by imaging using a video output function as in
一方で、撮像装置の中には、撮像素子から出力された画像信号に対しての現像処理を、外部機器において実行するものがある。特許文献2では、撮像素子から出力された画像信号であるRAW画像データ(未処理の画像データ)を、ネットワークを介して外部機器に伝送して現像処理を行わせ、処理後の画像データを受信する電子カメラシステムが開示されている。 On the other hand, some imaging devices execute development processing on an image signal output from an imaging device in an external device. In Patent Literature 2, RAW image data (unprocessed image data), which is an image signal output from an image sensor, is transmitted to an external device via a network to perform development processing, and the processed image data is received. An electronic camera system is disclosed.
上述したようなRAW画像データは、信号処理の過程による情報損失を伴わないため、例えばPC等で画像編集を行う際に、輝度補正やレベル補正等、高品位な調整を行うことができる。このため、RAW形式の画像データで構成される動画データは、編集処理時の調整の多様性が見込め、有用であると考えられる。 Since the RAW image data as described above is not accompanied by information loss due to a signal processing process, for example, when image editing is performed on a PC or the like, high-quality adjustment such as luminance correction and level correction can be performed. For this reason, moving image data composed of RAW format image data is expected to be useful because it allows for a wide variety of adjustments during editing processing.
RAW画像データは現像処理を適用して得られた画像データに比べて情報量が多いため、RAW形式の動画データの記録を撮像装置で行う場合、撮像装置の回路規模が増大してしまう。このため、RAW形式の動画データの記録は、フレーム画像であるRAW画像データを記録機能に特化した外部記録装置に伝送し、該装置において動画データとして記録されることが好ましい。 Since RAW image data has a larger amount of information than image data obtained by applying development processing, when recording RAW format moving image data with an imaging apparatus, the circuit scale of the imaging apparatus increases. For this reason, it is preferable to record the RAW format moving image data by transmitting the RAW image data, which is a frame image, to an external recording device specialized for the recording function, and recording the moving image data in the device.
例えば、1画素あたり14bitの情報量を有する1920pixel×1080pixelのRAW形式のフレーム画像を毎秒24フレーム伝送する場合、データ伝送速度として
1920×1080×14×24≒665Mbps
が要求される。これは近年の撮像装置に一般的に設けられているUSB(Universal Serial Bus)2.0の規格の伝送速度480Mbpsを上回る。しかし、情報量の多いRAW画像データを連続的に伝送するために回路構成を対応させることは、回路規模の増大や生産コストの上昇につながるため現実的ではない。
For example, when a RAW frame image of 1920 pixels × 1080 pixels having an information amount of 14 bits per pixel is transmitted at 24 frames per second, the data transmission rate is 1920 × 1080 × 14 × 24≈665 Mbps.
Is required. This exceeds the transmission speed 480 Mbps of the USB (Universal Serial Bus) 2.0 standard generally provided in recent imaging apparatuses. However, associating a circuit configuration in order to continuously transmit RAW image data with a large amount of information leads to an increase in circuit scale and an increase in production cost, which is not realistic.
一方、HDMIは、所謂HDTV動画と呼ばれる、1920pixel×1080pixelのYUV422形式(8bit)のフレーム画像を毎秒24フレーム伝送する映像出力に対して対応している。YUV422形式では、2画素をセットとして輝度情報Y以外の情報を該2画素で共有する形式であるため、8bitのYUV422形式の画像は1画素あたりの情報量は16bitとなる。即ち、HDMIは
1920×1080×16×24≒759Mbps
の伝送速度を少なくとも有している。つまり、上述したようなHD−SDIやHDMI等の高解像度の動画像用の映像出力インタフェースを使用することで、RAW形式のフレーム画像を外部記録装置に伝送してRAW形式の動画データとして記録することが可能である。しかしながら、HD−SDIやHDMI等の高解像度の動画の映像出力インタフェースの規格では、RAW画像データの伝送は考慮されていなかった。
On the other hand, the HDMI corresponds to a video output that transmits a frame image of YUV422 format (8 bits) of 1920 pixels × 1080 pixels, called a so-called HDTV moving image, at 24 frames per second. The YUV422 format is a format in which information other than the luminance information Y is shared by the two pixels with two pixels as a set. Therefore, an 8-bit YUV422 format image has an information amount of 16 bits per pixel. That is, HDMI is 1920 × 1080 × 16 × 24≈759 Mbps.
At least. That is, by using a video output interface for high-resolution moving images such as HD-SDI and HDMI as described above, a RAW format frame image is transmitted to an external recording device and recorded as RAW format moving image data. It is possible. However, the transmission of RAW image data is not considered in the standard of high-resolution video output interfaces such as HD-SDI and HDMI.
本発明は、上述の問題点に鑑みてなされたものであり、高解像度の動画の映像出力インタフェースを使用してRAW画像データを外部記録装置に伝送し、外部記録装置においてRAW形式の動画データを生成することを目的とする。 The present invention has been made in view of the above-described problems, and transmits RAW image data to an external recording device using a video output interface of a high-resolution moving image, and the RAW format moving image data is transmitted to the external recording device. The purpose is to generate.
前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
被写体を撮像してRAW画像を生成する撮像手段と、撮像手段により生成されたRAW画像に対して現像処理を行なって現像画像を生成する現像手段と、撮像装置が外部の動画記録装置にRAW画像のフレームで構成されるRAW動画を記録させる状態であるか否かを判断する判断手段と、現像手段により生成された現像画像を、動画伝送インタフェースを介して外部の動画記録装置に伝送する伝送手段と、を有し、伝送手段は、判断手段により撮像装置が外部の動画記録装置にRAW動画を記録させる状態であると判断された場合は、RAW画像であることを示す識別情報を関連付けて、撮像手段により生成されたRAW画像を現像画像として外部の動画記録装置に伝送することを特徴とする。
In order to achieve the above object, an imaging apparatus of the present invention has the following configuration.
An imaging unit that captures an image of a subject and generates a RAW image, a developing unit that generates a developed image by performing development processing on the RAW image generated by the imaging unit, and an imaging device that transmits a RAW image to an external video recording device Determining means for determining whether or not it is in a state of recording a RAW moving image composed of a plurality of frames, and transmitting means for transmitting the developed image generated by the developing means to an external moving image recording apparatus via the moving image transmission interface And the transmission means associates identification information indicating that it is a RAW image when the determination means determines that the imaging device is in a state of recording a RAW moving image in an external moving image recording device, The RAW image generated by the imaging means is transmitted as a developed image to an external moving image recording apparatus.
また前述の目的を達成するために、本発明の動画記録装置は、以下の構成を備える。
撮像装置から伝送された情報を受信する受信手段と、受信手段により受信された情報に、RAW画像であることを示す識別情報が含まれる場合に、該情報に含まれるRAW画像を、RAW画像のフレームで構成されるRAW動画のフレームとして記録する記録手段と、を有することを特徴とする。
In order to achieve the above-described object, the moving picture recording apparatus of the present invention has the following configuration.
When receiving information transmitted from the imaging apparatus and identification information indicating that it is a RAW image are included in the information received by the receiving means, the RAW image included in the information is converted into the RAW image Recording means for recording as a frame of a RAW moving image composed of frames.
また前述の目的を達成するために、本発明の動画記録システムは、以下の構成を備える。
撮像装置が出力したRAW画像を、動画伝送インタフェースを介して動画記録装置に伝送し、該動画記録装置においてRAW画像のフレームで構成されるRAW動画を記録する動画記録システムであって、撮像装置は、被写体を撮像してRAW画像を生成する撮像手段と、撮像手段により生成されたRAW画像に対して現像処理を行なって現像画像を生成する現像手段と、撮像装置が動画記録装置にRAW動画を記録させる状態であるか否かを判断する判断手段と、現像手段により生成された現像画像を、動画伝送インタフェースを介して動画記録装置に伝送する伝送手段と、を有し、伝送手段は、判断手段により撮像装置が動画記録装置にRAW動画を記録させる状態であると判断された場合は、RAW画像であることを示す識別情報を関連付けて、撮像手段により生成されたRAW画像を現像画像として動画記録装置に伝送し、動画記録装置は、撮像装置から伝送された情報を受信する受信手段と、受信手段により受信された情報に、RAW画像であることを示す識別情報が含まれる場合に、該情報に含まれるRAW画像を、RAW動画を構成するフレームとして記録する記録手段と、を有することを特徴とする。
In order to achieve the above-described object, the moving image recording system of the present invention has the following configuration.
A moving image recording system that transmits a RAW image output from an imaging device to a moving image recording device via a moving image transmission interface, and records a RAW moving image composed of RAW image frames in the moving image recording device. An imaging unit that images a subject to generate a RAW image, a developing unit that generates a developed image by performing development processing on the RAW image generated by the imaging unit, and the imaging device generates a RAW moving image on the moving image recording device. A determination unit that determines whether or not the recording state is to be recorded; and a transmission unit that transmits the developed image generated by the development unit to the moving image recording apparatus via the moving image transmission interface. If it is determined by the means that the imaging apparatus is in a state of recording a RAW moving image on the moving image recording apparatus, identification information indicating that the image is a RAW image is used. In addition, the RAW image generated by the imaging unit is transmitted as a developed image to the moving image recording apparatus, and the moving image recording apparatus receives the information transmitted from the imaging device, and the information received by the receiving unit, And recording means for recording the RAW image included in the information as a frame constituting the RAW moving image when the identification information indicating the RAW image is included.
このような構成により本発明によれば、高解像度の動画の映像出力インタフェースを使用してRAW画像データを外部記録装置に伝送し、外部記録装置においてRAW形式の動画データを生成することが可能となる。 With such a configuration, according to the present invention, it is possible to transmit RAW image data to an external recording device using a video output interface of a high-resolution moving image, and to generate RAW format moving image data in the external recording device. Become.
[実施形態1]
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、動画記録システムに係る撮像装置の一例としての、HDMI映像出力が可能なデジタルカメラ100と、HDMI映像入力が可能なPC200に、本発明を適用した例を説明する。しかし、本発明は、高解像度の動画の映像出力インタフェースを使用してRAW画像データを外部記録装置に伝送し、外部記録装置においてRAW形式の動画データを生成することが可能な任意の機器に適用可能である。
[Embodiment 1]
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In the embodiment described below, an example in which the present invention is applied to a
<動画記録システムの構成>
図1は、本発明の実施形態に係る動画記録システムのシステム構成を示した図である。
<Configuration of video recording system>
FIG. 1 is a diagram showing a system configuration of a moving image recording system according to an embodiment of the present invention.
図1に示されるように、本実施形態の動画記録システムは、デジタルカメラ100、PC200、及び液晶テレビ400で構成される。デジタルカメラ100とPC200とはHDMIケーブル300を介して接続され、HDMI規格に準拠した転送形式で映像の入出力が行われる。具体的にはデジタルカメラ100において撮影され、PC200に対して出力されるデータは、動画データのフレーム画像データとして出力される。出力はブランキング期間とアクティブ期間を設けて行われ、フレーム画像データはアクティブ期間においてPC200に伝送される。
As shown in FIG. 1, the moving image recording system of the present embodiment includes a
本実施形態ではPC200は、ブランキング期間において伝送される動画補助データを参照することにより、アクティブ期間において伝送されるフレーム画像データの形式を認識し、形式に応じて該データを処理する。なお、本実施形態ではフレーム画像データとして、HDMI映像として再生可能な現像済みの通常のフレーム画像データと、現像処理がなされていない撮像素子からの出力であるフレームとしてのRAW画像データとがデジタルカメラ100から出力される。即ち、デジタルカメラ100はRAW形式の動画データ(RAW動画)のフレームであるRAW画像データを、通常のHDMI映像のフレーム画像データとして出力する。つまり、PC200は、ブランキング期間において出力される動画補助データを参照することにより、続いて入力されるアクティブ期間のフレーム画像データがRAW画像データであるか否かを判断する。そしてRAW画像データであると判断した場合、PC200はアクティブ期間に受信するRAW画像データをRAW形式の動画データを構成するフレームデータとして記録する。またデジタルカメラ100は、RAW画像データではないと判断した場合は、アクティブ期間に受信するフレーム画像データを液晶テレビ400に出力して表示させる。
In this embodiment, the PC 200 recognizes the format of the frame image data transmitted in the active period by referring to the moving image auxiliary data transmitted in the blanking period, and processes the data according to the format. In this embodiment, as frame image data, a developed normal frame image data that can be played back as an HDMI video and a RAW image data as a frame that is an output from an image sensor that has not been developed are digital cameras. 100. That is, the
(デジタルカメラ100の構成)
図2は、本発明の実施形態に係るデジタルカメラ100の機能構成を示すブロック図である。
(Configuration of digital camera 100)
FIG. 2 is a block diagram showing a functional configuration of the
CPU101は、デジタルカメラ100が有する各ブロックの動作を制御する。具体的にはCPU101は、例えばROM102に記憶されている撮像処理や映像出力処理のプログラムを読み出し、RAM103に展開して実行することにより各ブロックの動作を制御する。
The
ROM102は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ100が有する各ブロックの動作プログラムに加え、各ブロックの動作において必要なパラメータや撮影設定情報等を記録する。
The
RAM103は、揮発性メモリであり、デジタルカメラ100が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックから出力された中間データ等を一時的に記憶する格納領域としても用いられる。
The
撮像部105は、例えばCCDやCMOSセンサ等の撮像素子である。撮像部105は、結像光学系104を介して撮像素子の受光面に結像された光学像を光電変換し、得られたアナログ画像信号をA/D変換部106に出力する。なお、結像光学系104は、対物レンズや絞り等で構成され、CPU101の制御により所定の駆動系がフォーカス調節動作や露出動作を行う。
The
A/D変換部106は、入力されたアナログ画像信号に対してA/D変換処理を適用し、デジタル画像信号(RAW画像データ)への変換を行う。A/D変換部106は、得られたRAW画像データを画像メモリ108に出力し、記憶させる。画像メモリ108は、画像データ用の記憶領域である。
The A /
信号処理部107は、CPU101の制御のもと、RAW画像データに対して種々の画像処理を含む現像処理を行う。具体的には信号処理部107は画像メモリ108に記憶されているRAW画像データを読み出し、予め定められた映像出力形式に従って現像処理を行う。現像処理に含まれる画像処理には、ガンマ処理、補間処理、マトリクス変換等がある。本実施形態では信号処理部107は、種々の画像処理の適用後、YUV422形式(8bit)の画像データへの変換を行う。
The
第1映像出力I/F109は、デジタルカメラ100が備える映像出力インタフェースである。本実施形態では第1映像出力I/F109はHDMIであるものとして説明するが、本発明の実施はこれに限られるものではない。例えば第1映像出力I/F109は、HD−SDI等、1フレームのフレーム画像データとして転送される容量が、撮像素子から出力されるRAW画像データの容量以上である映像出力インタフェースであればよい。
The first video output I /
(PC200の構成)
次に、本発明の実施形態に係るPC200の機能構成について、図3のブロック図を用いて説明する。なお、本明細書ではデジタルカメラ100及びPC200の各々の構成ブロックを区別するために、PC200が有する各ブロックについては、「PC」の接頭文字を付して説明するものとする。
(Configuration of PC200)
Next, the functional configuration of the
PC−CPU201は、PC200が有する各ブロックの動作を制御する。PC−CPU201は、例えばPC−HDD204に記憶されているOSや動画再生記録アプリケーションのプログラムを読み出してPC−RAM203に展開して実行することにより、各ブロックの動作を制御する。
The PC-
PC−ROM202は、例えば書き換え可能な不揮発性メモリであり、PC200が有有する各ブロックの動作に必要なパラメータや、PC200の起動設定等の情報を記憶する。
The PC-
PC−RAM203は、揮発性メモリであり、PC200が有する各ブロックの動作プログムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。
The PC-
PC−HDD204は、例えばHDDやSSD等のPC200に着脱可能に接続される記録装置である。PC−HDD204は、上述したOSや動画再生記録アプリケーションが格納されるだけでなく、PC映像入力I/F205を介してPC200に入力された画像データが記録される。
The PC-
PC映像入力I/F205は、PC200が備える映像入力インタフェースであり、デジタルカメラ100からHDMIケーブル300を介して入力された動画データあるいは動画補助データを取得する。
The PC video input I /
PC映像出力I/F206は、PC200が備える映像出力インタフェースである。本実施形態ではPC映像出力I/F206は、液晶テレビ400に表示する画像データを出力する。なお、液晶テレビ400は不図示の液晶映像入力I/F401を有しており、PC200から入力されたフレーム画像データを液晶映像入力I/F401において受信し、表示画面への画像提示を行う。
The PC video output I /
<動画記録システムの動作>
このような構成をもつ本実施形態の動画記録システムを用いた、RAW動画の記録処理の動作について以下に説明する。なお、デジタルカメラ100及びPC200の各々において行われる処理は、CPU101あるいはPC−CPU201が、例えば対応する動作プログラムを読み出して実行することにより実現することができる。なお、以下に説明する記録処理の動作は、デジタルカメラ100とPC200とがHDMIケーブル300で接続された後、各機器において映像出力あるいは映像入力が可能な状態になった際に開始されるものとして説明する。
<Operation of video recording system>
The operation of RAW moving image recording processing using the moving image recording system of the present embodiment having such a configuration will be described below. The processing performed in each of the
(デジタルカメラ100の動作)
まず、デジタルカメラ100における各ブロックの動作について説明する。本実施形態のデジタルカメラ100は、第1映像出力I/F109を介して映像出力を行う場合、「モニタリングモード」と「動画記録モード」の2種類の状態を有する。
(Operation of the digital camera 100)
First, the operation of each block in the
「モニタリングモード」とは、接続先であるPC200において、デジタルカメラ100が撮影した画像データを略リアルタイムで閲覧可能とする状態である。即ち、デジタルカメラ100からの出力は、通常のHDMIの映像出力と同じ仕様であり、PC200において受信されたフレーム画像データは、液晶テレビ400に出力することで動画データとして閲覧することが可能である。
The “monitoring mode” is a state in which image data captured by the
また「動画記録モード」とは、接続先であるPC200に、RAW画像データのフレームで構成されるRAW動画データを記録させる状態である。即ち、デジタルカメラ100からの出力は、通常のHDMIの映像出力とは異なりRAW画像データが出力される。PC−CPU201は、PC映像入力I/F205が受信したRAW画像データを、例えばPC−HDD204にRAW動画データの1フレームとして記録する動作を行う。
The “moving image recording mode” is a state in which the
デジタルカメラ100の状態(モニタリングモードと動画記録モード)の切り替えは、例えば不図示のレリーズボタンがユーザにより操作されることで、動画記録指示がなされたことをCPU101が判断することで行われる。なお、モードの切り替えは、1フレーム分のフレーム画像データの伝送が完了するアクティブ期間の終了時に行われるものとする。
Switching between the states of the digital camera 100 (monitoring mode and moving image recording mode) is performed when the
図4は、モニタリングモード及び動画記録モードの各々において、第1映像出力I/F109から出力されるデータの詳細を示した図である。図4の例では、時刻t1においてモニタリングモードが設定されており、その後時刻t2で動画記録モードに設定された後に、時刻t3で再びモニタリングモードに設定される場合を示している。
FIG. 4 is a diagram showing details of data output from the first video output I /
図示されるように、いずれのモードにおいてもデータの伝送中は、ブランキング期間とそれに続くアクティブ期間が繰り返される。ブランキング期間には水平ブランキング期間及び垂直ブランキング期間があり、ブランキング期間では上述したように動画補助データ(Auxiliary Data)や音声データが送信される。本実施形態では、HDMIでのデータ伝送となるため、動画補助データとしてVendor Specific InfoFrameがデジタルカメラ100からPC200に伝送される。CPU101は、動画記録モードではVendor Specific InfoFrameに後続するフレーム画像データがRAW画像データであることを示す識別情報を含め、モニタリングモードではフレーム画像データが通常のHDMIの映像出力形式であることを示す識別情報を含めて作成する。そしてCPU101は作成したVendor Specific InfoFrameを、第1映像出力I/F109を介してPC200に伝送する。なお、モニタリングモードで伝送されるVendor Specific InfoFrameは、本実施形態では通常のHDMIの映像出力形式であることを示す識別情報が含まれるものとして説明するが、動画補助データはこれに限られない。即ち、動画補助データは後続するフレーム画像データがRAW画像データであるか否かを示すことができればよいため、RAW画像データであることを示す識別情報を含まない構成であればよい。
As shown in the figure, the blanking period and the subsequent active period are repeated during data transmission in any mode. The blanking period includes a horizontal blanking period and a vertical blanking period. In the blanking period, moving image auxiliary data (Auxiliary Data) and audio data are transmitted as described above. In this embodiment, since data transmission is performed using HDMI, Vendor Specific InfoFrame is transmitted from the
またフレーム画像データについては上述したように、モニタリングモードではYUV422形式(8bit)の画像データ、動画記録モードではRAW画像データが出力される。具体的にはCPU101は、設定されているモードを判断し、モニタリングモードである場合には画像メモリ108に記憶されているRAW画像データを読み出して信号処理部107に伝送し、YUV422形式(8bit)の画像データへの変換を行わせる。そしてCPU101は、得られた該形式の画像データを第1映像出力I/F109に伝送し、アクティブ期間においてPC200に対して出力させる。またCPU101は、設定されているモードが動画記録モードであった場合には画像メモリ108に記憶されているRAW画像データを読み出し、変換処理を行わずに第1映像出力I/F109に伝送し、アクティブ期間においてPC200に対して出力させる。
As described above, for the frame image data, YUV422 format (8-bit) image data is output in the monitoring mode, and RAW image data is output in the moving image recording mode. Specifically, the
(PC200の動作)
次にPC200における各ブロックの動作について説明する。なお、本実施形態ではPC200において動画記録アプリケーションが実行され、該アプリケーションにおいて以下のような動作が実行されるものとして説明するが、本発明の実施はこれに限られない。即ち、データが入力された場合に、以下の処理と同等の動作を行う専用回路によって実現されても良いことは言うまでもない。
(Operation of PC200)
Next, the operation of each block in the
PC−CPU201は、PC映像入力I/F205においてデータが受信されると、該データに基づいてアクティブ期間及びブランキング期間のいずれであるかを判断する。具体的にはPC−CPU201は、受信したデータが動画補助データあるいは音声データであった場合はブランキング期間、フレーム画像データであった場合はアクティブ期間として判断する。
When data is received at the PC video input I /
PC−CPU201はブランキング期間において受信した動画補助データを解析し、続くアクティブ期間において受信するフレーム画像データがRAW画像データであることを示す識別情報が含まれているか否かを判断する。そしてPC−CPU201は、RAW画像データであることを示す情報が含まれる場合は、続いてPC映像入力I/F205において受信するフレーム画像データを、RAW動画のフレームとしてPC−HDD204に記録する。またPC−CPU201は、RAW画像データであることを示す情報が含まれない場合は、続いてPC映像入力I/F205において受信するフレーム画像データを、PC映像出力I/F206に伝送して液晶テレビ400に表示させる。
The PC-
なお、受信するフレーム画像データがRAW画像データである場合、受信しているフレーム画像データを液晶テレビ400に対して表示するためには、次のようにすればよい。PC−CPU201は、受信したRAW画像データを不図示の画像処理部に伝送し、現像処理を実行させて得られた画像データをPC映像出力I/F206から液晶テレビ400に出力させればよい。
Note that when the received frame image data is RAW image data, the received frame image data may be displayed on the
このように動画補助データにRAW画像データであることを示す識別情報を付加することにより、PC200に対してフレーム画像データがRAW画像データであることを判別させることができる。またPC200においてRAW画像データが入力された場合に、該データをRAW形式の動画データのフレームとして記録する動画記録アプリケーションを実行することで、RAW形式の動画データを生成することができる。
Thus, by adding identification information indicating that it is RAW image data to the moving image auxiliary data, the
また、上述したようにYUV422形式(8bit)の画像データ(1920pixel×1080pixel)がHDMIケーブル300を介してPC200に伝送される場合は、フレームあたりの情報量は
FYUV=1920×1080×16÷8=3.96MBytes
である。一方同様の画素数を有し、1画素が14bitの情報で構成されるRAW画像データのフレームあたりの情報量は、
FRAW=1920×1080×14÷8=3.46MBytes
となる。即ち、FYUV>FRAWが成り立つため、RAW画像データを、HDMIを用いて出力することが可能である。
Further, as described above, when image data (1920 pixels × 1080 pixels) in YUV422 format (8 bits) is transmitted to the
It is. On the other hand, the amount of information per frame of RAW image data having the same number of pixels and one pixel consisting of 14-bit information is
F RAW = 1920 × 1080 × 14 ÷ 8 = 3.46 MBytes
It becomes. That is, since F YUV > F RAW holds, it is possible to output RAW image data using HDMI.
なお、本実施形態では第1映像出力I/F109はHDMI形式であるものとして説明したが、映像出力形式はHD−SDI等、1フレームのフレーム画像データとして転送される容量が、RAW画像データの容量以上である映像出力インタフェースであればよい。例えばHD−SDI形式の場合、フレーム画像データはYUV422形式(10bit)の画像データとなるため、フレームあたりの情報量は
FSDI=1920×1080×20÷3=4.94MBytes
となる。つまり、該情報量に収まる範囲であれば、RAW画像データの画素数あるいは1画素の情報量を上昇させることができる。なお、動画補助データはHD−SDI形式ではユーザアプリケーション情報であり、該情報内にRAW画像データであることを示す識別情報を含めればよい。
In the present embodiment, the first video output I /
It becomes. That is, the number of pixels of the RAW image data or the information amount of one pixel can be increased as long as it is within the information amount. Note that the moving image auxiliary data is user application information in the HD-SDI format, and identification information indicating RAW image data may be included in the information.
またHDMIでは、出力する画像データの形式としてRGB44やDeepColorが用いられる場合は、フレームあたりの情報量は上記より多くなるため、同様にRAW画像データの画素数あるいは1画素の情報量を上昇させることができる。 Also, in HDMI, when RGB44 or DeepColor is used as the format of image data to be output, the amount of information per frame is larger than the above, so that the number of pixels of RAW image data or the amount of information of one pixel is similarly increased. Can do.
また、本実施形態では動画記録モードにある場合に、変換処理が適用されていないRAW画像データが伝送されるものとして説明したが、本発明の実施はこれに限られない。即ち、PC200においてRAW画像データで構成されるRAW動画データの記録が実現できればよいため、デジタルカメラ100において可逆圧縮処理が適用されたRAW画像データが伝送される構成であってもよい。この場合PC−CPU201は、可逆圧縮されたRAW画像データをフレームデータとしてRAW動画データを記録してもよいし、復元処理を行なって得られた圧縮前のRAW画像データをフレームデータとしてRAW動画データを記録してもよい。
Further, although the present embodiment has been described on the assumption that RAW image data to which conversion processing is not applied is transmitted in the moving image recording mode, the present invention is not limited to this. That is, since it is only necessary to realize the recording of the RAW moving image data composed of the RAW image data in the
同様に、本実施形態では、PC−CPU201は受信したRAW画像データをそのままRAW動画データのフレームとして記録するものとして説明したが、以下のようであってもよい。PC−CPU201はRAW画像データに対して不図示の画像処理部で可逆圧縮を行い、得られた画像データをRAW動画データのフレームとして記録する構成であってもよい。
Similarly, in the present embodiment, the PC-
以上説明したように、本実施形態の動画記録システムは、高解像度の動画の映像出力インタフェースを使用してRAW画像データを外部記録装置に伝送し、外部記録装置においてRAW形式の動画データを生成することができる。具体的には動画記録システムは、撮像装置が出力したRAW画像を、動画伝送インタフェースを介して動画記録装置に伝送し、該動画記録装置においてRAW画像のフレームで構成されるRAW動画を記録する。撮像装置は、被写体を撮像して得られたRAW画像に対して現像処理を行なって生成された現像画像を、動画伝送インタフェースを介して動画記録装置に伝送する。撮像装置は、動画記録装置にRAW動画を記録させる状態である場合は、RAW画像であることを示す識別情報を関連付けて、RAW画像を現像画像として動画記録装置に伝送する。動画記録装置は、撮像装置から伝送された情報を受信し、受信された情報にRAW画像であることを示す識別情報が含まれる場合に、該情報に含まれるRAW画像を、RAW動画を構成するフレームとして記録する。 As described above, the moving image recording system of the present embodiment uses the high-resolution moving image output interface to transmit RAW image data to an external recording device, and generates RAW format moving image data in the external recording device. be able to. Specifically, the moving image recording system transmits a RAW image output from the imaging device to the moving image recording device via the moving image transmission interface, and records a RAW moving image composed of RAW image frames in the moving image recording device. The imaging apparatus transmits a developed image generated by performing development processing on a RAW image obtained by imaging a subject to a moving image recording apparatus via a moving image transmission interface. In a state where the moving image recording apparatus records a RAW moving image, the imaging device associates identification information indicating a RAW image and transmits the RAW image as a developed image to the moving image recording apparatus. The moving image recording apparatus receives information transmitted from the imaging apparatus, and when the received information includes identification information indicating that it is a RAW image, the RAW image included in the information forms a RAW moving image. Record as a frame.
このようにすることで、高品位な調整が可能なRAW形式の画像データで構成された動画データを取得することができる。 In this way, it is possible to acquire moving image data composed of RAW format image data that can be adjusted with high quality.
[実施形態2]
上述した実施形態では、動画補助データにRAW画像データであることを示す識別情報が含まれるか否かによって、PC200において動画データの記録、及び液晶テレビ400への表示出力のいずれを行うかを切り替えるものとして説明した。本実施形態では、RAW動画データの記録を行なっている間も、液晶テレビ400において撮像信号の閲覧が可能である構成について説明する。
[Embodiment 2]
In the embodiment described above, switching between recording of moving image data and display output to the
<動画記録システムの構成>
本実施形態の動画記録システムにおいて各装置の構成は、デジタルカメラ100が第2映像出力I/F110を備えることを除いて、上述した実施形態1と同様である。図5は、本実施形態の動画記録システムのシステム構成を示した図である。
<Configuration of video recording system>
The configuration of each device in the moving image recording system of the present embodiment is the same as that of the first embodiment described above, except that the
図示されるように、本実施形態ではデジタルカメラ100はHDMIケーブル300を介してPC200及び液晶テレビ400と接続される。即ち、HDMIケーブル300は第1映像出力I/F109とPC映像入力I/F205、及び第2映像出力I/F110と液晶映像入力I/F401を接続する。本実施形態では、このように液晶テレビ400に対して、デジタルカメラ100から通常の映像出力としてのフレーム画像データが常時直接入力されるものとする。
As illustrated, in this embodiment, the
<動画記録システムの動作>
(デジタルカメラ100の動作)
上述した実施形態と同様に、本実施形態のデジタルカメラ100もモニタリングモードと動画記録モードの2種類の状態を有する。以下、上述の実施形態と異なる点のみ説明する。
<Operation of video recording system>
(Operation of the digital camera 100)
Similar to the above-described embodiment, the
CPU101は、設定されているモードがモニタリングモードである場合、画像メモリ108に記憶されているRAW画像データを読み出して信号処理部107に伝送し、YUV422形式(8bit)の画像データへの変換を行わせる。そしてCPU101は得られた該形式の画像データを第2映像出力I/F110に伝送し、アクティブ期間においてPC200に対して出力させる。なお、このときブランキング期間にはRAW画像データであることを示す識別情報を含まない動画補助データが出力されるものとする。また、第1映像出力I/F109からは、RAW画像データが出力される必要はないため、CPU101は例えば画像メモリ108からのRAW画像データを読み出すことなく生成した全面黒の画像データを出力してもよい。このようにすることで、画像メモリ108から画像データを読み出すメモリ帯域を削減することができる。
When the set mode is the monitoring mode, the
一方、設定されているモードが動画記録モードである場合、CPU101は画像メモリ108に記憶されているRAW画像データを読み出して信号処理部107及び第1映像出力I/F109に伝送する。第1映像出力I/F109に伝送されたRAW画像データは、上述した実施形態と同様にブランキング期間においてRAW画像データであることを示す識別情報を含む動画補助データが出力された後、PC200に対して出力される。また信号処理部107に伝送されたRAW画像データは、モニタリングモードと同様にYUV422形式(8bit)の画像データへの変換が行われた後、第2映像出力I/F110に伝送されて液晶テレビ400に対して出力される。
On the other hand, when the set mode is the moving image recording mode, the
即ち、本実施形態ではモードに依らず、液晶テレビ400に対してはYUV422形式(8bit)の画像データがフレーム画像データとして出力されるため、ユーザは液晶テレビ400を用いて撮像信号の閲覧が可能である。つまり、デジタルカメラ100が動画記録モードにある場合に、PC200における現像処理を行うことなく、ユーザに対して撮像信号を提示することができる。このようにすることでPC200の動作負荷を低減することができる。
In other words, in this embodiment, image data in the YUV422 format (8 bits) is output as frame image data to the
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
[Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (11)
前記撮像手段により生成されたRAW画像に対して現像処理を行なって現像画像を生成する現像手段と、
撮像装置が外部の動画記録装置にRAW画像のフレームで構成されるRAW動画を記録させる状態であるか否かを判断する判断手段と、
前記現像手段により生成された現像画像を、動画伝送インタフェースを介して前記外部の動画記録装置に伝送する伝送手段と、を有し、
前記伝送手段は、前記判断手段により前記撮像装置が前記外部の動画記録装置にRAW動画を記録させる状態であると判断された場合は、RAW画像であることを示す識別情報を関連付けて、前記撮像手段により生成されたRAW画像を前記現像画像として前記外部の動画記録装置に伝送する
ことを特徴とする撮像装置。 Imaging means for imaging a subject and generating a RAW image;
Developing means for performing development processing on the RAW image generated by the imaging means to generate a developed image;
Determining means for determining whether or not the imaging device is in a state of recording a RAW moving image composed of RAW image frames in an external moving image recording device;
Transmission means for transmitting the developed image generated by the developing means to the external moving image recording apparatus via a moving image transmission interface;
The transmission means associates identification information indicating that it is a RAW image in association with the imaging when the determination means determines that the imaging apparatus is in a state of recording a RAW moving image on the external moving image recording apparatus. A RAW image generated by the means is transmitted as the developed image to the external moving image recording apparatus.
前記受信手段により受信された情報に、RAW画像であることを示す識別情報が含まれる場合に、該情報に含まれるRAW画像を、RAW画像のフレームで構成されるRAW動画のフレームとして記録する記録手段と、を有する
ことを特徴とする動画記録装置。 Receiving means for receiving information transmitted from the imaging device;
When the information received by the receiving means includes identification information indicating that it is a RAW image, the RAW image included in the information is recorded as a RAW video frame composed of RAW image frames. And a moving image recording apparatus.
前記撮像装置の現像手段が、前記撮像工程において生成されたRAW画像に対して現像処理を行なって現像画像を生成する現像工程と、
前記撮像装置の判断手段が、前記撮像装置が外部の動画記録装置にRAW画像のフレームで構成されるRAW動画を記録させる状態であるか否かを判断する判断工程と、
前記撮像装置の伝送手段が、前記現像工程において生成された現像画像を、動画伝送インタフェースを介して前記外部の動画記録装置に伝送する伝送工程と、を有し、
前記伝送手段は前記伝送工程において、前記判断工程において前記撮像装置が前記外部の動画記録装置にRAW動画を記録させる状態であると判断された場合は、RAW画像であることを示す識別情報を関連付けて、前記撮像工程において生成されたRAW画像を現像画像として前記外部の動画記録装置に伝送する
ことを特徴とする撮像装置の制御方法。 An imaging step in which an imaging unit of the imaging apparatus images a subject and generates a RAW image;
A developing step in which a developing unit of the imaging apparatus performs a developing process on the RAW image generated in the imaging step to generate a developed image;
A determination step of determining whether or not the determination unit of the imaging apparatus is in a state in which the imaging apparatus records an RAW moving image composed of RAW image frames in an external moving image recording apparatus;
A transmission step of transmitting the developed image generated in the developing step to the external moving image recording device via a moving image transmission interface, the transmission means of the imaging device,
In the transmission step, the transmission means associates identification information indicating a RAW image when it is determined in the determination step that the imaging device is in a state of recording a RAW moving image on the external moving image recording device. Then, the RAW image generated in the imaging step is transmitted as a developed image to the external moving image recording apparatus.
前記動画記録装置の記録手段が、前記受信工程において受信された情報に、RAW画像であることを示す識別情報が含まれる場合に、該情報に含まれるRAW画像を、RAW画像のフレームで構成されるRAW動画のフレームとして記録する記録工程と、を有する
ことを特徴とする動画記録装置の制御方法。 A receiving step in which the receiving means of the video recording device receives information transmitted from the imaging device;
When the recording unit of the moving image recording apparatus includes identification information indicating that it is a RAW image in the information received in the reception step, the RAW image included in the information is configured with a RAW image frame. And a recording step of recording as a RAW moving image frame.
前記撮像装置は、
被写体を撮像してRAW画像を生成する撮像手段と、
前記撮像手段により生成されたRAW画像に対して現像処理を行なって現像画像を生成する現像手段と、
前記撮像装置が前記動画記録装置にRAW動画を記録させる状態であるか否かを判断する判断手段と、
前記現像手段により生成された現像画像を、前記動画伝送インタフェースを介して前記動画記録装置に伝送する伝送手段と、を有し、
前記伝送手段は、前記判断手段により前記撮像装置が前記動画記録装置にRAW動画を記録させる状態であると判断された場合は、RAW画像であることを示す識別情報を関連付けて、前記撮像手段により生成されたRAW画像を現像画像として前記動画記録装置に伝送し、
前記動画記録装置は、
前記撮像装置から伝送された情報を受信する受信手段と、
前記受信手段により受信された情報に、前記RAW画像であることを示す識別情報が含まれる場合に、該情報に含まれるRAW画像を、RAW動画を構成するフレームとして記録する記録手段と、を有する
ことを特徴とする動画記録システム。 A moving image recording system that transmits a RAW image output from an imaging device to a moving image recording device via a moving image transmission interface, and records a RAW moving image composed of RAW image frames in the moving image recording device,
The imaging device
Imaging means for imaging a subject and generating a RAW image;
Developing means for performing development processing on the RAW image generated by the imaging means to generate a developed image;
Determining means for determining whether or not the imaging device is in a state of causing the moving image recording device to record a RAW moving image;
Transmission means for transmitting the developed image generated by the developing means to the moving image recording apparatus via the moving image transmission interface;
The transmission means associates identification information indicating a RAW image with the imaging means when the imaging means determines that the imaging apparatus is in a state of recording a RAW moving image in the moving image recording apparatus by the determining means. The generated RAW image is transmitted as a developed image to the moving image recording apparatus,
The video recording device
Receiving means for receiving information transmitted from the imaging device;
And recording means for recording the RAW image included in the information as a frame constituting the RAW moving image when the information received by the receiving means includes identification information indicating the RAW image. A video recording system characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011261002A JP5836090B2 (en) | 2011-11-29 | 2011-11-29 | Imaging apparatus and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011261002A JP5836090B2 (en) | 2011-11-29 | 2011-11-29 | Imaging apparatus and control method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013115666A true JP2013115666A (en) | 2013-06-10 |
JP2013115666A5 JP2013115666A5 (en) | 2015-01-22 |
JP5836090B2 JP5836090B2 (en) | 2015-12-24 |
Family
ID=48710819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011261002A Active JP5836090B2 (en) | 2011-11-29 | 2011-11-29 | Imaging apparatus and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5836090B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018156643A (en) * | 2017-03-02 | 2018-10-04 | ブラックマジック デザイン ピーティーワイ リミテッドBlackmagic Design Pty Ltd | Camera storage system and method |
WO2019194307A1 (en) * | 2018-04-06 | 2019-10-10 | 株式会社ニコン | Imaging device and image transmission/recording system |
EP4037309A1 (en) * | 2013-06-20 | 2022-08-03 | Saturn Licensing LLC | Reproduction device, reproduction method, and system |
-
2011
- 2011-11-29 JP JP2011261002A patent/JP5836090B2/en active Active
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4037309A1 (en) * | 2013-06-20 | 2022-08-03 | Saturn Licensing LLC | Reproduction device, reproduction method, and system |
US11812046B2 (en) | 2013-06-20 | 2023-11-07 | Saturn Licensing Llc | Reproduction device reproduction method, and recording medium |
JP2018156643A (en) * | 2017-03-02 | 2018-10-04 | ブラックマジック デザイン ピーティーワイ リミテッドBlackmagic Design Pty Ltd | Camera storage system and method |
JP7215828B2 (en) | 2017-03-02 | 2023-01-31 | ブラックマジック デザイン ピーティーワイ リミテッド | Camera storage system and method |
WO2019194307A1 (en) * | 2018-04-06 | 2019-10-10 | 株式会社ニコン | Imaging device and image transmission/recording system |
CN112219390A (en) * | 2018-04-06 | 2021-01-12 | 株式会社尼康 | Imaging device and image transmission recording system |
JPWO2019194307A1 (en) * | 2018-04-06 | 2021-04-15 | 株式会社ニコン | Imaging equipment, image transmission recording system and programs |
US11546529B2 (en) | 2018-04-06 | 2023-01-03 | Nikon Corporation | Image-capturing device and image transmission recording system |
US20230098793A1 (en) * | 2018-04-06 | 2023-03-30 | Nikon Corporation | Image-capturing device and image transmission recording system |
JP7310801B2 (en) | 2018-04-06 | 2023-07-19 | 株式会社ニコン | IMAGING DEVICE, IMAGE TRANSMISSION RECORDING SYSTEM AND PROGRAM |
Also Published As
Publication number | Publication date |
---|---|
JP5836090B2 (en) | 2015-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6238184B2 (en) | Imaging device | |
US10082723B2 (en) | Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics | |
JP5521334B2 (en) | Imaging apparatus and imaging method | |
JP2003244529A (en) | Digital camera | |
US7969467B2 (en) | Printing system, printing device, imaging device, printing method and image-transmitting method | |
US9445085B2 (en) | Imaging apparatus, method for controlling imaging apparatus, and system therefor | |
JP2006339842A (en) | Image processing apparatus | |
JP5938655B2 (en) | Playback device, imaging device, and program | |
JP5836090B2 (en) | Imaging apparatus and control method | |
JP4112259B2 (en) | Image processing system | |
KR101547828B1 (en) | Apparatus and method for image processing | |
KR20100007628A (en) | Image sensor interface apparatus and digital photographing apparatus comprising the same | |
US20150373073A1 (en) | Image pickup apparatus, control method and recording medium | |
CN110800285B (en) | Image processing apparatus, image processing method, and storage medium | |
JP6223295B2 (en) | IMAGING ELEMENT, CONTROL METHOD THEREOF, COMPUTER PROGRAM, AND IMAGING DEVICE | |
JP4133878B2 (en) | Digital camera and image signal generation method | |
WO2022019197A1 (en) | Imaging device, lens tube device, imaging method, transmission method | |
JP5131954B2 (en) | Video recorder and camera system | |
JP2006270346A (en) | Video distribution system and network camera | |
JP2005295478A (en) | External device and electronic device capable of transmission connection | |
JP6739030B2 (en) | Imaging device, electronic device, and imaging system | |
JP6435739B2 (en) | Electronic device, moving image recording apparatus, moving image transmission / reception control method and program | |
JP2007134958A (en) | Imaging device | |
JP2011044818A (en) | Electronic camera | |
JP2012231197A (en) | Imaging apparatus, electronic camera apparatus, and electronic camera system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141128 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151102 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5836090 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |