JP2008289064A - Image processing apparatus, method and program - Google Patents

Image processing apparatus, method and program Download PDF

Info

Publication number
JP2008289064A
JP2008289064A JP2007134265A JP2007134265A JP2008289064A JP 2008289064 A JP2008289064 A JP 2008289064A JP 2007134265 A JP2007134265 A JP 2007134265A JP 2007134265 A JP2007134265 A JP 2007134265A JP 2008289064 A JP2008289064 A JP 2008289064A
Authority
JP
Japan
Prior art keywords
viewpoint
image
information
viewpoints
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007134265A
Other languages
Japanese (ja)
Other versions
JP4787209B2 (en
Inventor
Satoshi Nakamura
敏 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007134265A priority Critical patent/JP4787209B2/en
Publication of JP2008289064A publication Critical patent/JP2008289064A/en
Application granted granted Critical
Publication of JP4787209B2 publication Critical patent/JP4787209B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To easily generate, from original multi-viewpoint image data, and store an image file containing only the image of a required viewpoint according to a desired reproduction scheme. <P>SOLUTION: A viewpoint image extraction method is determined on the basis of desired-viewpoint information. For example, it is determined to extract, from a master file, viewpoint images as many as or more than the minimum number of viewpoints (preferably, the recommended number of viewpoints) in the desired-viewpoint information. On the basis of the determined viewpoint image extraction method, viewpoint images meeting output conditions of a desired output system are then extracted from a selected master file. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は所望の出力系に対応した多視点画像の抽出に関する。   The present invention relates to extraction of a multi-viewpoint image corresponding to a desired output system.

特許文献１によると、複数の入力視点で撮像された被写体の立体画像データをファイルシステム本体で並列に、もしくは、順次に記録媒体に記録し、記録媒体に記録された立体画像データのうち任意の視点の立体画像データを読み取って各入力視点ごとに分けてフレームメモリＦＭ（ＦＭ1 〜ＦＭN ）に書き込み、このフレームメモリＦＭ（ＦＭ1 〜ＦＭN ）より同期して並列出力される各視点の立体画像データに基づいて立体画像を立体画像表示装置に表示する。
特開平６−２７４５７９号公報 According to Patent Document 1, stereoscopic image data of a subject imaged at a plurality of input viewpoints is recorded on a recording medium in parallel or sequentially by a file system main body, and any of the stereoscopic image data recorded on the recording medium is recorded. reads the stereoscopic image data of the viewpoint separately for each input viewpoint written into the frame memory FM (FM 1 ~FM N), for each viewpoint to be output in parallel in synchronization from the frame memory FM (FM 1 ~FM N) A stereoscopic image is displayed on the stereoscopic image display device based on the stereoscopic image data.
JP-A-6-274579

立体視を実現する再生方式には、左右２眼分の視点画像を使用する方式や、２眼分より多くの視点数を必要とするレンチキュラ方式など、多用な再生方式が存在する。個々の再生方式が必要とする視点数は様々であり、汎用的な立体画像データとして、より多視点から画像データを撮像することが望まれる。   There are various reproduction methods for realizing stereoscopic vision, such as a method that uses viewpoint images for two left and right eyes, and a lenticular method that requires a larger number of viewpoints than two eyes. The number of viewpoints required for each reproduction method varies, and it is desired to capture image data from more viewpoints as general-purpose stereoscopic image data.

しかし、視点数が多いままの画像データでは、所望の再生方式が必要とはしない視点画像も含まれることになるので、画像データの流通や記録媒体の効率的利用の観点では好ましくない。   However, image data with a large number of viewpoints includes viewpoint images that do not require a desired reproduction method, which is not preferable from the viewpoint of distribution of image data and efficient use of recording media.

特許文献１では、記録媒体に記録する立体画像データは撮像された全ての入力視点の画像データであり、表示装置の再生方式によっては読み取る必要がない視点画像データも含まれてしまう。このため、記録媒体に記録した視点画像データが、所望の表示装置では不要なデータを含み、立体画像再生時に、読み取り処理に時間がかかるという問題があった。   In Patent Document 1, stereoscopic image data to be recorded on a recording medium is image data of all captured input viewpoints, and includes viewpoint image data that does not need to be read depending on the playback method of the display device. For this reason, there is a problem in that the viewpoint image data recorded on the recording medium includes data unnecessary for a desired display device, and it takes time to read the stereoscopic image during reproduction.

そこで本発明は、元の多視点画像データから、所望の再生方式で必要な視点の画像のみを含んだ画像ファイルを、簡便に生成・保存することを目的とする。   Therefore, an object of the present invention is to easily generate and save an image file including only images of viewpoints necessary for a desired reproduction method from original multi-viewpoint image data.

本発明に係る画像処理装置は、３以上の視点から撮影された多視点画像データであるマスタ画像を取得するマスタ画像取得部と、所望の多視点画像の出力形式で必要な視点を決定する視点決定部と、視点決定部の決定した視点に従い、マスタ画像から必要な視点画像を抽出する抽出部と、抽出部の抽出した視点画像を所望の記録媒体に記録する記録部と、を備える。   An image processing apparatus according to the present invention includes a master image acquisition unit that acquires a master image that is multi-view image data captured from three or more viewpoints, and a viewpoint that determines a required viewpoint in an output format of a desired multi-view image. In accordance with the viewpoint determined by the viewpoint determination unit, the determination unit includes an extraction unit that extracts a required viewpoint image from the master image, and a recording unit that records the viewpoint image extracted by the extraction unit on a desired recording medium.

この発明によると、所望の出力形式で必要とする視点画像のみを含んだ画像データを簡便に生成保存することができる。   According to the present invention, it is possible to easily generate and save image data including only viewpoint images required in a desired output format.

視点決定部は、所望の出力形式において視点画像が充足すべき出力条件を示す所望視点情報を読み取り、所望視点情報に従って所望の出力形式で必要な視点を決定してもよい。   The viewpoint determination unit may read desired viewpoint information indicating an output condition to be satisfied by the viewpoint image in a desired output format, and determine a necessary viewpoint in the desired output format according to the desired viewpoint information.

こうすると、所望視点の決定を容易に行うことができる。   In this way, it is possible to easily determine the desired viewpoint.

所望視点情報は、所望の出力形式の識別情報と、出力形式で必要とされる視点数の情報とを記述する。   The desired viewpoint information describes identification information of a desired output format and information on the number of viewpoints required for the output format.

この所望視点情報を用いることで、所望視点決定がさらに容易になる。   By using this desired viewpoint information, it becomes easier to determine the desired viewpoint.

識別情報は、出力形式の種類を示す情報、想定視認距離、視差情報、表示領域サイズのうち少なくとも１つを含む。   The identification information includes at least one of information indicating the type of output format, assumed viewing distance, parallax information, and display area size.

視点数の情報は、最小必要視点数、推奨視点数、最大使用視点数のうち少なくとも１つを含む。   The information on the number of viewpoints includes at least one of the minimum necessary viewpoint number, the recommended viewpoint number, and the maximum use viewpoint number.

所望視点情報の有無を検知する所望視点情報検知部と、所望視点情報検知部が検知した所望視点情報の数を検知する所望視点情報数検知部と、所望視点情報数検知部が２以上の所望視点情報を検知したことに応じ、２以上の所望視点情報の中から任意の所望視点情報の選択を受け付ける所望視点情報選択部と、を備え、視点決定部は、所望視点情報選択部が選択を受け付けた所望視点情報を読み取り、所望視点情報に従って所望の出力形式で必要な視点を決定してもよい。   Desired viewpoint information detection unit for detecting presence / absence of desired viewpoint information, desired viewpoint information number detection unit for detecting the number of desired viewpoint information detected by the desired viewpoint information detection unit, and desired viewpoint information number detection unit having two or more desired viewpoint information A desired viewpoint information selection unit that accepts selection of arbitrary desired viewpoint information from two or more desired viewpoint information in response to detection of the viewpoint information, and the viewpoint determination unit selects the desired viewpoint information selection unit. The received desired viewpoint information may be read, and a required viewpoint may be determined in a desired output format according to the desired viewpoint information.

抽出部は、マスタ画像取得部が取得したマスタ画像に含まれる視点数が、所望の出力系が必要とする視点数を満足しているか否かを判断し、マスタ画像に含まれる視点数が、所望の出力系が必要とする視点数を満足していると判断した場合、視点決定部の決定した視点に従い、マスタ画像から必要な視点画像を抽出してもよい。   The extraction unit determines whether the number of viewpoints included in the master image acquired by the master image acquisition unit satisfies the number of viewpoints required by a desired output system, and the number of viewpoints included in the master image is When it is determined that the desired output system satisfies the required number of viewpoints, a necessary viewpoint image may be extracted from the master image according to the viewpoint determined by the viewpoint determination unit.

こうすると、必要な視点数のみを含む画像ファイルを生成できる。   In this way, an image file including only the necessary number of viewpoints can be generated.

抽出部は、マスタ画像に含まれる視点数が、所望の出力系が必要とする視点数を満足していないと判断した場合、マスタ画像から視点画像を抽出しない旨の通知を行ってもよい。   If the extraction unit determines that the number of viewpoints included in the master image does not satisfy the number of viewpoints required by the desired output system, the extraction unit may notify that the viewpoint image is not extracted from the master image.

こうすると、必要な視点数を含まない画像ファイルの生成を防ぐことができる。   This can prevent generation of an image file that does not include the required number of viewpoints.

記録部は、抽出部の抽出した視点画像を、マスタ画像と区別可能に配置して記録媒体に記録してもよい。   The recording unit may record the viewpoint image extracted by the extraction unit on a recording medium in a manner that can be distinguished from the master image.

所望視点情報は可搬性記録媒体に記録されていてもよい。   Desired viewpoint information may be recorded on a portable recording medium.

本発明に係る画像処理方法は、３以上の視点から撮影された多視点画像データであるマスタ画像を取得するステップと、所望の多視点画像の出力形式で必要な視点を決定するステップと、決定した視点に従い、マスタ画像から必要な視点画像を抽出するステップと、抽出した視点画像を記録媒体に記録するステップと、を含む。   The image processing method according to the present invention includes a step of acquiring a master image that is multi-view image data captured from three or more viewpoints, a step of determining a required viewpoint in an output format of a desired multi-view image, The method includes a step of extracting a necessary viewpoint image from the master image according to the determined viewpoint, and a step of recording the extracted viewpoint image on a recording medium.

所望の出力形式において視点画像が充足すべき出力条件を示す所望視点情報を読み取り、所望視点情報に従って所望の出力形式で必要な視点を決定するステップをさらに含んでもよい。   The method may further include a step of reading desired viewpoint information indicating an output condition to be satisfied by the viewpoint image in a desired output format, and determining a necessary viewpoint in the desired output format according to the desired viewpoint information.

所望視点情報は、所望の出力形式の識別情報と、出力形式で必要とされる視点数の情報とを記述する。   The desired viewpoint information describes identification information of a desired output format and information on the number of viewpoints required for the output format.

識別情報は、出力形式の種類を示す情報、想定視認距離、視差情報、表示領域サイズのうち少なくとも１つを含む。   The identification information includes at least one of information indicating the type of output format, assumed viewing distance, parallax information, and display area size.

視点数の情報は、最小必要視点数、推奨視点数、最大使用視点数のうち少なくとも１つを含む。   The information on the number of viewpoints includes at least one of the minimum necessary viewpoint number, the recommended viewpoint number, and the maximum use viewpoint number.

所望視点情報の有無を検知するステップと、検知した所望視点情報の数を検知するステップと、２以上の所望視点情報を検知したことに応じ、２以上の所望視点情報の中から任意の所望視点情報の選択を受け付けるステップと、選択を受け付けた所望視点情報を読み取り、所望視点情報に従って所望の出力形式で必要な視点を決定するステップと、をさらに含んでもよい。   A step of detecting presence / absence of desired viewpoint information, a step of detecting the number of detected desired viewpoint information, and an arbitrary desired viewpoint from two or more desired viewpoint information in response to detecting two or more desired viewpoint information The method may further include a step of accepting selection of information and a step of reading desired viewpoint information that has accepted the selection and determining a required viewpoint in a desired output format according to the desired viewpoint information.

取得したマスタ画像に含まれる視点数が、所望の出力系が必要とする視点数を満足しているか否かを判断し、マスタ画像に含まれる視点数が、所望の出力系が必要とする視点数を満足していると判断した場合、決定した視点に従い、マスタ画像から必要な視点画像を抽出するステップをさらに含んでもよい。   It is determined whether the number of viewpoints included in the acquired master image satisfies the number of viewpoints required by the desired output system, and the number of viewpoints included in the master image is determined by the view required by the desired output system. When it is determined that the score is satisfied, the method may further include a step of extracting a necessary viewpoint image from the master image according to the determined viewpoint.

マスタ画像に含まれる視点数が、所望の出力系が必要とする視点数を満足していないと判断した場合、マスタ画像から視点画像を抽出しない旨の通知を行うステップをさらに含んでもよい。   When it is determined that the number of viewpoints included in the master image does not satisfy the number of viewpoints required by the desired output system, a step of notifying that a viewpoint image is not extracted from the master image may be further included.

抽出した視点画像を、マスタ画像と区別可能に配置して記録媒体に記録するステップをさらに含んでもよい。   A step of arranging the extracted viewpoint image so as to be distinguishable from the master image and recording it on a recording medium may be further included.

所望視点情報は可搬性記録媒体に記録されていてもよい。   Desired viewpoint information may be recorded on a portable recording medium.

上記の画像処理方法をコンピュータに実行させるプログラムも本発明に含まれる。   A program for causing a computer to execute the above image processing method is also included in the present invention.

この発明によると、所望の出力形式で必要とする視点画像のみを含んだ画像データを簡便に生成保存することができる。   According to the present invention, it is possible to easily generate and save image data including only viewpoint images required in a desired output format.

図１は、カメラ１の電気的構成を示す。カメラ１にはユーザがこのカメラ１を使用するときに種々の操作を行うための操作部７０が設けられている。この操作部７０には、カメラ１を作動させるための電源投入用の電源スイッチ、オート撮影やマニュアル撮影等を選択するためのモードダイヤル、各種のメニューの設定や選択あるいはズームを行うための十字キー、閃光発光用スイッチ、および十字キーで選択されたメニューの実行やキャンセル等を行うための情報位置指定キーが備えられている。操作部７０への適宜操作により、電源のオン／オフ、各種モード（撮影モード、再生モード等）の切り替え、ズーミングなどが行われる。   FIG. 1 shows the electrical configuration of the camera 1. The camera 1 is provided with an operation unit 70 for performing various operations when the user uses the camera 1. The operation unit 70 includes a power switch for turning on the power for operating the camera 1, a mode dial for selecting auto shooting and manual shooting, and a cross key for setting and selecting various menus or zooming. , A flash emission switch, and an information position designation key for executing or canceling the menu selected by the cross key. By appropriately operating the operation unit 70, turning on / off the power, switching between various modes (shooting mode, reproduction mode, etc.), zooming, and the like are performed.

また、カメラ１には、本体ＣＰＵ６２と、システムメモリ１２８と、表示用のＬＣＤ制御部１４８とが備えられている。本体ＣＰＵ６２は、このカメラ１全体の制御を行う。システムメモリ１２８には、このカメラ１固有の固体データやプログラム等が格納されている。   In addition, the camera 1 includes a main body CPU 62, a system memory 128, and a display LCD control unit 148. The main body CPU 62 controls the entire camera 1. The system memory 128 stores solid data, programs and the like unique to the camera 1.

表示用のＬＣＤ制御部１４８は、デジタル信号処理回路３１から得られたカラー映像信号ＹＣを３色のＲＧＢ信号に変換して画像表示ＬＣＤ１０に出力する。   The display LCD control unit 148 converts the color video signal YC obtained from the digital signal processing circuit 31 into RGB signals of three colors and outputs them to the image display LCD 10.

操作部７０からのズーム操作に応じて、第１〜第４光学系１１ａ〜１１ｄ（以下単に第１〜第４光学系１１で表すこともある）は、ＮＥＡＲ側（繰り出し側）、あるいはＩＮＦ側（繰り込み側）に移動し、ズーム倍率を変化させる。この移動は内蔵のモータで駆動される。第１〜第４光学系１１にそれぞれ内蔵された絞りは、ＡＥ（Auto Exposure）動作時に開口値（絞り値）を変化させて光束を制限し、露出調整を行う。第１〜第４光学系１１にそれぞれ内蔵されたフォーカスレンズは、ＡＦ（Auto Focus）動作時にＮＥＡＲ側、あるいはＩＮＦ側に移動されて合焦位置を変え、ピント調整を行う。この移動は操作部７０のレリーズボタンの半押し状態が検出されたときに開始され、第１〜第４光学系１１にそれぞれ対応する絞り／フォーカス／ズーム制御部１６ａ〜１６ｄで制御される。   Depending on the zoom operation from the operation unit 70, the first to fourth optical systems 11a to 11d (hereinafter sometimes simply referred to as the first to fourth optical systems 11) are on the NEAR side (feeding side) or on the INF side. Move to (retraction side) and change the zoom magnification. This movement is driven by a built-in motor. The apertures incorporated in the first to fourth optical systems 11 perform exposure adjustment by changing the aperture value (aperture value) during AE (Auto Exposure) operation to limit the light flux. The focus lenses incorporated in the first to fourth optical systems 11 are moved to the NEAR side or the INF side during AF (Auto Focus) operation to change the focus position and perform focus adjustment. This movement is started when the half-pressed state of the release button of the operation unit 70 is detected, and is controlled by the diaphragm / focus / zoom control units 16a to 16d corresponding to the first to fourth optical systems 11, respectively.

第１〜第４イメージセンサ（ＣＣＤ）１４ａ〜１４ｄは、それぞれ第１〜第４光学系１１のレンズによって結像された被写体光を受光し、受光量に応じた光電荷を蓄積する。第１〜第４イメージセンサ１４ａ〜１４ｄの光電荷蓄積・転送動作は、それぞれＴＧ１８ａ〜１８ｄによって制御され、ＴＧ１８ａ〜１８ｄから入力されるタイミング信号（クロックパルス）により、電子シャッタ速度（光電荷蓄積時間）が決定される。第１〜第４イメージセンサ１４ａ〜１４ｄは、撮影モード時には、１画面分の画像信号を所定周期ごとに取得する。   The first to fourth image sensors (CCD) 14a to 14d receive subject light imaged by the lenses of the first to fourth optical systems 11, respectively, and accumulate photocharges corresponding to the received light amount. The photocharge storage / transfer operations of the first to fourth image sensors 14a to 14d are controlled by TGs 18a to 18d, respectively, and the electronic shutter speed (photocharge storage time) is determined by timing signals (clock pulses) input from the TGs 18a to 18d. ) Is determined. The first to fourth image sensors 14a to 14d acquire an image signal for one screen every predetermined period in the photographing mode.

第１〜第４光学系１１ａ〜１１ｄは、基本的に連動して動作を行うが、各々個別に動作させることも可能である。なお、イメージセンサとして、ＣＣＤの他、ＣＭＯＳが用いられる。   The first to fourth optical systems 11a to 11d basically operate in conjunction with each other, but can be operated individually. In addition to the CCD, a CMOS is used as the image sensor.

第１〜第４イメージセンサ（ＣＣＤ）１４ａ〜１４ｄから出力された撮像信号は、それぞれアナログ信号処理回路２０ａ〜２０ｄにて相関二重サンプリングおよびクランプされ、Ａ／Ｄ変換器３０ａ〜３０ｄに入力される。Ａ／Ｄ変換器３０ａ〜３０ｄは、入力された画像データをアナログ信号からデジタル信号に変換する。Ａ／Ｄ変換器３０ａ〜３０ｄを通して、第１イメージセンサ１４ａ〜１４ｄの撮像信号は、それぞれ第１〜第４画像データとして出力される。   The imaging signals output from the first to fourth image sensors (CCD) 14a to 14d are correlated double sampled and clamped by the analog signal processing circuits 20a to 20d, respectively, and input to the A / D converters 30a to 30d. The The A / D converters 30a to 30d convert input image data from analog signals to digital signals. The imaging signals of the first image sensors 14a to 14d are output as first to fourth image data through the A / D converters 30a to 30d, respectively.

デジタル信号処理回路３１は、Ａ／Ｄ変換器３０ａ〜ｄから入力された第１〜第４画像データのそれぞれに対し、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施す。システムメモリ１２８は、ＲＡＭを備えており、デジタル信号処理回路３１で各種画像処理が施された第１〜４画像データを一時的に格納する。   The digital signal processing circuit 31 performs various image processing such as gradation conversion, white balance correction, and γ correction processing on each of the first to fourth image data input from the A / D converters 30a to 30d. The system memory 128 includes a RAM, and temporarily stores the first to fourth image data subjected to various image processing by the digital signal processing circuit 31.

積算回路１９ａ〜１９ｄは、Ａ／Ｄ変換器３０ａ〜ｄから入力された第１〜第４画像データの各々からＡＦ評価値およびＡＥ評価値を算出する。ＡＦ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。輝度値の高周波成分とは、隣接する画素間の輝度差（コントラスト）を所定領域内について足し合わせたものである。また、ＡＥ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値を積算することにより算出され、画像の明るさを表す。ＡＦ評価値およびＡＥ評価値は、周知のＡＦ動作およびＡＥ動作においてそれぞれ使用される。   The integrating circuits 19a to 19d calculate an AF evaluation value and an AE evaluation value from each of the first to fourth image data input from the A / D converters 30a to 30d. The AF evaluation value is calculated by integrating high-frequency components of the luminance value for the entire area or predetermined area (for example, the central portion) of each image data, and represents the sharpness of the image. The high-frequency component of the luminance value is a sum of luminance differences (contrast) between adjacent pixels in a predetermined area. In addition, the AE evaluation value is calculated by integrating the luminance values over the entire area or a predetermined area (for example, the central portion) of each image data, and represents the brightness of the image. The AF evaluation value and the AE evaluation value are used in the well-known AF operation and AE operation, respectively.

システムメモリ１２８に記憶された画像データは、デジタル信号処理回路３１により輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。処理されたＹＣ信号はフレームメモリ３２に格納される。   The image data stored in the system memory 128 is converted into a luminance signal (Y signal) and a color difference signal (Cr, Cb signal) by the digital signal processing circuit 31, and is subjected to predetermined processing such as gamma correction. The processed YC signal is stored in the frame memory 32.

フレームメモリ３２に記憶された第１〜第４画像データのＹＣ信号は、ＬＣＤ制御部１４８によって読み出される。ＬＣＤ制御部１４８は、第１〜第４画像データのＹＣ信号を所定方式の映像信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換した上で、画像表示ＬＣＤ１０での立体表示を行うための立体画像データに合成する。あるいは、ＬＣＤ制御部１４８は、第１〜第４画像データを、単なる平面映像信号に変換してもよい。撮影モード時にＬＣＤ１０が電子ビューファインダとして使用される際には、合成された立体画像データが、ＬＣＤ制御部１４８を介してＬＣＤ１０にスルー画として表示される。   The YC signals of the first to fourth image data stored in the frame memory 32 are read by the LCD control unit 148. The LCD control unit 148 converts the YC signal of the first to fourth image data into a predetermined video signal (for example, an NTSC color composite video signal), and then performs stereoscopic display on the image display LCD 10. Composite to stereoscopic image data. Alternatively, the LCD control unit 148 may convert the first to fourth image data into a simple planar video signal. When the LCD 10 is used as an electronic viewfinder in the shooting mode, the combined stereoscopic image data is displayed as a through image on the LCD 10 via the LCD control unit 148.

デジタル信号処理回路３１は、システムメモリ１２８に記憶された第１〜第４画像データに対して、静止画ではＪＰＥＧ、動画ではＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従って圧縮処理を施す。圧縮処理された各画像データは、カードスロット４０に挿入されてカードＩ／Ｆ３９経由で接続されたメモリカード３８その他の記録メディアに記録される。   The digital signal processing circuit 31 applies JPEG for still images, MPEG2, MPEG4, H.264 for moving images to the first to fourth image data stored in the system memory 128. Compression processing is performed according to a predetermined compression format such as H.264. Each compressed image data is recorded in a memory card 38 or other recording media inserted into the card slot 40 and connected via the card I / F 39.

画像差分演算回路６３は、各イメージセンサ（ＣＣＤ）１４ａ〜１４ｄにより取得した複数の多視点画像のうち、所望の１つの基準画像と、それ以外の視点画像との差分情報を求める。その基準画像と各視点画像ごとの差分情報とを対応づけて記録しておけば、複数の視点画像をそのまま記録しなくても、基準画像と各差分情報とをそれぞれ加算することで、基準画像以外の各視点画像を再現できる。   The image difference calculation circuit 63 obtains difference information between a desired reference image and other viewpoint images among a plurality of multi-view images acquired by the image sensors (CCD) 14a to 14d. If the reference image and the difference information for each viewpoint image are recorded in association with each other, it is possible to add the reference image and each difference information without adding a plurality of viewpoint images as they are. Each viewpoint image other than can be reproduced.

このようにしてメモリカード３８に記録された第１〜第４画像データをＬＣＤ１０に再生表示する場合、メモリカード３８の各画像データは、デジタル信号処理回路３１に読み出され、伸張処理が行われ、平面画像データあるいは立体画像データに変換された後、ＬＣＤ制御部１４８を介してＬＣＤ１０に再生画像として表示される。   When the first to fourth image data recorded in the memory card 38 are reproduced and displayed on the LCD 10 in this way, each image data in the memory card 38 is read to the digital signal processing circuit 31 and subjected to expansion processing. After being converted into planar image data or stereoscopic image data, it is displayed as a reproduced image on the LCD 10 via the LCD control unit 148.

ＬＣＤ１０は、画像撮影時には電子ビューファインダとして使用される。ＬＣＤ１０は、パララックスバリア式、あるいはレンチキュラーレンズ式の３Ｄモニタを採用してもよく、画像再生時には撮影によって得られた画像データの立体表示を行う。   The LCD 10 is used as an electronic viewfinder during image shooting. The LCD 10 may adopt a parallax barrier type or lenticular lens type 3D monitor, and performs stereoscopic display of image data obtained by photographing during image reproduction.

ＬＣＤ１０の詳細な構造は図示しないが、好適には、ＬＣＤ１０は、その表面にパララックスバリア表示層を備えている。ＬＣＤ１０は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで立体視を可能にする。   Although the detailed structure of the LCD 10 is not shown, the LCD 10 preferably includes a parallax barrier display layer on the surface thereof. The LCD 10 generates a parallax barrier having a pattern in which light transmitting portions and light shielding portions are alternately arranged at a predetermined pitch on the parallax barrier display layer when performing stereoscopic display, and an image display surface below the parallax barrier. The strip-shaped image fragments showing the left and right images are alternately arranged and displayed to enable stereoscopic viewing.

なお、立体視を可能にする表示装置の構成は、スリットアレイシートを用いるパララックス方式に限られる必然性はなく、レンチキュラーレンズシートを用いるレンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などが採用されてもよい。   The configuration of the display device that enables stereoscopic viewing is not necessarily limited to the parallax method using the slit array sheet, the lenticular method using the lenticular lens sheet, the integral photography method using the micro lens array sheet, and the interference. A holography method using a phenomenon may be employed.

本体ＣＰＵ６２は、複眼カメラ１の全体の動作を統括的に制御する。本体ＣＰＵ６２には、レリーズボタン５、操作部７０、システムメモリ１２８、不揮発性メモリ１４６が接続されている。不揮発性メモリ１４６は、各種制御用のプログラムや設定情報などを格納している。本体ＣＰＵ６２は、このプログラムや設定情報に基づいて各種処理を実行する。   The main body CPU 62 comprehensively controls the overall operation of the compound eye camera 1. The main body CPU 62 is connected to the release button 5, the operation unit 70, the system memory 128, and the nonvolatile memory 146. The nonvolatile memory 146 stores various control programs and setting information. The main body CPU 62 executes various processes based on this program and setting information.

操作部７０に含まれる不図示のレリーズボタンは２段押しのスイッチ構造となっている。撮影モード中に、レリーズボタンが軽く押圧（半押し）されると、ＡＦ動作およびＡＥ動作が行われ撮影準備処理がなされる。この状態でさらにレリーズボタンが強く押圧（全押し）されると、撮影処理が行われ、画像記録指示の入力に応じ、１画面分の画像データがシステムメモリ１２８からメモリカード３８に転送されて記録される。   A release button (not shown) included in the operation unit 70 has a two-push switch structure. When the release button is lightly pressed (half-pressed) during the shooting mode, AF operation and AE operation are performed, and shooting preparation processing is performed. When the release button is further pressed (fully pressed) in this state, shooting processing is performed, and image data for one screen is transferred from the system memory 128 to the memory card 38 and recorded in response to an input of an image recording instruction. Is done.

また、カメラ１は、バッテリ６８が着脱可能な構成となっている。バッテリ６８は充電可能な二次電池、例えばニカド電池、ニッケル水素電池、リチウムイオン電池で構成される。バッテリ６８は使い切り型の一次電池、例えばリチウム電池、アルカリ電池で構成してもよい。バッテリ６８は図示しない電池収納室に装填することにより、カメラ１の各回路と電気的に接続される。   The camera 1 has a configuration in which a battery 68 is detachable. The battery 68 is composed of a rechargeable secondary battery, such as a nickel-cadmium battery, a nickel metal hydride battery, or a lithium ion battery. The battery 68 may be a single-use primary battery such as a lithium battery or an alkaline battery. The battery 68 is electrically connected to each circuit of the camera 1 by being loaded into a battery storage chamber (not shown).

ＤＣ−ＤＣコンバータ７１は、カメラ１の各回路と電気的に接続されており、バッテリ６８を供給元として、カメラ１の各回路に電源を供給する。この電源供給のオンオフは、電源スイッチ６９による押圧操作に応じ、電源制御部６７が制御する。   The DC-DC converter 71 is electrically connected to each circuit of the camera 1, and supplies power to each circuit of the camera 1 using the battery 68 as a supply source. This power supply on / off is controlled by the power control unit 67 in accordance with a pressing operation by the power switch 69.

タイマ１５・カレンダ時計１７は計時専用のチップであり、バッテリ６８からの給電がオフされていてもバックアップ電池から電源供給を受けて継続的に動作する。   The timer 15 and the calendar clock 17 are dedicated clocks, and operate continuously by receiving power from the backup battery even when the power supply from the battery 68 is turned off.

ストロボ制御部１３８は、ストロボ４４を発光させるためにバッテリ６８からの電力の供給を受けて図示しない閃光発光用のコンデンサを充電したり、ストロボ４４の発光を制御する。   The strobe control unit 138 is supplied with electric power from the battery 68 in order to cause the strobe 44 to emit light, and charges a flash-emitting capacitor (not shown) or controls light emission of the strobe 44.

カメラ１は、コネクタ５１およびＵＳＢケーブル（図示せず）を介し、後述するパソコン１００などの他の電子機器と接続される。ＵＳＢドライバ５０は、ＵＳＢデータ通信を制御する。   The camera 1 is connected to other electronic devices such as a personal computer 100 described later via a connector 51 and a USB cable (not shown). The USB driver 50 controls USB data communication.

ＯＳＤ信号発生回路１４８ａは、各種のメッセージやアイコンの映像信号を生成し、ＬＣＤ１０に供給する。ＯＳＤ信号発生回路１４８ａから供給された映像信号は、デジタル信号処理回路からの撮像データと混合され、ＬＣＤ１０に出力される。   The OSD signal generation circuit 148 a generates video signals of various messages and icons and supplies them to the LCD 10. The video signal supplied from the OSD signal generation circuit 148a is mixed with the image data from the digital signal processing circuit and output to the LCD 10.

上記各ブロックは、バス１０４によって互いに接続されている。   The above blocks are connected to each other by a bus 104.

なお、多視点画像は、上述のような複眼カメラ１で取得する必然性はなく、単眼カメラを用いたモーションステレオ法による連続撮影で取得してもよい。   The multi-viewpoint image is not necessarily acquired by the compound eye camera 1 as described above, and may be acquired by continuous shooting using a motion stereo method using a monocular camera.

図２はパソコン１００のブロック図である。   FIG. 2 is a block diagram of the personal computer 100.

パソコン１００は、主として各構成要素の動作を制御する中央処理装置（ＣＰＵ）１０２と、装置の制御プログラムが格納されたり、プログラム実行時の作業領域となる主メモリ１０６と、パソコン１００のオペレーティングシステム（ＯＳ）、パソコン１００に接続された周辺機器のデバイスドライバ、各種のコンテンツ（映像コンテンツやプリント物）に適合するよう多視点画像の中から所望の視点画像を抽出したり、あるいは視点画像の内容を編集する処理のプログラムを含む各種のアプリケーションソフト、ユーザの画像等が格納されるハードディスク装置１０８と、ＣＤ−ＲＯＭ装置１１０と、表示用データを一時記憶する表示メモリ１１６と、この表示メモリ１１６からの画像データ、文字データ等により画像や文字等を表示するＣＲＴモニタや液晶モニタ等のモニタ装置１１８と、キーボード１２０と、位置入力装置としてのマウス１２２と、マウス１２２の状態を検出してモニタ装置１１８上のマウスポインタの位置やマウス１２２の状態等の信号をＣＰＵ１０２に出力するマウスコントローラ１２４と、インターネット等のネットワーク３０と接続される通信インターフェース１３２と、メモリカード３８が着脱されるカード挿入口を有するカードインターフェース１１２と、上記各構成要素を接続するバス１０４と、カメラ１とＵＳＢ接続するカメラ接続Ｉ／Ｆ１３４から構成されている。   The personal computer 100 mainly includes a central processing unit (CPU) 102 that controls the operation of each component, a main memory 106 that stores a control program for the device and a work area when the program is executed, and an operating system ( OS), a device driver of a peripheral device connected to the personal computer 100, a desired viewpoint image is extracted from a multi-viewpoint image so as to be compatible with various contents (video contents and printed matter), or the contents of the viewpoint image are Various application software including a processing program to be edited, a hard disk device 108 storing user images, a CD-ROM device 110, a display memory 116 for temporarily storing display data, and a display memory 116 Display images and characters by image data, character data, etc. A monitor device 118 such as a CRT monitor or a liquid crystal monitor, a keyboard 120, a mouse 122 as a position input device, and signals such as the position of the mouse pointer on the monitor device 118 and the state of the mouse 122 are detected. The CPU 102, the communication interface 132 connected to the network 30 such as the Internet, the card interface 112 having a card insertion slot to which the memory card 38 is attached and detached, and the bus 104 connecting the above components. And a camera connection I / F 134 for USB connection with the camera 1.

ハードディスク装置１０８に格納されている、画像抽出・編集処理のアプリケーションソフトは、該アプリケーションソフトが記録されたＣＤ−ＲＯＭをパソコン１００のＣＤ−ＲＯＭ装置１１０にセットすることにより、パソコン１００にインストールすることができる。   Application software for image extraction / editing processing stored in the hard disk device 108 is installed in the personal computer 100 by setting a CD-ROM on which the application software is recorded in the CD-ROM device 110 of the personal computer 100. Can do.

モニタ装置１１８は、多視点画像を立体視可能にする構成が採用されていてもよい。   The monitor device 118 may employ a configuration that allows a multi-viewpoint image to be stereoscopically viewed.

図３はハードディスク装置１０８に記憶されている多視点画像データを格納した画像ファイルのディレクトリ構造を示す。例えば図３（ａ）のように、カメラ１から取得した未編集の多視点画像データを格納したファイル（マスタファイル）と、ＣＰＵ１０２でマスタファイル中の多視点画像データに各種編集処理が施されて得られた編集済みの多視点画像データを格納したファイル（編集済みファイル）に、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「ＡＢＣＤ０００１．Ｆ３Ｄ」という異なるファイル名を付与する。編集済みファイルのファイル名中の識別情報「ＡＢＣＤ０００１」は、マスタファイルにも同じ識別情報が付与されており両者に関連性があることを示す。拡張子「ＪＰＧ」あるいは「Ｆ３Ｄ」は、マスタファイルと編集済みファイルとを区別する情報である。   FIG. 3 shows a directory structure of an image file storing multi-viewpoint image data stored in the hard disk device 108. For example, as shown in FIG. 3A, various editing processes are performed on a file (master file) storing unedited multi-view image data acquired from the camera 1 and multi-view image data in the master file by the CPU 102. Different file names “ABCD0001.JPG” and “ABCD0001.F3D” are assigned to the files (edited files) storing the obtained edited multi-viewpoint image data, respectively. The identification information “ABCD0001” in the file name of the edited file indicates that the same identification information is also given to the master file and that both are related. The extension “JPG” or “F3D” is information for distinguishing a master file from an edited file.

あるいは、図３（ｂ）のように、マスタファイルと、編集済みファイルに、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「ＡＢＣＤ０００３．ＪＰＧ」という、異なるファイル名を付与する。なお、既存の任意画像ファイルの名称が「ＡＢＣＤ０００２．ＪＰＧ」だと、これと重複しないよう「ＡＢＣＤ０００３．ＪＰＧ」が編集済みファイルに付与されている。両ファイルの名称中には、両ファイルを関連付ける情報は入っていない。   Alternatively, as shown in FIG. 3B, different file names “ABCD0001.JPG” and “ABCD0003.JPG” are assigned to the master file and the edited file, respectively. If the name of the existing arbitrary image file is “ABCD0002.JPG”, “ABCD0003.JPG” is assigned to the edited file so as not to overlap. The names of both files do not contain information relating the two files.

あるいは、図３（ｃ）のように、マスタファイルと、編集済みファイルに、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「Ｆ３Ｄ＿０００１．ＪＰＧ」という、異なるファイル名を付与する。両ファイルの名称中には、両ファイルを関連付ける識別情報「０００１」が含まれている。   Alternatively, as shown in FIG. 3C, different file names “ABCD0001.JPG” and “F3D — 0001.JPG” are assigned to the master file and the edited file, respectively. The names of both files include identification information “0001” for associating both files.

あるいは、図３（ｄ）のように、マスタファイルと、編集済みファイルに、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「ＡＢＣＤ０００１＿Ｆ３Ｄ．ＪＰＧ」という、異なるファイル名を付与する。編集済みデータのファイル名は、マスタファイル「ＡＢＣＤ０００１．ＪＰＧ」との関連性を示す識別情報「ＡＢＣＤ０００１」と、編集済みファイルであることを示す識別情報「＿Ｆ３Ｄ」が組み合わされている。   Alternatively, as shown in FIG. 3D, different file names “ABCD0001.JPG” and “ABCD0001_F3D.JPG” are assigned to the master file and the edited file, respectively. The file name of the edited data is a combination of identification information “ABCD0001” indicating the relationship with the master file “ABCD0001.JPG” and identification information “_F3D” indicating the edited file.

あるいは、図３（ｅ）のように、３Ｄ表示用に編集されたデータを格納した編集済みファイルには「ＡＢＣＤ０００１．Ｆ３Ｄ」、３Ｄプリント用に編集されたデータを格納した編集済みファイルには「Ｐ３Ｄ＿０００２．ＪＰＧ」のように、コンテンツの出力系統（例えば、レンチキュラプリント、３Ｄ−ＬＣＤ ディスプレイ、２眼プロジェクタ）に応じた、マスタファイルと異なる名称を付与する。   Alternatively, as shown in FIG. 3E, “ABCD0001.F3D” is stored in the edited file storing the data edited for 3D display, and “edited” is stored in the edited file storing the data edited for 3D printing. Like P3D — 0002.JPG, a name different from the master file is assigned according to the content output system (eg, lenticular print, 3D-LCD display, two-lens projector).

このような編集済みファイルへのファイル名付与は、ＣＰＵ１０２が、マスタファイルのファイル名に基づき、かつ、図３（ａ）〜（ｅ）のうちいずれか１つの命名規則に基づいて行う。   The file name assignment to the edited file is performed by the CPU 102 based on the file name of the master file and any one of the naming rules shown in FIGS.

図４は、ハードディスク装置１０８に記憶されている多視点画像データを格納した所望視点画像ファイルのディレクトリ構造を示す。   FIG. 4 shows a directory structure of a desired viewpoint image file storing multi-viewpoint image data stored in the hard disk device 108.

例えば図４（ａ）のように、カメラ１から取得した未編集の多視点画像データを格納したファイル（マスタファイル）と、ＣＰＵ１０２でマスタファイル中の多視点画像から抽出した、所望の出力系に対応した視点を示す情報を格納したファイル（所望視点情報ファイル）に、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「ＡＢＣＤＥＯＵＴ．ＩＮＩ」という異なるファイル名を付与する。所望視点情報ファイルのファイル名中の識別情報「ＡＢＣＤＥ」は、所望の出力系を示す。拡張子「ＪＰＧ」あるいは「ＩＮＩ」は、マスタファイルと所望視点情報ファイルとを区別する情報である。   For example, as shown in FIG. 4A, a file (master file) storing unedited multi-viewpoint image data acquired from the camera 1 and a desired output system extracted by the CPU 102 from the multi-viewpoint image in the master file. Different file names “ABCD0001.JPG” and “ABCDEOUT.INI” are assigned to files (desired viewpoint information files) storing information indicating the corresponding viewpoints, respectively. Identification information “ABCDE” in the file name of the desired viewpoint information file indicates a desired output system. The extension “JPG” or “INI” is information for distinguishing the master file from the desired viewpoint information file.

あるいは、図４（ｂ）のように、「１００ＡＢＣＤＥ」、「１０１＿Ｆ３ＤＦ」、「１０２＿Ｐ−３Ｄ」といった出力系ごとのサブディレクトリを設け、そのサブディレクトリの下に、それぞれ、各出力系の所望視点情報ファイル「ＡＢＣＤＯＵＴ．ＤＥＦ」、「Ｆ３ＤＦ＿ＯＵＴ．ＤＥＦ」、「Ｐ−３Ｄ＿ＯＵＴ．ＤＥＦ」を配置する。なお、出力系ごとのサブディレクトリの下に、出力系ごとのマスタファイル「ＡＢＣＤ０００１．ＪＰＧ」、「ＡＢＣＤ０００１．Ｆ３Ｄ」などを格納してもよい。   Alternatively, as shown in FIG. 4B, subdirectories for each output system such as “100ABCDE”, “101_F3DF”, and “102_P-3D” are provided, and desired viewpoint information for each output system is provided under the subdirectory. The files “ABCDOUT.DEF”, “F3DF_OUT.DEF”, and “P-3D_OUT.DEF” are arranged. Note that master files “ABCD0001.JPG”, “ABCD0001.F3D”, and the like for each output system may be stored under the subdirectory for each output system.

図５は所望視点情報ファイルに格納される所望視点情報の詳細を例示する。このファイルには、出力系統の種類（例えば、レンチキュラプリント、３Ｄ−ＬＣＤ ディスプレイ、２眼プロジェクタ）、当該出力系統における画像の想定表示幅、画像の想定表示高さ、画像の想定視認距離、想定視差、最小視点数、推奨視点数、最大使用視点数、画像データ拡張子、出力ファイル形式が格納される。これらの情報は、特定の種類の出力系統で、効果的な立体視を可能とするための視点画像の出力条件を示す。なお、所望視点情報は、テキストでそのまま記述しなくてもよく、それらの識別情報で代替してもよい。   FIG. 5 illustrates details of desired viewpoint information stored in the desired viewpoint information file. This file includes the type of output system (for example, lenticular print, 3D-LCD display, two-lens projector), the assumed display width of the image in the output system, the assumed display height of the image, the assumed viewing distance of the image, and the assumed parallax. The minimum number of viewpoints, the recommended number of viewpoints, the maximum number of viewpoints used, the image data extension, and the output file format are stored. These pieces of information indicate viewpoint image output conditions for enabling effective stereoscopic viewing with a specific type of output system. The desired viewpoint information may not be described as it is in text, but may be replaced with identification information thereof.

所望視点情報ファイルは、出力系統がディスプレイであればディスプレイのメーカ、出力系統がレンチキュラプリントであればプリントサービスの提供者など、出力系統の種類に応じて然るべき者が予め統一規格化したファイルであるものとする。   The desired viewpoint information file is a file standardized in advance by the appropriate person according to the type of output system, such as the display manufacturer if the output system is a display, or the print service provider if the output system is lenticular print. Shall.

図６は、所望視点情報に従ってマスタファイルから抽出された視点画像を格納した抽出後画像データファイルの概念説明図である。   FIG. 6 is a conceptual explanatory diagram of an extracted image data file that stores viewpoint images extracted from a master file according to desired viewpoint information.

この図では、ｎ個（カメラ１ではｎ＝４）の視点画像を含むマスタファイルから、「視点２」および「視点４」という２つの視点画像が選択・抽出されている。ｎ個の視点画像から所望の視点画像を選択する基準は、所望視点情報ファイルに示されており、以下具体的に説明する。   In this figure, two viewpoint images “viewpoint 2” and “viewpoint 4” are selected and extracted from a master file including n (n = 4 for camera 1) viewpoint images. The reference for selecting a desired viewpoint image from the n viewpoint images is shown in the desired viewpoint information file, and will be specifically described below.

図７はパソコン１００による視点画像抽出処理の流れを示す。この処理の各段階は、ハードディスク装置１０８に保存されている多視点画像抽出処理プログラムによって規定されている。この処理は、ハードディスク装置１０８にマスタファイルが格納された後に開始する。なお、この処理は、パソコン１００以外の装置、例えばカメラ１で行ってもよい。また、多視点画像抽出処理プログラムは、もともとハードディスク装置１０８に存在してもよいし、ネットワーク３０経由で配信されたものでもよい。   FIG. 7 shows the flow of viewpoint image extraction processing by the personal computer 100. Each stage of this processing is defined by a multi-viewpoint image extraction processing program stored in the hard disk device 108. This process starts after the master file is stored in the hard disk device 108. Note that this process may be performed by a device other than the personal computer 100, for example, the camera 1. The multi-viewpoint image extraction processing program may originally exist in the hard disk device 108 or may be distributed via the network 30.

Ｓ１では、ＣＰＵ１０２は、ハードディスク装置１０８から、所望視点情報ファイルの検索を試みる。そして、所望視点情報ファイルの存在を確認したか否かを判断する。所望視点情報ファイルの存在を確認した場合はＳ２、所望視点情報ファイルの存在を確認しない場合はＳ１２に進む。   In S <b> 1, the CPU 102 tries to retrieve a desired viewpoint information file from the hard disk device 108. Then, it is determined whether or not the presence of the desired viewpoint information file has been confirmed. If the presence of the desired viewpoint information file is confirmed, the process proceeds to S2. If the existence of the desired viewpoint information file is not confirmed, the process proceeds to S12.

Ｓ２では、ＣＰＵ１０２は、所望視点情報ファイルの数をカウントする。そして、所望視点情報ファイルの数が１つかあるいは２以上であるかを判断する。所望視点情報ファイルの数が１つの場合はＳ４、所望視点情報ファイルの数が２つ以上の場合はＳ３に進む。   In S2, the CPU 102 counts the number of desired viewpoint information files. Then, it is determined whether the number of desired viewpoint information files is one or two or more. If the number of desired viewpoint information files is one, the process proceeds to S4. If the number of desired viewpoint information files is two or more, the process proceeds to S3.

Ｓ３では、ＣＰＵ１０２は、所望視点決定画面をモニタ装置１１８に表示し、キーボード１２０やマウス１２２から所望の所望視点情報ファイルの選択を受け付ける。図８に例示する所望視点情報ファイル選択画面では、出力系の種類の一覧Ｌを表示し、この中から、所望の出力系に対応する所望視点情報ファイルをカーソルＣＳで選択させる。ここでは、「Lenticular」という出力系に対し、「ＡＢＣＤＥＯＵＴ．ＤＥＦ」の所望視点情報ファイルがカーソルＣＳで選択されている。   In S <b> 3, the CPU 102 displays a desired viewpoint determination screen on the monitor device 118 and accepts selection of a desired desired viewpoint information file from the keyboard 120 and the mouse 122. In the desired viewpoint information file selection screen illustrated in FIG. 8, a list L of output system types is displayed, and a desired viewpoint information file corresponding to the desired output system is selected with the cursor CS. Here, for the output system “Lenticular”, the desired viewpoint information file “ABCDEOUT.DEF” is selected by the cursor CS.

Ｓ４では、ＣＰＵ１０２は、所望視点情報ファイルの数が１つだけの場合はその所望視点情報ファイルから、２つ以上の場合はＳ４で選択された所望視点情報ファイル（例えば「ＡＢＣＤＥＯＵＴ．ＤＥＦ」）から、所望視点情報を読み取る。   In S4, the CPU 102 starts from the desired viewpoint information file when there is only one desired viewpoint information file, and from the desired viewpoint information file selected in S4 (for example, “ABCDEOUT.DEF”) when there are two or more desired viewpoint information files. Read desired viewpoint information.

Ｓ５では、読み取った所望視点情報に基づいて視点画像の抽出方法を決定する。例えば、所望視点情報の最小視点数かそれ以上（好ましくは推奨視点数）の視点画像をマスタファイルから抽出するよう決定する。   In S5, a viewpoint image extraction method is determined based on the read desired viewpoint information. For example, it is determined to extract viewpoint images having the minimum number of viewpoints of the desired viewpoint information or more (preferably the recommended number of viewpoints) from the master file.

Ｓ６では、視点画像の抽出元となる所望のマスタファイルをユーザに選択させる。マスタファイルの選択は各種の方法が採用されうる。例えば、所望の多視点画像（例えば「ＡＢＣＤ０００１．ＪＰＧ」）の閲覧操作を実行後、所望視点画像抽出実行画面を呼び出す操作が行われた場合、閲覧操作の対象となった多視点画像をマスタファイルに選択する。   In S6, the user is made to select a desired master file from which the viewpoint image is extracted. Various methods can be adopted for selecting the master file. For example, when an operation for calling a desired viewpoint image extraction execution screen is performed after a browsing operation for a desired multi-view image (for example, “ABCD0001.JPG”) is performed, the multi-view image targeted for the browsing operation is stored as a master file. Select

Ｓ７では、所望視点画像抽出実行画面を表示し、選択されたマスタファイルの取り込みを実行する。図９に例示する所望視点画像抽出実行画面では、ファイル名「ＡＢＣＤ０００１．ＪＰＧ」のマスタファイルが選択され、このマスタファイルに格納された各視点画像が取り込まれて画像表示ボックスＩＭＰに表示される。なお、画面サイズの制約上全ての視点画像を表示できない場合は、左右スクロールボタンの押下に応じ、視点番号に沿って順次視点画像がボックスＩＭＰにスクロール表示される。   In S7, a desired viewpoint image extraction execution screen is displayed, and the selected master file is captured. In the desired viewpoint image extraction execution screen illustrated in FIG. 9, a master file with the file name “ABCD0001.JPG” is selected, and each viewpoint image stored in the master file is captured and displayed in the image display box IMP. If all the viewpoint images cannot be displayed due to screen size restrictions, the viewpoint images are sequentially scrolled and displayed in the box IMP along the viewpoint number in response to pressing of the left / right scroll button.

Ｓ８では、入力されたマスタファイルの視点画像の数（入力視点数）が、Ｓ４で読み込まれた所望視点情報で示される最小視点数以上であるか否かを判断する。入力視点数≧最小視点数である場合はＳ９、入力視点数＜最小視点数である場合はＳ１１に進む。   In S8, it is determined whether or not the number of viewpoint images of the input master file (the number of input viewpoints) is equal to or greater than the minimum number of viewpoints indicated by the desired viewpoint information read in S4. If the number of input viewpoints ≧ the minimum number of viewpoints, the process proceeds to S9. If the number of input viewpoints <the minimum number of viewpoints, the process proceeds to S11.

Ｓ９では、決定された視点画像の抽出方法に基づいて、選択されたマスタファイルから、所望の出力系の出力条件に適合する視点画像を抽出する（図６参照）。図９に例示する所望視点画像抽出実行画面では、抽出実行ボタン２０５の押下に応じ、図８のカーソルＣＳで選択された出力系に対応する視点画像を抽出する。   In S9, based on the determined viewpoint image extraction method, a viewpoint image suitable for the output condition of the desired output system is extracted from the selected master file (see FIG. 6). In the desired viewpoint image extraction execution screen illustrated in FIG. 9, a viewpoint image corresponding to the output system selected by the cursor CS in FIG. 8 is extracted in response to pressing of the extraction execution button 205.

Ｓ１０では、抽出した視点画像を格納した抽出後画像データファイルがハードディスク装置１０８に記録される。なお、図９に例示する所望視点画像抽出実行画面では、抽出後画像データファイルが「ＡＢＣＤ０００１．Ｆ３Ｄ」というファイル名で保存されることが示されている。   In S <b> 10, an extracted image data file storing the extracted viewpoint image is recorded on the hard disk device 108. The desired viewpoint image extraction execution screen illustrated in FIG. 9 indicates that the post-extraction image data file is saved with the file name “ABCD0001.F3D”.

Ｓ１１では、入力されたマスタファイルが、最小視点数を充足しない旨のエラーをモニタ装置１１８に表示する。そして、視点画像の抽出は行わず、処理を終える。このため、所望の出力系が必要とする視点数に足りない抽出後データファイルが生成されるのを防げる。   In S11, an error indicating that the input master file does not satisfy the minimum number of viewpoints is displayed on the monitor device 118. Then, the viewpoint image is not extracted and the process is finished. For this reason, it is possible to prevent a post-extraction data file from being generated that is insufficient for the number of viewpoints required by the desired output system.

Ｓ１２では、所望視点決定画面をモニタ装置１１８に表示する。図１０（ａ）に例示する所望視点決定画面では、入力ファイル選択ボタン２０１が設けられており、これを押すと、図１０（ｂ）のファイル選択ダイアログボックスが開く。このダイアログボックスでは、ハードディスク装置１０８に格納されているマスタファイル（図３参照）のファイル名の一覧が表示されており、マウス１２２の操作でユーザがその中から所望のファイル名を選択できる。図１０（ｂ）では「ＡＢＣＤ０００１．ＪＰＧ」のファイル名を有するマスタファイルが選択されている。   In S 12, a desired viewpoint determination screen is displayed on the monitor device 118. In the desired viewpoint determination screen illustrated in FIG. 10A, an input file selection button 201 is provided. When this button is pressed, a file selection dialog box in FIG. 10B is opened. In this dialog box, a list of file names of master files (see FIG. 3) stored in the hard disk device 108 is displayed, and the user can select a desired file name from the list by operating the mouse 122. In FIG. 10B, the master file having the file name “ABCD0001.JPG” is selected.

Ｓ１３では、ファイル選択ダイアログボックスで選択されたマスタファイルから視点画像を読み出し、所望視点決定画面に表示する。図１０（ａ）では、マスタファイル「ＡＢＣＤ０００１．ＪＰＧ」から読み出された多視点画像が、画像表示ボックスＩＭＰに表示されている。なお、画面サイズの制約上全ての視点画像を表示できない場合は、左右スクロールボタンの押下に応じて、視点番号に沿って順次視点画像がボックスＩＭＰにスクロール表示される。   In S13, the viewpoint image is read from the master file selected in the file selection dialog box and displayed on the desired viewpoint determination screen. In FIG. 10A, the multi-viewpoint image read from the master file “ABCD0001.JPG” is displayed in the image display box IMP. Note that if not all viewpoint images can be displayed due to screen size restrictions, the viewpoint images are sequentially scrolled and displayed in the box IMP along the viewpoint number in response to pressing of the left / right scroll button.

Ｓ１４では、画像表示ボックスＩＭＰに表示された各視点画像から、所望の出力用の視点画像の視点数および当該視点数分の視点画像をユーザに選択させる。例えば、図１０（ａ）に示すように、出力視点数として「２」が指定された場合、画像表示ボックスＩＭＰの所望の視点画像に、２つのカーソルＣＳ１・ＣＳ２を合わせることができ、２つの視点画像にカーソルが合った状態で「出力ファイル指定」２０２を押下すると、カーソルＣＳ１・ＣＳ２の合った視点画像が、出力画像表示ボックスＯＵＴに表示される。   In S14, the user selects the number of viewpoints of the desired output viewpoint image and the viewpoint images corresponding to the number of viewpoints from the viewpoint images displayed in the image display box IMP. For example, as shown in FIG. 10A, when “2” is designated as the number of output viewpoints, the two cursors CS1 and CS2 can be aligned with the desired viewpoint image in the image display box IMP. When “output file designation” 202 is pressed while the cursor is on the viewpoint image, the viewpoint image on which the cursors CS1 and CS2 match is displayed in the output image display box OUT.

なお、完全にユーザ操作のみに依存して出力用の視点画像を選択させてもよいが、所定の出力条件（表示幅や高さや視差など）が確保された視点画像のみをユーザが選択可能なようにカーソルの移動選択操作を制限し、出力条件に適合しないその他の視点画像の選択は禁止してもよい。   Note that the viewpoint image for output may be completely selected depending on only the user operation, but the user can select only the viewpoint image in which predetermined output conditions (display width, height, parallax, etc.) are ensured. In this way, the cursor movement selection operation may be limited, and selection of other viewpoint images that do not meet the output conditions may be prohibited.

Ｓ１５では、図１０（ｃ）に例示するようなファイル指定ダイアログボックスを開き、出力画像表示ボックスＯＵＴの視点画像を格納すべき抽出後画像データファイルのファイル名（「ＡＢＣＤ０００１＿Ｆ３Ｄ．ＪＰＧ」など）をユーザに入力させる。   In S15, a file designation dialog box as illustrated in FIG. 10C is opened, and the file name of the extracted image data file (“ABCD0001_F3D.JPG”, etc.) in which the viewpoint image in the output image display box OUT is to be stored is specified by the user. To input.

Ｓ１６では、マスタファイルから、カーソルＣＳの合った視点画像を抽出する。この処理は、所望視点決定画面の「抽出実行」ボタン２０３の押下に応じて開始する。   In S16, the viewpoint image with the cursor CS is extracted from the master file. This process starts in response to pressing of the “Execution execution” button 203 on the desired viewpoint determination screen.

Ｓ１７では、Ｓ１６で抽出された視点画像を、Ｓ１５で指定されたファイル名の付与された抽出後画像データファイルに格納し、メモリカード３８あるいはハードディスク装置１０８に記録する。   In S17, the viewpoint image extracted in S16 is stored in the extracted image data file assigned the file name specified in S15, and recorded in the memory card 38 or the hard disk device 108.

なお、上記処理をカメラ１で実行する場合、マスタファイルそのものを作る前に、各視点での撮影で得られた各視点画像を入力ファイルの代わりに用いてもよい。つまり、Ｓ９・Ｓ１６における所望の視点画像の抽出元は、１つのマスタファイルにまとめられたものである必要はなく、個別の画像データでもよい。   When the above process is executed by the camera 1, each viewpoint image obtained by shooting from each viewpoint may be used instead of the input file before the master file itself is created. That is, the extraction source of desired viewpoint images in S9 and S16 does not need to be collected in one master file, and may be individual image data.

以上の処理によると、ある特定の種類の出力系統に対応した所望視点情報ファイルが存在していれば、その所望視点情報に基づいて、その出力系統での立体視に適した視点画像が、入力されたマスタファイルから抽出され、抽出後画像データファイルとして記録される。後は、その抽出後画像データファイルを、その出力系統によって出力、例えばレンチキュラプリントとしてプリント出力したり、ディスプレイに表示映像として出力すれば、立体視に適した状態で画像が視覚できる。   According to the above processing, if a desired viewpoint information file corresponding to a specific type of output system exists, a viewpoint image suitable for stereoscopic viewing in the output system is input based on the desired viewpoint information. The extracted master file is extracted and recorded as an extracted image data file. After that, if the extracted image data file is output by the output system, for example, printed out as a lenticular print or output as a display image on a display, the image can be viewed in a state suitable for stereoscopic viewing.

抽出後画像データファイルは、立体視に必要な意味のある視点画像のみを含んでおり、実際には使用されないような視点画像も含んだマスタファイルそのものを出力系統で用いるよりも、格段に効率がよい。また、所望視点情報に基づいて視点画像が抽出されるから、必要な視点の抽出が容易である。   The extracted image data file contains only meaningful viewpoint images necessary for stereoscopic viewing, and is much more efficient than using the master file itself including viewpoint images that are not actually used in the output system. Good. In addition, since a viewpoint image is extracted based on desired viewpoint information, it is easy to extract a necessary viewpoint.

カメラのブロック図Camera block diagram パソコンのブロック図PC block diagram ハードディスクにおけるマスタファイルおよび編集済みファイルの配置の態様を示す図The figure which shows the mode of arrangement of the master file and the edited file on the hard disk 所望視点情報ファイルの配置の一例を示す図The figure which shows an example of arrangement | positioning of a desired viewpoint information file 所望視点情報の一例を示す図The figure which shows an example of desired viewpoint information マスタファイルから選択された所望視点情報の一例を示す図The figure which shows an example of the desired viewpoint information selected from the master file 多視点画像編集処理のフローチャートMulti-viewpoint image editing flowchart 所望視点情報ファイル選択画面の一例を示す図The figure which shows an example of a desired viewpoint information file selection screen 所望視点画像抽出実行画面の一例を示す図The figure which shows an example of a desired viewpoint image extraction execution screen 所望視点決定画面の一例を示す図Diagram showing an example of the desired viewpoint determination screen

符号の説明Explanation of symbols

１：カメラ、１１：光学系、１０：ＬＣＤ、６２：本体ＣＰＵ、３８：メモリカード、１００：パソコン、１０２：ＣＰＵ、１０８：ハードディスク装置 1: camera, 11: optical system, 10: LCD, 62: main body CPU, 38: memory card, 100: personal computer, 102: CPU, 108: hard disk device

Claims (21)

３以上の視点から撮影された多視点画像データであるマスタ画像を取得するマスタ画像取得部と、
所望の多視点画像の出力形式で必要な視点を決定する視点決定部と、
前記視点決定部の決定した視点に従い、前記マスタ画像から必要な視点画像を抽出する抽出部と、
前記抽出部の抽出した視点画像を所望の記録媒体に記録する記録部と、
を備える画像処理装置。 A master image acquisition unit that acquires a master image that is multi-viewpoint image data captured from three or more viewpoints;
A viewpoint determination unit that determines a necessary viewpoint in an output format of a desired multi-viewpoint image;
According to the viewpoint determined by the viewpoint determination unit, an extraction unit that extracts a necessary viewpoint image from the master image;
A recording unit for recording the viewpoint image extracted by the extraction unit on a desired recording medium;
An image processing apparatus comprising: 前記視点決定部は、前記所望の出力形式において前記視点画像が充足すべき出力条件を示す所望視点情報を読み取り、前記所望視点情報に従って前記所望の出力形式で必要な視点を決定する請求項１に記載の画像処理装置。   The viewpoint determination unit reads desired viewpoint information indicating an output condition to be satisfied by the viewpoint image in the desired output format, and determines a required viewpoint in the desired output format according to the desired viewpoint information. The image processing apparatus described. 前記所望視点情報は、前記所望の出力形式の識別情報と、前記出力形式で必要とされる視点数の情報とを記述する請求項２に記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the desired viewpoint information describes identification information of the desired output format and information on the number of viewpoints required for the output format. 前記識別情報は、前記出力形式の種類を示す情報、想定視認距離、視差情報、表示領域サイズのうち少なくとも１つを含む請求項３に記載の画像処理装置。   The image processing apparatus according to claim 3, wherein the identification information includes at least one of information indicating a type of the output format, an assumed viewing distance, parallax information, and a display area size. 前記視点数の情報は、最小必要視点数、推奨視点数、最大使用視点数のうち少なくとも１つを含む請求項３または４に記載の画像処理装置。   The image processing apparatus according to claim 3 or 4, wherein the information on the number of viewpoints includes at least one of a minimum necessary viewpoint number, a recommended viewpoint number, and a maximum use viewpoint number. 前記所望視点情報の有無を検知する所望視点情報検知部と、
前記所望視点情報検知部が検知した所望視点情報の数を検知する所望視点情報数検知部と、
前記所望視点情報数検知部が２以上の所望視点情報を検知したことに応じ、前記２以上の所望視点情報の中から任意の所望視点情報の選択を受け付ける所望視点情報選択部と、
を備え、
前記視点決定部は、前記所望視点情報選択部が選択を受け付けた所望視点情報を読み取り、前記所望視点情報に従って前記所望の出力形式で必要な視点を決定する請求項２〜５のいずれかに記載の画像処理装置。 A desired viewpoint information detector that detects the presence or absence of the desired viewpoint information;
A desired viewpoint information number detection unit that detects the number of desired viewpoint information detected by the desired viewpoint information detection unit;
A desired viewpoint information selection unit that receives selection of arbitrary desired viewpoint information from the two or more desired viewpoint information in response to the detection of the number of desired viewpoint information by the desired viewpoint information number detection unit;
With
The said viewpoint determination part reads the desired viewpoint information which the said desired viewpoint information selection part received selection, and determines a required viewpoint with the said desired output format according to the said desired viewpoint information. Image processing apparatus. 前記抽出部は、前記マスタ画像取得部が取得したマスタ画像に含まれる視点数が、前記所望の出力系が必要とする視点数を満足しているか否かを判断し、前記マスタ画像に含まれる視点数が、前記所望の出力系が必要とする視点数を満足していると判断した場合、前記視点決定部の決定した視点に従い、前記マスタ画像から必要な視点画像を抽出する請求項３〜５のいずれかに記載の画像処理装置。   The extraction unit determines whether the number of viewpoints included in the master image acquired by the master image acquisition unit satisfies the number of viewpoints required by the desired output system, and is included in the master image. 4. When it is determined that the number of viewpoints satisfies the number of viewpoints required by the desired output system, a required viewpoint image is extracted from the master image according to the viewpoint determined by the viewpoint determination unit. 6. The image processing apparatus according to any one of 5 above. 前記抽出部は、前記マスタ画像に含まれる視点数が、前記所望の出力系が必要とする視点数を満足していないと判断した場合、前記マスタ画像から視点画像を抽出しない旨の通知を行う請求項７に記載の画像処理装置。   If the extraction unit determines that the number of viewpoints included in the master image does not satisfy the number of viewpoints required by the desired output system, the extraction unit notifies that the viewpoint image is not extracted from the master image. The image processing apparatus according to claim 7. 前記記録部は、前記抽出部の抽出した視点画像を、前記マスタ画像と区別可能に配置して前記記録媒体に記録する請求項１〜８のいずれかに記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the recording unit records the viewpoint image extracted by the extraction unit on the recording medium in a manner that allows the viewpoint image to be distinguished from the master image. 前記所望視点情報は可搬性記録媒体に記録されている請求項２〜９のいずれかに記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the desired viewpoint information is recorded on a portable recording medium. ３以上の視点から撮影された多視点画像データであるマスタ画像を取得するステップと、
所望の多視点画像の出力形式で必要な視点を決定するステップと、
前記決定した視点に従い、前記マスタ画像から必要な視点画像を抽出するステップと、
前記抽出した視点画像を記録媒体に記録するステップと、
を含む画像処理方法。 Obtaining a master image which is multi-viewpoint image data photographed from three or more viewpoints;
Determining a required viewpoint in an output format of a desired multi-viewpoint image;
Extracting a required viewpoint image from the master image according to the determined viewpoint;
Recording the extracted viewpoint image on a recording medium;
An image processing method including: 前記所望の出力形式において前記視点画像が充足すべき出力条件を示す所望視点情報を読み取り、前記所望視点情報に従って前記所望の出力形式で必要な視点を決定するステップをさらに含む請求項１１に記載の画像処理方法。   12. The method according to claim 11, further comprising: reading desired viewpoint information indicating an output condition to be satisfied by the viewpoint image in the desired output format, and determining a required viewpoint in the desired output format according to the desired viewpoint information. Image processing method. 前記所望視点情報は、前記所望の出力形式の識別情報と、前記出力形式で必要とされる視点数の情報とを記述する請求項１２に記載の画像処理方法。   The image processing method according to claim 12, wherein the desired viewpoint information describes identification information of the desired output format and information on the number of viewpoints required for the output format. 前記識別情報は、前記出力形式の種類を示す情報、想定視認距離、視差情報、表示領域サイズのうち少なくとも１つを含む請求項１３に記載の画像処理方法。   The image processing method according to claim 13, wherein the identification information includes at least one of information indicating a type of the output format, an assumed viewing distance, parallax information, and a display area size. 前記視点数の情報は、最小必要視点数、推奨視点数、最大使用視点数のうち少なくとも１つを含む請求項１３または１４に記載の画像処理方法。   The image processing method according to claim 13 or 14, wherein the information on the number of viewpoints includes at least one of a minimum necessary viewpoint number, a recommended viewpoint number, and a maximum use viewpoint number. 前記所望視点情報の有無を検知するステップと、
前記検知した所望視点情報の数を検知するステップと、
前記２以上の所望視点情報を検知したことに応じ、前記２以上の所望視点情報の中から任意の所望視点情報の選択を受け付けるステップと、
前記選択を受け付けた所望視点情報を読み取り、前記所望視点情報に従って前記所望の出力形式で必要な視点を決定するステップと、
をさらに含む請求項１２〜１５のいずれかに記載の画像処理方法。 Detecting the presence or absence of the desired viewpoint information;
Detecting the number of detected desired viewpoint information;
Receiving a selection of arbitrary desired viewpoint information from the two or more desired viewpoint information in response to detecting the two or more desired viewpoint information;
Reading the desired viewpoint information that has received the selection, and determining a required viewpoint in the desired output format according to the desired viewpoint information;
The image processing method according to claim 12, further comprising: 前記取得したマスタ画像に含まれる視点数が、前記所望の出力系が必要とする視点数を満足しているか否かを判断し、前記マスタ画像に含まれる視点数が、前記所望の出力系が必要とする視点数を満足していると判断した場合、前記決定した視点に従い、前記マスタ画像から必要な視点画像を抽出するステップをさらに含む請求項１３〜１６のいずれかに記載の画像処理方法。   It is determined whether the number of viewpoints included in the acquired master image satisfies the number of viewpoints required by the desired output system, and the number of viewpoints included in the master image is determined by the desired output system. The image processing method according to claim 13, further comprising a step of extracting a necessary viewpoint image from the master image according to the determined viewpoint when it is determined that the required number of viewpoints is satisfied. . 前記マスタ画像に含まれる視点数が、前記所望の出力系が必要とする視点数を満足していないと判断した場合、前記マスタ画像から視点画像を抽出しない旨の通知を行うステップをさらに含む請求項１７に記載の画像処理方法。   And a step of notifying that a viewpoint image is not extracted from the master image when it is determined that the number of viewpoints included in the master image does not satisfy the number of viewpoints required by the desired output system. Item 18. The image processing method according to Item 17. 前記抽出した視点画像を、前記マスタ画像と区別可能に配置して前記記録媒体に記録するステップをさらに含む請求項１１〜１８のいずれかに記載の画像処理方法。   The image processing method according to claim 11, further comprising a step of recording the extracted viewpoint image in a manner distinguishable from the master image on the recording medium. 前記所望視点情報は可搬性記録媒体に記録されている請求項１２〜１９のいずれかに記載の画像処理方法。   The image processing method according to claim 12, wherein the desired viewpoint information is recorded on a portable recording medium. 請求項１１〜２０のいずれかに記載の画像処理方法をコンピュータに実行させるプログラム。   A program that causes a computer to execute the image processing method according to any one of claims 11 to 20.
JP2007134265A 2007-05-21 2007-05-21 Image processing apparatus, method, and program Expired - Fee Related JP4787209B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007134265A JP4787209B2 (en) 2007-05-21 2007-05-21 Image processing apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007134265A JP4787209B2 (en) 2007-05-21 2007-05-21 Image processing apparatus, method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011155040A Division JP2012010344A (en) 2011-07-13 2011-07-13 Image processing apparatus, method and program

Publications (2)

Publication Number Publication Date
JP2008289064A true JP2008289064A (en) 2008-11-27
JP4787209B2 JP4787209B2 (en) 2011-10-05

Family

ID=40148336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007134265A Expired - Fee Related JP4787209B2 (en) 2007-05-21 2007-05-21 Image processing apparatus, method, and program

Country Status (1)

Country Link
JP (1) JP4787209B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091481A (en) * 2009-10-20 2011-05-06 Sony Corp Image processor, image processing method, and program
JP2011114832A (en) * 2009-11-30 2011-06-09 Nikon Corp Camera, and electronic apparatus
WO2011111708A1 (en) * 2010-03-10 2011-09-15 株式会社ニコン Display control device, display control program product, and display control system
WO2012137454A1 (en) * 2011-04-01 2012-10-11 パナソニック株式会社 Three-dimensional image output device and method of outputting three-dimensional image
JP2013034197A (en) * 2011-07-04 2013-02-14 Toshiba Corp Image processing apparatus, image processing method, and medical image diagnostic apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274579A (en) * 1993-03-17 1994-09-30 Nippon Hoso Kyokai <Nhk> Stereoscopic still picture file system
WO2003092303A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
JP2006140553A (en) * 2004-11-10 2006-06-01 Canon Inc Solid image generation program, generator and generation method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274579A (en) * 1993-03-17 1994-09-30 Nippon Hoso Kyokai <Nhk> Stereoscopic still picture file system
WO2003092303A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
JP2006140553A (en) * 2004-11-10 2006-06-01 Canon Inc Solid image generation program, generator and generation method

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091481A (en) * 2009-10-20 2011-05-06 Sony Corp Image processor, image processing method, and program
JP2011114832A (en) * 2009-11-30 2011-06-09 Nikon Corp Camera, and electronic apparatus
WO2011111708A1 (en) * 2010-03-10 2011-09-15 株式会社ニコン Display control device, display control program product, and display control system
CN102792683A (en) * 2010-03-10 2012-11-21 株式会社尼康 Display control device, display control program product, and display control system
US20130002709A1 (en) * 2010-03-10 2013-01-03 Nikon Corporation Display control apparatus, display control program product, and display control system
WO2012137454A1 (en) * 2011-04-01 2012-10-11 パナソニック株式会社 Three-dimensional image output device and method of outputting three-dimensional image
JP5133472B2 (en) * 2011-04-01 2013-01-30 パナソニック株式会社 3D image output apparatus and 3D image output method
US10074343B2 (en) 2011-04-01 2018-09-11 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image output apparatus and three-dimensional image output method
JP2013034197A (en) * 2011-07-04 2013-02-14 Toshiba Corp Image processing apparatus, image processing method, and medical image diagnostic apparatus
US9628773B2 (en) 2011-07-04 2017-04-18 Toshiba Medical Systems Corporation Image processing apparatus, image processing method, and medical image diagnosis apparatus

Also Published As

Publication number Publication date
JP4787209B2 (en) 2011-10-05

Similar Documents

Publication Publication Date Title
JP4720785B2 (en) Imaging apparatus, image reproducing apparatus, imaging method, and program
JP4914278B2 (en) Image processing apparatus, method, and program
US20110193994A1 (en) Image processing device and image processing method
JP4787209B2 (en) Image processing apparatus, method, and program
JP4671053B2 (en) Image recording apparatus and image recording method
JP2009027647A (en) Captured image recording system, photographic device, captured image recording method
JP5755347B2 (en) COMMUNICATION CONTROL DEVICE, ITS CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM
JP2011024123A (en) Three-dimensional imaging apparatus, and three-dimensional image display method
JP2007257465A (en) Image display device, method, and program
JP2012010344A (en) Image processing apparatus, method and program
JP5213602B2 (en) Imaging apparatus, control method thereof, and program
JP5792983B2 (en) Display control apparatus and display control method
JP4833947B2 (en) Image recording apparatus, image editing apparatus, and image recording method
JP4887461B2 (en) 3D image pickup apparatus and 3D image display method
JP2011172092A (en) Imaging apparatus, image reproducing method, image reproducing program, recording medium with image reproducing program recorded, and image reproducing apparatus
JP5570325B2 (en) Image processing apparatus and image file management method
JP5555103B2 (en) Image recording apparatus, method and program
JP5034969B2 (en) Imaging apparatus, imaging method, and program
JP5144782B2 (en) Imaging apparatus, image reproducing apparatus, imaging method, and program
JP2010114708A (en) Camera device, photographing method, photographing control program
JP2005229538A (en) Digital camera system
KR101058027B1 (en) How to save an image
JP5484545B2 (en) Imaging apparatus, control method thereof, and program
JP2016082276A (en) Imaging apparatus
JP2006014217A (en) Imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110714

R150 Certificate of patent or registration of utility model

Ref document number: 4787209

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140722

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees