JP2011040898A - Imaging reproducing device and program - Google Patents

Imaging reproducing device and program Download PDF

Info

Publication number
JP2011040898A
JP2011040898A JP2009184889A JP2009184889A JP2011040898A JP 2011040898 A JP2011040898 A JP 2011040898A JP 2009184889 A JP2009184889 A JP 2009184889A JP 2009184889 A JP2009184889 A JP 2009184889A JP 2011040898 A JP2011040898 A JP 2011040898A
Authority
JP
Japan
Prior art keywords
image
imaging
panoramic image
unit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009184889A
Other languages
Japanese (ja)
Other versions
JP2011040898A5 (en
Inventor
Kazunori Shimada
和典 嶋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009184889A priority Critical patent/JP2011040898A/en
Publication of JP2011040898A publication Critical patent/JP2011040898A/en
Publication of JP2011040898A5 publication Critical patent/JP2011040898A5/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To facilitate a person admiring a panoramic image to understand a direction in which an object reflected in the panoramic image is located when the object is photographed. <P>SOLUTION: An imaging reproducing device includes: an optical lens unit 11 and a CCD 12 for photographing a panoramic image in the direction of 360 degrees along a predetermined photographing face; an azimuth sensor 24 for detecting an azimuth of a panoramic image to be photographed; a memory card 26 for associating image data of a panoramic image obtained by photographing with information indicating the azimuth detected by the azimuth sensor 24 to record them; and a control unit 19 for making a compression/decompression processing part 16 create a panoramic image which is developed from the image data recorded in the memory card 26 with the direction of 180 degrees from a direction to be reference along the photographing face as a break on the basis of the information indicating the associated and recorded direction to display the created panoramic image in a display unit 18. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、パノラマ画像を撮影し、撮影したパノラマを再生して表示する撮像再生装置及びプログラムに関する。   The present invention relates to an image capturing / reproducing apparatus and a program for capturing a panoramic image and reproducing and displaying the captured panorama.

従来、デジタルカメラから見て異なる方角に位置する複数の被写体を個別に撮影し、撮影した複数の画像に、それぞれ被写体が位置していた方角を示す情報を付加して記録するデジタルカメラが提案されている(特許文献1)。   Conventionally, a digital camera has been proposed in which a plurality of subjects located in different directions as viewed from a digital camera are individually photographed, and information indicating the direction in which the subject is located is added to each of the photographed images and recorded. (Patent Document 1).

この特許文献に記載されたデジタルカメラでは、撮影した複数の画像の重複部分を繋げて画像合成することによりパノラマ画像を生成する。そして、画像の再生時には、デジタルカメラが現在向いている方角に対応した、パノラマ画像内の画像領域を画面上に自動的に表示する。   In the digital camera described in this patent document, a panoramic image is generated by connecting overlapping portions of a plurality of captured images and synthesizing the images. When an image is reproduced, an image area in the panorama image corresponding to the direction in which the digital camera is currently facing is automatically displayed on the screen.

したがって、上記特許文献に記載されたデジタルカメラであれば、パノラマ画像の鑑賞者は、パノラマ画像に写る各被写体が撮影時にデジタルカメラから見てどの方角に位置していたのか、を理解できる。   Therefore, with the digital camera described in the above-mentioned patent document, the viewer of the panoramic image can understand in which direction each subject appearing in the panoramic image is located when viewed from the digital camera.

特開2005−026856号公報JP 2005-026856 A

しかしながら、上記特許文献に記載された技術において、パノラマ画像の鑑賞者は、デジタルカメラの画面に表示されたパノラマ画像に写る各被写体が撮影時にどの方角に位置していたのかを理解するために、まずその時点でデジタルカメラが向いている方角を把握していなければならない。   However, in the technique described in the above-mentioned patent document, a viewer of a panoramic image understands in which direction each subject in the panoramic image displayed on the screen of the digital camera is located at the time of shooting. First, you must know the direction the digital camera is facing at that time.

そのために上記特許文献に記載された技術では、例えばパノラマ画像の鑑賞者が、方角を把握できない環境下でパノラマ画像を作成した場合、デジタルカメラが現在向いている方角が把握できないために、画面に表示されるパノラマ画像中のの各被写体が撮影時にどの方角に位置していたのかも理解することができないという不具合がある。   Therefore, in the technology described in the above patent document, for example, when a panoramic image viewer creates a panoramic image in an environment where the direction cannot be grasped, the direction in which the digital camera is currently facing cannot be grasped. There is a problem that it is impossible to understand in which direction each subject in the displayed panoramic image is located at the time of shooting.

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、パノラマ画像を観賞する者が、当該パノラマ画像中に写る被写体が撮影時に位置していた方角を容易に理解することが可能な撮像再生装置及びプログラムを提供することにある。   The present invention has been made in view of the above circumstances, and the purpose of the present invention is to enable a person viewing a panoramic image to easily understand the direction in which the subject in the panoramic image was located at the time of shooting. An object of the present invention is to provide an imaging reproduction apparatus and a program that can be used.

本発明の一態様は、所定の撮影面に沿った360°方向のパノラマ画像を撮影する撮像手段と、上記撮像手段を配設した当該撮像再生装置筐体の一構成面が対向する方角を検出する検出手段と、上記撮像手段での撮影で得たパノラマ画像の画像データを上記検出手段で検出した方角を示す情報と関連付けて記録する記録手段と、画像を表示する表示手段と、上記記録手段で記録した画像データに対し、関連付けて記録されている方角を示す情報に基づいて、予め設定した基準となる方角が画像の中心となるようにパノラマ画像を上記表示手段で表示させる表示制御手段とを具備したことを特徴とする。   According to one aspect of the present invention, an imaging unit that captures a 360 ° panoramic image along a predetermined imaging plane and a direction in which one component surface of the imaging reproduction apparatus housing in which the imaging unit is disposed are opposed to each other are detected. Detecting means, recording means for recording image data of a panoramic image obtained by photographing with the imaging means in association with information indicating the direction detected by the detecting means, display means for displaying an image, and the recording means Display control means for displaying a panoramic image on the display means so that a predetermined reference direction is the center of the image based on information indicating the direction recorded in association with the image data recorded in It is characterized by comprising.

本発明によれば、パノラマ画像を観賞する者が、当該パノラマ画像中に写る被写体が撮影時に位置していた方角を容易に理解することが可能となる。   According to the present invention, a person who views a panoramic image can easily understand the direction in which the subject in the panoramic image is located at the time of shooting.

本発明の一実施形態に係るデジタルパノラマカメラの回路構成を示すブロック図。1 is a block diagram showing a circuit configuration of a digital panoramic camera according to an embodiment of the present invention. 同実施形態に係るデジタルパノラマカメラの撮影モード時の動作の処理内容を示すフローチャート。6 is a flowchart showing the processing contents of an operation in a shooting mode of the digital panoramic camera according to the embodiment. 同実施形態に係る撮影により得られる画像データの具体的な内容を例示する図。The figure which illustrates the specific content of the image data obtained by imaging | photography concerning the embodiment. 同実施形態に係るデジタルパノラマカメラの再生モード時の動作の処理内容を示すフローチャート。6 is a flowchart showing the processing contents of an operation in a playback mode of the digital panoramic camera according to the embodiment. 同実施形態に係る圧縮伸長処理部が矩形の画像の画像データを得る際の処理内容を説明する図。The figure explaining the processing content at the time of the compression / decompression processing part which concerns on the same embodiment obtaining the image data of a rectangular image. 同実施形態に係る再生モード時に表示部で表示される矩形のパノラマ画像を例示する図。FIG. 4 is a diagram illustrating a rectangular panoramic image displayed on the display unit in the playback mode according to the embodiment.

以下本発明をデジタルパノラマカメラに適用した場合の一実施形態について図面を参照して説明する。   Hereinafter, an embodiment in which the present invention is applied to a digital panoramic camera will be described with reference to the drawings.

図1は、本実施形態に係るデジタルパノラマカメラ10の回路構成を示すものである。同図では、カメラ筐体上面より上方に突出した光学レンズユニット11により、固体撮像素子であるCCD(Charge Coupled Device:電荷結合素子)12の撮像面上に被写体の光像が結像される。   FIG. 1 shows a circuit configuration of a digital panoramic camera 10 according to the present embodiment. In the figure, a light image of a subject is formed on an imaging surface of a CCD (Charge Coupled Device) 12 which is a solid-state imaging device by an optical lens unit 11 protruding upward from the upper surface of the camera housing.

上記光学レンズユニット11は、例えば軸対称自由曲面レンズを用い、撮影面を水平面とすれば水平画角360°、垂直画角約45°の画像が撮影可能となる。   The optical lens unit 11 uses, for example, an axially symmetric free-form surface lens, and can shoot an image with a horizontal field angle of 360 ° and a vertical field angle of about 45 ° if the shooting surface is a horizontal plane.

なお、上記軸対称自由曲面レンズの詳細な技術内容に関しては、例えばインターネット上のウェブサイト「http://www.olympus.co.jp/jp/news/2007b/nr070706zenhouij.cfm(平成21年7月31日確認)」に紹介されているように周知であるものとして、具体的な説明は省略する。   The detailed technical contents of the axisymmetric free-form surface lens are described, for example, on the website “http://www.olympus.co.jp/jp/news/2007b/nr070706zenhouij.cfm (July 2009 The detailed description is omitted as it is well known as introduced in “31st confirmation”.

なお、本実施形態の光学レンズユニット11に用いるレンズ光学系としては、上記軸対称自由曲面レンズに限らず、他に球面ミラーを用いたもの、自由曲面プリズムを用いたもの、あるいは円周魚眼レンズを用いたもの等、その構成を限定するものではない。   The lens optical system used in the optical lens unit 11 of the present embodiment is not limited to the above-described axially symmetric free-form surface lens, but also uses a spherical mirror, a free-form surface prism, or a circumferential fisheye lens. It does not limit the structure, such as what was used.

上記軸対称自由曲面レンズを光学レンズユニット11に用いる場合、CCD12の撮像面全体が正方形状であったとすると、該撮像面上には略円形状、より詳細には中心の小円部が欠落したリング状の画像が結像される。したがって、CCD12の撮像面のうち、その中心の小円部と、円弧より外側に位置する四隅の各部分にはいずれも結像せず、実際にはそれらの部分の画像信号は使用されない。   When the axially symmetric free-form surface lens is used for the optical lens unit 11, assuming that the entire imaging surface of the CCD 12 is square, a substantially circular shape, more specifically, a central small circle is missing on the imaging surface. A ring-shaped image is formed. Therefore, no image is formed on the small circle portion at the center of the imaging surface of the CCD 12 and the four corner portions located outside the arc, and the image signals of those portions are not actually used.

スルー画像表示、あるいはライブビュー画像表示とも称されるモニタ状態では、所定のフレームレートでこのCCD12が周期的に駆動され、画像信号が取得される。   In the monitor state, also referred to as through image display or live view image display, the CCD 12 is periodically driven at a predetermined frame rate to acquire an image signal.

CCD12での撮像により取得されたアナログ値の画像信号に対し、アナログ処理部13が相関二乗サンプリングや自動ゲイン調整、A/D変換処理を実行してデジタル化し、プロセス回路14へ出力する。   The analog processing unit 13 executes correlation square sampling, automatic gain adjustment, and A / D conversion processing on the image signal of the analog value acquired by imaging with the CCD 12, and outputs it to the process circuit 14.

プロセス回路14は、このデジタル化した信号に画素補間処理、γ補正処理を含むカラープロセス処理を施した後、システムバスSBを介して画像バッファ15に一時的に保持させる。以下、この画像バッファ15に保持した画像信号を「画像データ」と呼称する。   The process circuit 14 performs color process processing including pixel interpolation processing and γ correction processing on the digitized signal, and then temporarily stores it in the image buffer 15 via the system bus SB. Hereinafter, the image signal held in the image buffer 15 is referred to as “image data”.

画像バッファ15に保持された画像データに対し、システムバスSBを介して圧縮伸長処理部16が読出し、表示に適した長矩形状の画像データに変形した上でシステムバスSBを介して表示処理部17へ送出する。   The image data held in the image buffer 15 is read out by the compression / decompression processing unit 16 via the system bus SB, transformed into long rectangular image data suitable for display, and then displayed via the system bus SB. To send.

表示処理部17は、送られてきた表示用の画像データに基づいて表示部18を駆動し、結果としてその時点でCCD12で撮像している画像をスルー画像として表示させる。
表示部18は、このデジタルパノラマカメラ10の筐体背面側に配設され、カラー液晶パネルとその駆動回路とで構成される。上述したように、例えば上記光学レンズユニット11が水平画角360°、垂直画角約45°の画像を撮影可能であった場合、表示部18はその撮影画角に対応して、例えば縦1×横8程度のアスペクト比を有する横長の矩形画像を表示することが可能な画面を有するものとする。
The display processing unit 17 drives the display unit 18 based on the received display image data, and as a result, displays an image captured by the CCD 12 at that time as a through image.
The display unit 18 is disposed on the rear side of the casing of the digital panoramic camera 10 and is composed of a color liquid crystal panel and its drive circuit. As described above, for example, when the optical lens unit 11 can capture an image having a horizontal field angle of 360 ° and a vertical field angle of about 45 °, the display unit 18 corresponds to the shooting field angle, for example, a vertical 1 X It has a screen capable of displaying a horizontally long rectangular image having an aspect ratio of about 8 horizontally.

上記プロセス回路14、画像バッファ15、及び圧縮伸長処理部16は、一般に画像処理エンジン等とも呼称される、画像データの処理専門のデータプロセッサIPを構成する。   The process circuit 14, the image buffer 15, and the compression / decompression processing unit 16 constitute a data processor IP specialized for processing image data, generally called an image processing engine or the like.

以上の回路を制御部19が統括制御する。この制御部19はCPUで構成され、メインメモリ20、プログラムメモリ21と直接接続される。メインメモリ20は、SDRAM(シンクロナスDRAM)で構成され、ワークメモリとして機能する。プログラムメモリ21は、例えばフラッシュメモリなどの電気的に書換可能な不揮発性メモリで構成され、後述する撮影モード時、再生モード時の制御を含む動作プログラムやデータ等を固定的に記憶する。
制御部19は、プログラムメモリ21から必要なプログラムやデータ等を読出し、メインメモリ20に適宜一時的に展開して記憶させながら、このデジタルパノラマカメラ10全体の制御動作を実行する。
The control unit 19 performs overall control of the above circuit. The control unit 19 includes a CPU and is directly connected to the main memory 20 and the program memory 21. The main memory 20 is composed of SDRAM (synchronous DRAM) and functions as a work memory. The program memory 21 is configured by an electrically rewritable nonvolatile memory such as a flash memory, for example, and fixedly stores an operation program, data including control in a shooting mode and a playback mode, which will be described later.
The control unit 19 reads out necessary programs, data, and the like from the program memory 21 and executes the control operation of the entire digital panoramic camera 10 while temporarily expanding and storing it in the main memory 20 as appropriate.

さらに上記制御部19は、キー入力部22から直接入力されるキー操作信号に対応して各種制御動作を実行する。制御部19は、システムバスSBを介して上記プロセス回路14、画像バッファ15、圧縮伸長処理部16、及び表示処理部17の他、さらにCCD駆動部23、方位センサ24、3軸加速度センサ25、及びメモリカード部26とも接続される。   Further, the control unit 19 executes various control operations in response to key operation signals directly input from the key input unit 22. In addition to the process circuit 14, the image buffer 15, the compression / decompression processing unit 16, and the display processing unit 17, the control unit 19 further includes a CCD driving unit 23, an orientation sensor 24, a triaxial acceleration sensor 25, The memory card unit 26 is also connected.

キー入力部22は、例えば電源キー、シャッタキー、撮影モードキー、再生モードキー、メニューキー、カーソル(「↑」「→」「↓」「←」)キー、セットキー等の操作キーを備える。   The key input unit 22 includes operation keys such as a power key, a shutter key, a shooting mode key, a playback mode key, a menu key, cursor (“↑”, “→”, “↓”, “←”) keys, and a set key.

CCD駆動部23は、その時点で設定されている撮影条件に応じて上記CCD12の走査駆動を行なう。   The CCD drive unit 23 scans the CCD 12 according to the photographing conditions set at that time.

上記圧縮伸長処理部16は、上記キー入力部22のシャッタキー操作に伴う画像撮影時に、画像バッファ15に保持される画像データを所定のデータファイル形式に則った直交変換やエントロピ符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルはシステムバスSBを介してメモリカード部26に記録される。   The compression / decompression processing unit 16 converts the image data held in the image buffer 15 into data such as orthogonal transform or entropy encoding in accordance with a predetermined data file format at the time of image capturing accompanying the shutter key operation of the key input unit 22. Create an image data file that has undergone compression processing to greatly reduce the amount of data. The created image data file is recorded in the memory card unit 26 via the system bus SB.

また圧縮伸長処理部16は、再生モード時にメモリカード部26から読出されてくる画像データをシステムバスSBを介して受取り、記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをシステムバスSBを介して画像バッファ15に保持させる。   The compression / decompression processing unit 16 receives the image data read from the memory card unit 26 in the playback mode via the system bus SB, and decompresses the original size image by decompression processing in the reverse order of recording. Data is obtained and stored in the image buffer 15 via the system bus SB.

さらに、この画像バッファ15に保持された画像データが円形状のパノラマ画像である場合には、表示に適した矩形の画像となるように変形処理を加える。こうして画像バッファ15に保持された画像データを表示処理部17に読出させることで、表示部18で再生のための表示が実行される。   Further, when the image data held in the image buffer 15 is a circular panoramic image, a deformation process is added so as to obtain a rectangular image suitable for display. By causing the display processing unit 17 to read out the image data held in the image buffer 15 in this way, display for reproduction is executed on the display unit 18.

メモリカード部26は、このデジタルパノラマカメラ10に着脱自在に装着され、このデジタルパノラマカメラ10の記録媒体となる画像データ等の記録用メモリであり、内部にはブロック単位で電気的に書換え可能な不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。   The memory card unit 26 is detachably attached to the digital panoramic camera 10 and is a memory for recording image data and the like serving as a recording medium of the digital panoramic camera 10, and can be electrically rewritten in blocks. A flash memory that is a non-volatile memory and a driving circuit thereof are provided.

方位センサ24は、例えば地磁気センサで構成されるもので、その時点でこのデジタルパノラマカメラ10の筐体の一構成面、例えば前面が対向している方位を示す情報を、北(磁北)からの偏位を表す電気信号として検知し、出力する。
すなわち、上述した如くカメラ筐体上面より上方に突出した光学レンズユニット11を用いてパノラマ画像の撮影を行なう際、撮影面が略水平面である場合に、撮影により得られるパノラマ画像中のどの方向がどの方位に対応するのかを示すための情報を上記方位センサ24により検知して取得する。
The azimuth sensor 24 is constituted by, for example, a geomagnetic sensor, and information indicating the azimuth facing one constituent surface, for example, the front surface of the digital panoramic camera 10 at that time, from the north (magnetic north). It is detected and output as an electrical signal representing the displacement.
That is, when shooting a panoramic image using the optical lens unit 11 protruding upward from the upper surface of the camera housing as described above, if the shooting surface is a substantially horizontal plane, which direction in the panoramic image obtained by shooting is Information for indicating which direction corresponds to is detected and acquired by the direction sensor 24.

3軸加速度センサ25は、互いに直交する3軸方向それぞれの加速度を検知するもので、重力加速度の方向も検知可能であるため、結果としてその時点でのデジタルパノラマカメラ10の筐体の姿勢を示す情報を検知して出力する。   The triaxial acceleration sensor 25 detects accelerations in the three axial directions orthogonal to each other, and can also detect the direction of gravitational acceleration. As a result, the attitude of the housing of the digital panoramic camera 10 at that time is indicated. Detect and output information.

次に上記実施形態の動作について説明する。
なお、以下に示す動作は、撮影モード、及び再生モード時に制御部19がプログラムメモリ21に記憶されている動作プログラム及びデータを読出してメインメモリ20に展開して記憶させた上で実行するものである。
Next, the operation of the above embodiment will be described.
The operation shown below is executed when the control unit 19 reads out the operation program and data stored in the program memory 21 and develops and stores them in the main memory 20 in the shooting mode and the reproduction mode. is there.

プログラムメモリ21に記憶されている動作プログラムや固定データ等は、このデジタルパノラマカメラ10の製造工場出荷時にプログラムメモリ21に記憶されていたものに加え、例えばこのデジタルパノラマカメラ10のバージョンアップに際して、デジタルパノラマカメラ10をユーザがパーソナルコンピュータと接続することにより、新たな動作プログラム、データ等をダウンロードして記憶していたものも含む。   For example, when the digital panorama camera 10 is upgraded, the operation program and fixed data stored in the program memory 21 are stored in the program memory 21 when the digital panorama camera 10 is shipped from the factory. This includes a program in which a new operation program, data, and the like have been downloaded and stored by connecting the panoramic camera 10 to a personal computer.

まず、画像を撮影する撮影モード時の動作について説明する。
図2は、キー入力部22の電源キーを操作して電源をオンした場合、あるいは電源オフ時から直接撮影モードキーを長押し操作して電源をオンした場合に実行される。処理当初に制御部19は、CCD駆動部23によりCCD12を所定のフレームレート、例えば30[フレーム/秒]で周期的に駆動させる。
First, the operation in the shooting mode for shooting an image will be described.
FIG. 2 is executed when the power is turned on by operating the power key of the key input unit 22 or when the power is turned on by directly pressing and holding the shooting mode key after the power is turned off. At the beginning of processing, the control unit 19 causes the CCD drive unit 23 to periodically drive the CCD 12 at a predetermined frame rate, for example, 30 [frame / second].

CCD12で取得された画像信号は、アナログ処理部13でデジタル化した後にプロセス回路14に取込まれる。プロセス回路14は、取込んだ画像信号にカラープロセス処理を施した後、システムバスSBを介して画像バッファ15に一時的に保持させる。   The image signal acquired by the CCD 12 is digitized by the analog processing unit 13 and then taken into the process circuit 14. The process circuit 14 performs color process processing on the captured image signal and then temporarily holds it in the image buffer 15 via the system bus SB.

このとき画像バッファ15に保持されるパノラマ画像の画像データは、上述した如く中心部に向かうほどに大きく歪曲したリング状の構成を有している。   At this time, the image data of the panoramic image held in the image buffer 15 has a ring-shaped configuration that is largely distorted toward the center as described above.

圧縮伸長処理部16は、この画像バッファ15に保持された画像データを読出した上で、画像中の所定の方向、すなわちその時点でデジタルパノラマカメラ10の筐体正面が対向している方向を画像の中心となる方向とし、その中心方向から180°反対側の方向、すなわちデジタルパノラマカメラ10の筐体背面側の方向を切れ目として展開して横長の矩形となるような変形、伸長処理を施し、処理後の矩形となった画像の画像データをあらためて画像バッファ15に保持させる。   The compression / decompression processing unit 16 reads out the image data held in the image buffer 15 and displays a predetermined direction in the image, that is, a direction in which the front of the housing of the digital panoramic camera 10 faces at that time. A direction that is 180 ° opposite to the center direction, that is, a direction on the rear side of the housing of the digital panoramic camera 10 is expanded as a break and subjected to deformation and extension processing to form a horizontally long rectangle, The image data of the processed rectangular image is again stored in the image buffer 15.

この画像バッファ15の画像データに基づいて表示部18でパノラマ画像の表示を行なわせることで、スルー画像表示が実現され、このデジタルパノラマカメラ10のユーザに対して、その時点で撮影しているパノラマ画像の内容を提示する(ステップS101)。   By displaying a panoramic image on the display unit 18 based on the image data in the image buffer 15, a through image display is realized, and the panorama being photographed at that time is realized for the user of the digital panoramic camera 10. The contents of the image are presented (step S101).

上記パノラマ画像のスルー表示と共に、キー入力部22のシャッタキーが操作されたか否かを判断し(ステップS102)、操作されなかった場合は上記ステップS101からの処理に戻る。   Along with the through display of the panoramic image, it is determined whether or not the shutter key of the key input unit 22 has been operated (step S102). If not, the process returns to step S101.

こうしてステップS101,S102の処理を繰返し実行して、パノラマ画像のスルー表示を実行しながら、シャッタキーが操作されるのを待機する。   In this way, the processes in steps S101 and S102 are repeatedly executed to wait for the shutter key to be operated while performing through display of the panoramic image.

シャッタキーが操作された場合、制御部19は上記ステップS102でそれを判断し、あらためてシャッタ速度等を設定した上でCCD駆動部23によりCCD12を駆動させ、パノラマ画像の撮影を実行する(ステップS103)。   When the shutter key is operated, the control unit 19 determines that in step S102, sets the shutter speed again, drives the CCD 12 by the CCD drive unit 23, and executes panoramic image shooting (step S103). ).

同時に制御部19は、方位センサ24,3軸加速度センサ25により上記シャッタキー操作時のデジタルパノラマカメラ10筐体の一構成面、例えば前面が対向していた方位を示す情報と、該筐体の姿勢を示す情報とをそれぞれ検知して取得する(ステップS104)。   At the same time, the control unit 19 uses the azimuth sensor 24 and the three-axis acceleration sensor 25 to display information indicating one constitutive surface of the digital panoramic camera 10 housing when the shutter key is operated, for example, the azimuth facing the front surface, Information indicating the posture is detected and acquired (step S104).

パノラマ画像の撮影に際して圧縮伸長処理部16は、画像バッファ15に保持される、撮影で得た画像データに対して、上記スルー表示の動作で行なったような矩形の画像を得るための変形、伸長処理を施すことはなく、代わって所定のデータファイル形式に則った直交変換やエントロピ符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。   When capturing a panoramic image, the compression / decompression processing unit 16 deforms or expands the image data stored in the image buffer 15 so as to obtain a rectangular image as in the through display operation. Instead of processing, an image data file in which the data amount is greatly reduced is created by performing data compression processing such as orthogonal transformation and entropy encoding according to a predetermined data file format.

制御部19は、作成したパノラマ画像の画像データファイルに、上記ステップS104で取得した方位を示す情報、及び姿勢を示す情報を共に関連付けてメモリカード部26に記録させる(ステップS105)。
図3は、メモリカード部26に記録される画像データファイルの元の画像を視覚的に表現する。図3にも示すように、光学レンズユニット11とCCD12による撮像で得られるパノラマ画像の画像データは、上述した如く中心部に向かうほどに大きく歪曲し、画像領域が圧縮されたリング状の構成を有している。
The control unit 19 records the created panorama image data file in the memory card unit 26 in association with the information indicating the azimuth and the information indicating the orientation acquired in step S104 (step S105).
FIG. 3 visually represents the original image of the image data file recorded in the memory card unit 26. As shown in FIG. 3, the image data of the panoramic image obtained by imaging with the optical lens unit 11 and the CCD 12 is greatly distorted toward the center as described above, and has a ring-shaped configuration in which the image area is compressed. Have.

このように画像データに対して、当該画像撮影時にデジタルパノラマカメラ10の筐体前面が対向していた方位及び同筐体の姿勢を示す各情報が付加される。
方位を示す情報として具体的には、画像自体の基準となる方向、例えば図中に矢印Bで示すこのデジタルパノラマカメラ10の筐体の一構成面、例えば前面が対向する方向に対して、方位の基準、例えば「N(北)」の方位が示す方向との偏位差「−120°」を示す角度情報を、この画像データに対する方位を示す情報として関連付ける。
In this way, the information indicating the azimuth that the front surface of the digital panoramic camera 10 faces when the image is captured and the posture of the same case are added to the image data.
Specifically, the information indicating the azimuth is relative to a direction serving as a reference of the image itself, for example, a component surface of the casing of the digital panoramic camera 10 indicated by an arrow B in the figure, for example, a direction in which the front faces the direction. For example, angle information indicating a deviation difference “−120 °” from the direction indicated by the direction of “N (north)” is associated as information indicating the direction with respect to the image data.

なお、図3中の点Oが撮影面における中心位置であり、3次元空間中で上記光学レンズユニット11の撮影面と直交し、且つ、デジタルパノラマカメラ10の撮影位置を通るような軸の位置を示す。   Note that a point O in FIG. 3 is the center position on the imaging plane, and the position of the axis is orthogonal to the imaging plane of the optical lens unit 11 in the three-dimensional space and passes through the imaging position of the digital panoramic camera 10. Indicates.

同様に上記ステップS105の処理では、画像自体の基準となる方向、例えば図中に矢印Bで示す方向に対して、姿勢の基準、例えば重力加速度が示す鉛直方向との3次元空間中での偏位差を示す角度情報を、この画像データに対する姿勢を示す情報として関連付ける。   Similarly, in the process of step S105, the orientation in the three-dimensional space is deviated from the reference direction of the image itself, for example, the direction indicated by arrow B in the figure, with the reference of the posture, for example, the vertical direction indicated by the gravitational acceleration. The angle information indicating the position difference is associated as information indicating the posture with respect to the image data.

以上で制御部19はシャッタキー操作に伴う一連の画像記録に関する処理を完了し、再び次の撮影に備えるべく上記ステップS101からの処理に戻る。   As described above, the control unit 19 completes the processing relating to the series of image recording accompanying the shutter key operation, and returns to the processing from step S101 to prepare for the next photographing again.

次にメモリカード部26に記録した画像データを読出して表示を行なう再生モード時の動作について説明する。
図4は、電源オン時にキー入力部22の再生モードキーを操作した場合、あるいは電源オフ時から直接再生モードキーを長押し操作して電源をオンした場合に制御部19により実行される処理内容を示す。
Next, the operation in the reproduction mode in which the image data recorded in the memory card unit 26 is read and displayed will be described.
FIG. 4 shows the processing executed by the control unit 19 when the playback mode key of the key input unit 22 is operated when the power is turned on or when the power is turned on by directly pressing and holding the playback mode key after the power is turned off. Indicates.

再生モードの設定当初に制御部19は、メモリカード部26に記録される画像データファイルの中で、各データファイルに関連付けて記録されている撮影データ中から撮影日時を参照し、最も日時の内容が新しいものを最新の画像であるものとして選択する(ステップS301)。   At the beginning of the setting of the playback mode, the control unit 19 refers to the shooting date and time from the shooting data recorded in association with each data file among the image data files recorded in the memory card unit 26, and the contents of the most date and time Is selected as the latest image (step S301).

なお、画像データファイルに関連付けて記録される撮影データとしては、上記撮影日時の情報の他に、画像サイズ、シャッタ速度、絞り値、ホワイトバランス値等と本画像から作成するサムネイル画像があり、その点は例えばExif(Exchangeable image file format)規格により規定されている。   The shooting data recorded in association with the image data file includes the image size, shutter speed, aperture value, white balance value, etc. and thumbnail images created from the main image, in addition to the shooting date and time information. The point is defined by, for example, the Exif (Exchangeable image file format) standard.

次いで、制御部19は選択した画像の画像サイズから、当該画像データがパノラマ画像であるか否かを判断する(ステップS304)。   Next, the control unit 19 determines whether the image data is a panoramic image from the image size of the selected image (step S304).

ここでパノラマ画像の画像データではないと判断した場合、制御部19は選択された画像データが矩形の画像を表現するものであるとして、そのまま圧縮伸長処理部16により画像データを読出させ、画像バッファ15の上で展開して保持させる(ステップS303)。   If it is determined that the image data is not panoramic image data, the control unit 19 assumes that the selected image data represents a rectangular image, causes the compression / decompression processing unit 16 to read the image data as it is, and the image buffer. 15 is expanded and held (step S303).

また、上記ステップS302で選択した画像データがパノラマ画像であると判断した場合に制御部19は、その画像データに対して方位及び姿勢を示す情報が関連付けて記録されているか否かを判断する(ステップS304)。   When determining that the image data selected in step S302 is a panoramic image, the control unit 19 determines whether or not information indicating the azimuth and orientation is recorded in association with the image data ( Step S304).

ここで方位及び姿勢の情報が関連付けて記録されていないと判断した場合に制御部19は、当該画像データが撮影時の方位等を一切考慮する必要がないものと判断する。したがって制御部19は、メモリカード部26から画像データを読出し、圧縮伸長処理部16により画像の方向等を考慮せず、予め設定されている手順に沿ってパノラマ画像中の一方向を画像の中心となる方向とし、その中心方向から上記図3における点Oが対称点となるように180°反対側の方向を切れ目として画像バッファ15上で展開して横長の矩形となるような変形、伸長処理を施させ、処理後の矩形となった画像の画像データをあらためて画像バッファ15に保持させる(ステップS306)。   If it is determined that the azimuth and orientation information is not recorded in association with each other, the control unit 19 determines that the image data need not take into account the azimuth at the time of shooting. Therefore, the control unit 19 reads out the image data from the memory card unit 26, and the compression / decompression processing unit 16 does not consider the direction of the image and the like. 3 is deformed and expanded on the image buffer 15 to form a horizontally long rectangle with the direction opposite to 180 ° as a break from the center direction so that the point O in FIG. The image data of the processed rectangular image is newly held in the image buffer 15 (step S306).

また、上記ステップS304で画像データに方位及び姿勢を示す情報が関連付けて記録されていたと判断した場合に制御部19は、メモリカード部26から画像データを読出し、圧縮伸長処理部16により画像バッファ15上で展開して横長の矩形となるような変形、伸長処理を施させる。   When it is determined in step S304 that information indicating the orientation and orientation is recorded in association with the image data, the control unit 19 reads the image data from the memory card unit 26, and the compression / decompression processing unit 16 causes the image buffer 15 to read the image data. It is deformed and expanded so that it expands to become a horizontally long rectangle.

このとき制御部19は、方位を示す情報により、画像中の北となる方向が水平方向の中心となる方向から上記図3における点Oが対称点となるように180°反対側の南方向を切れ目として、矩形となるような変形、伸長処理を施させるもので、処理後の矩形となった画像の画像データをあらためて画像バッファ15に保持させる(ステップS305)。   At this time, the control unit 19 determines the south direction on the opposite side of 180 ° from the direction in which the north direction in the image is the center of the horizontal direction so that the point O in FIG. As a break, a process of deforming and expanding into a rectangular shape is performed, and the image data of the processed rectangular image is newly held in the image buffer 15 (step S305).

図5は、このとき圧縮伸長処理部16が矩形の画像の画像データを得る際の処理内容を説明する図である。同図中では、上記図3で示した画像と同様に左やや下方向が北となるパノラマ画像が記録されている様子を示す。   FIG. 5 is a diagram for explaining processing contents when the compression / decompression processing unit 16 obtains image data of a rectangular image at this time. In the same figure, as in the image shown in FIG. 3, a panoramic image in which the left side is slightly north is recorded.

例えば図中の上方向が撮影時のデジタルパノラマカメラ10筐体の前方であったとすれば、当時このデジタルパノラマカメラ10で撮影を行なったユーザは、撮影時に南東よりやや東寄りの方向を前方としてデジタルパノラマカメラ10を保持した状態でシャッタキーを操作して撮影を実行したことになる。   For example, if the upward direction in the figure is the front of the digital panoramic camera 10 housing at the time of shooting, the user who took a picture with the digital panoramic camera 10 at that time sets the direction slightly toward the east from the southeast as the front at the time of shooting. This means that shooting is performed by operating the shutter key while holding the digital panoramic camera 10.

この画像データに対して制御部19の制御の下に圧縮伸長処理部16は、関連付けて記録されている方位を示す情報に基づき、図中に破線OLで示す南方向を切れ目として矢印OD,ODで示すように画像を切り開き、画像バッファ15上で展開して横長の矩形となるような変形、伸長処理を施す。   Under the control of the control unit 19, the compression / decompression processing unit 16 controls the image data based on the information indicating the azimuth recorded in association with the arrows OD and OD with the south direction indicated by the broken line OL in the figure as a break. As shown in Fig. 5, the image is cut out and deformed and expanded so as to be expanded on the image buffer 15 into a horizontally long rectangle.

より具体的には、上記破線OLに沿った最内周位置で隣接する2つの画素が矩形画像の左上端及び右上端の画素、上記破線OLに沿った最外周位置で隣接する2つの画素が矩形画像の左下端及び右上端の画素、上記破線OLと180°離れた北(N)方向の最内周位置にある画素が矩形画像の水平方向の中心上端の画素、同北(N)方向の最外周位置にある画素が矩形画像の水平方向の中心の下端の画素となるように、元の画像の全画素に対するアドレス変換(アドレスマッピング)処理を施して、矩形画像を得る。   More specifically, the two pixels adjacent at the innermost peripheral position along the broken line OL are the upper left and upper right pixels of the rectangular image, and the two pixels adjacent at the outermost peripheral position along the broken line OL are The pixel at the lower left and upper right corners of the rectangular image, the pixel at the innermost peripheral position in the north (N) direction that is 180 ° away from the broken line OL is the pixel at the upper center of the horizontal direction of the rectangular image, and the north (N) direction A rectangular image is obtained by performing an address conversion (address mapping) process on all the pixels of the original image so that the pixel at the outermost peripheral position is the pixel at the lower end of the center in the horizontal direction of the rectangular image.

当然ながら元の円形の画像の内周側ほど空間的に圧縮され、画素数が少なくなっているため、アドレス変換後の矩形画像では矩形の上方側ほど解像度が低下する。そのため、制御部19は、矩形画像の上方に位置するほど伸長率が高まるような画素補間による伸長処理を圧縮伸長処理部16で施させることで、矩形画像を取得することができ、画像バッファ15に保持できる。   Of course, since the inner circular side of the original circular image is spatially compressed and the number of pixels is reduced, the resolution of the rectangular image after the address conversion is lowered toward the upper side of the rectangle. Therefore, the control unit 19 can acquire a rectangular image by causing the compression / decompression processing unit 16 to perform a decompression process by pixel interpolation so that the decompression rate increases as it is positioned above the rectangular image. Can be retained.

この種のパノラマ画像に対して元の円形画像から表示用の矩形画像へとアドレス変換する技術については、例えば特開平2008−028606号公報にも明らかなように公知である。なお、この特開平2008−028606号公報では、光学系に魚眼レンズを用い、解像度が高い中心部の画像をあえて使用せず、歪曲が大きいために被写体の解像度が大幅に低下する円形周辺部の画像のみを使用して矩形画像を生成するものとしているため、本実施形態のような画素補間等の伸長処理は行なっていない。   A technique for converting the address of this type of panoramic image from an original circular image to a rectangular image for display is known as is apparent from, for example, Japanese Patent Application Laid-Open No. 2008-028606. In Japanese Patent Laid-Open No. 2008-028606, a fisheye lens is used in the optical system, and a central image having a high resolution is not used. A circular peripheral image in which the resolution of the subject is greatly reduced due to large distortion. Since the rectangular image is generated using only the image, the expansion processing such as pixel interpolation as in the present embodiment is not performed.

上記ステップS305の処理、あるいは上記ステップS306,S307の処理後、制御部19は画像バッファ15に保持した画像データに基づいて制御部19で矩形画像を表示させると共に(ステップS307)、他の画像を選択するための切換操作がキー入力部22のカーソルキーによりなされるのを待機する(ステップS308)。   After the processing in step S305 or the processing in steps S306 and S307, the control unit 19 displays a rectangular image on the control unit 19 based on the image data held in the image buffer 15 (step S307), and displays other images. It waits for a switching operation for selection to be performed by the cursor key of the key input unit 22 (step S308).

図6は、上記ステップS305の処理によりパノラマ画像を北方向を中心として展開し、制御部19で表示させた場合を例示する。同図では、表示部18の画面のほぼ中央全面を使用し、基準とする方位Nを水平方向の中心とした水平画角360°にわたるパノラマ画像を表示している。   FIG. 6 illustrates a case where a panoramic image is developed centering on the north direction and displayed by the control unit 19 by the processing in step S305. In the figure, a panoramic image having a horizontal angle of view of 360 ° with the reference azimuth N as the center in the horizontal direction is displayed using almost the entire center of the screen of the display unit 18.

加えて同図では、画面の下端側で撮影時の方位を示す「W(西)」「N(北)」「E(東)」を示す文字と方位角度を示す目盛りとを併せて表示することにより、画面の左右の中央がちょうど北方向であることを一意に理解可能となる。   In addition, in the same figure, characters indicating “W (west)”, “N (north)”, and “E (east)” indicating the azimuth at the time of photographing and a scale indicating the azimuth angle are displayed together on the lower end side of the screen. This makes it possible to uniquely understand that the center of the left and right sides of the screen is just north.

なお、上記ステップS307,S308の処理を繰返し実行し、画像の表示を実行しながら次の画像選択を待機する過程で、キー入力部22のカーソルキー操作により他の画像を選択するための切換操作がなされると、制御部19はステップS308でそれを判断し、操作内容に応じてメモリカード部26に記録される次の画像データを選択した上で(ステップS309)、その選択した画像データに応じた表示を実行するべく、上記ステップS302からの処理を実行する。   It should be noted that the switching operation for selecting another image by the cursor key operation of the key input unit 22 in the process of repeatedly executing the processing of steps S307 and S308 and waiting for the next image selection while displaying the image. Is determined, the control unit 19 determines that in step S308, selects the next image data to be recorded on the memory card unit 26 according to the operation content (step S309), and then selects the selected image data. In order to execute the corresponding display, the processing from step S302 is executed.

以上詳述した如く本実施形態によれば、撮影時にデジタルパノラマカメラ10の筐体前面が対向していた方角に関係なく、常に一定の方角が画像の中心となるようにパノラマ画像を再生して表示するようになる。そのため、パノラマ画像を観賞する者は、表示されるパノラマ画像中に写る被写体が撮影時に位置していた方角を容易に理解することが可能となる。   As described above in detail, according to the present embodiment, a panoramic image is reproduced so that a certain direction is always the center of the image regardless of the direction in which the front surface of the digital panoramic camera 10 faces at the time of shooting. It will be displayed. Therefore, a person who appreciates the panoramic image can easily understand the direction in which the subject shown in the displayed panoramic image was located at the time of shooting.

なお、上記実施形態では、方位センサ24で得た方位を示す情報に基づき、再生モード時には1つの基準となる方位として「北」を中心としたパノラマ画像を表示するものとして説明したが、本発明はこれに限るものではない。
例えば本実施形態では、方位センサ24と共に3軸加速度センサ25も備えて撮影時の姿勢を示す情報も方位を示す情報と共に記録するものとした。これにより、例えばユーザがデジタルパノラマカメラ10を90°回転して保持し、光学レンズユニット11が鉛直面に沿った撮影面でパノラマ画像の撮影を行なった場合には、再生時に2つある水平方向の一方が中心となるように矩形のパノラマ画像を表示するものとしてもよい。
こうすることで、表示されたパノラマ画像を観賞するものとっても感覚的に不自然さがなく、表示される画像の内容を容易に理解できる。
In the above embodiment, the panoramic image centered on “north” is displayed as one reference direction in the playback mode based on the information indicating the direction obtained by the direction sensor 24. Is not limited to this.
For example, in this embodiment, the azimuth sensor 24 and the three-axis acceleration sensor 25 are provided, and information indicating the posture at the time of photographing is recorded together with information indicating the azimuth. Thus, for example, when the user holds the digital panorama camera 10 rotated 90 ° and the optical lens unit 11 captures a panoramic image on the imaging plane along the vertical plane, there are two horizontal directions during reproduction. A rectangular panoramic image may be displayed so that one of the two is centered.
By doing so, even if the displayed panoramic image is viewed, there is no sense of unnaturalness, and the content of the displayed image can be easily understood.

一方で、上記実施形態で説明した如く、方位を基準としてパノラマ画像の再生表示を実行することにより、実際のパノラマ画像撮影では水平面を撮影面として撮影が行なわれることが多いと思われるので、多くの場合にユーザに対して、基準をより理解し易い形でパノラマ画像を表示させることが可能となる。   On the other hand, as described in the above-described embodiment, by executing reproduction display of a panoramic image based on the orientation, it is likely that shooting is performed with a horizontal plane as a shooting plane in actual panoramic image shooting. In this case, it is possible to display a panoramic image in a form that makes it easier for the user to understand the reference.

なお、上記実施形態では示さなかったが、3軸加速度センサ25により得られる撮影時の姿勢を示す情報から、撮影したパノラマ画像の撮影面が水平面から所定角度範囲、例えば±30°以内、すなわち仰角または俯角が30°以内で撮影された場合に限って、再生時に方位を示す情報に基づいた表示処理を行なうものとしてもよい。
このように撮影時の姿勢を加味して必要時のみ方位の表示を行なうことで、方位に基づくパノラマ画像の再生表示を、鑑賞者にとって充分に意味あるものとして提供できる。
Although not shown in the above embodiment, from the information indicating the posture at the time of shooting obtained by the triaxial acceleration sensor 25, the shooting plane of the shot panoramic image is within a predetermined angle range from the horizontal plane, for example, within ± 30 °, that is, the elevation angle. Alternatively, only when the depression angle is taken within 30 °, display processing based on information indicating the direction at the time of reproduction may be performed.
Thus, by displaying the orientation only when necessary in consideration of the posture at the time of shooting, it is possible to provide reproduction and display of a panoramic image based on the orientation as sufficiently meaningful for the viewer.

また、上記実施形態では、一律に「北」を基準とした方位でパノラマ画像の再生表示を行なうものとして説明したが、本発明はこれに限らず、ユーザが任意に基準となる方位をキー入力部22で入力可能としてもよい。
このキー入力を受付けた制御部19が、入力された方位が水平方向の中心となるようにパノラマ画像の再生表示を行なわせることにより、例えば季節によって異なる、落日の方位を示すパノラマ画像や、星座を示す画像などをユーザの好みに応じて簡易に表示するよう実現できる。
In the above-described embodiment, the panoramic image is reproduced and displayed with an orientation that is uniformly based on “north”. However, the present invention is not limited to this, and the user arbitrarily inputs a reference orientation as a key. It may be possible to input at the unit 22.
The control unit 19 that has received this key input causes the panoramic image to be reproduced and displayed so that the input azimuth is at the center in the horizontal direction. It is possible to easily display an image or the like indicating the user's preference according to the user's preference.

なお、上記実施形態は、本発明を専用のデジタルパノラマカメラに適用した場合について説明したものであるが、本発明はこれに限らず、例えばカメラ機能を有する携帯電話端末や監視カメラ、パーソナルコンピュータと接続して当該パーソナルコンピュータ周辺環境を撮影するウェブカメラ等、各種のカメラ装置、あるいはすでにパノラマ撮影可能なカメラ機構を備えているコンピュータ用の動作プログラムとしても、同様に適用可能となる。   The above embodiment describes the case where the present invention is applied to a dedicated digital panoramic camera. However, the present invention is not limited to this, and for example, a mobile phone terminal having a camera function, a surveillance camera, a personal computer, The present invention can be similarly applied to various camera devices such as a web camera that connects and photographs the environment around the personal computer, or an operation program for a computer that already has a camera mechanism capable of panoramic photography.

また、本実施形態では、一般的ではない特殊なレンズ光学系を用いることで1枚の円形状の画像を所得し、その画像から矩形のパノラマ画像を展開して表示させる場合について説明したが、本発明はこれに限らず、異なる方位を撮影した複数の画像を合成して1つのパノラマ画像を取得する場合であっても、同様に適用することが可能となる。   Further, in this embodiment, a case has been described in which a single circular image is obtained by using a special lens optical system that is not general, and a rectangular panoramic image is developed and displayed from the image. The present invention is not limited to this, and the present invention can be similarly applied even when a single panoramic image is acquired by combining a plurality of images taken from different directions.

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。   In addition, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention in the implementation stage. Further, the functions executed in the above-described embodiments may be combined as appropriate as possible. The above-described embodiment includes various stages, and various inventions can be extracted by an appropriate combination of a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, if the effect is obtained, a configuration from which the constituent requirements are deleted can be extracted as an invention.

10…デジタルパノラマカメラ、11…光学レンズユニット、12…CCD、13…アナログ処理部、14…プロセス回路、15…画像バッファ、16…圧縮伸長処理部、17…表示処理部、18…表示部、19…制御部、20…メインメモリ、21…プログラムメモリ、22…キー入力部、23…CCD駆動部、24…方位センサ、25…3軸加速度センサ、26…メモリカード部、IP…データプロセッサ、SB…システムバス。   DESCRIPTION OF SYMBOLS 10 ... Digital panoramic camera, 11 ... Optical lens unit, 12 ... CCD, 13 ... Analog processing part, 14 ... Process circuit, 15 ... Image buffer, 16 ... Compression / decompression processing part, 17 ... Display processing part, 18 ... Display part, DESCRIPTION OF SYMBOLS 19 ... Control part, 20 ... Main memory, 21 ... Program memory, 22 ... Key input part, 23 ... CCD drive part, 24 ... Direction sensor, 25 ... 3-axis acceleration sensor, 26 ... Memory card part, IP ... Data processor, SB: System bus.

Claims (6)

所定の撮影面に沿った360°方向のパノラマ画像を撮影する撮像手段と、
上記撮像手段を配設した当該撮像再生装置筐体の一構成面が対向する方角を検出する検出手段と、
上記撮像手段での撮影で得たパノラマ画像の画像データを上記検出手段で検出した方角を示す情報と関連付けて記録する記録手段と、
画像を表示する表示手段と、
上記記録手段で記録した画像データに対し、関連付けて記録されている方角を示す情報に基づいて、予め設定した基準となる方角が画像の中心となるようにパノラマ画像を上記表示手段で表示させる表示制御手段と
を具備したことを特徴とする撮像再生装置。
Imaging means for capturing a 360 ° panoramic image along a predetermined imaging surface;
Detecting means for detecting a direction in which one constituent surface of the imaging / reproducing apparatus housing provided with the imaging means faces;
Recording means for recording image data of a panoramic image obtained by photographing with the imaging means in association with information indicating a direction detected by the detection means;
Display means for displaying an image;
A display for displaying a panoramic image on the display means such that a predetermined reference direction is the center of the image based on information indicating the direction recorded in association with the image data recorded by the recording means. An imaging reproduction apparatus comprising: a control unit.
上記記録手段で記録した画像データに対し、関連付けて記録されている方角を示す情報に基づいて、上記撮影面に沿って基準となる方角から180°の方角を切れ目として展開し、水平方向の中心に基準となる方角が位置する矩形のパノラマ画像を作成する画像作成手段をさらに具備し、
上記表示制御手段は、上記画像作成手段で再生したパノラマ画像を上記表示手段で表示させる
ことを特徴とする請求項1記載の撮像再生装置。
Based on the information indicating the direction recorded in association with the image data recorded by the recording means, the direction of 180 ° from the reference direction is developed along the photographing surface as a break, and the horizontal center Further comprising image creating means for creating a rectangular panoramic image in which the reference direction is located,
2. The imaging / reproducing apparatus according to claim 1, wherein the display control means causes the display means to display the panoramic image reproduced by the image creating means.
上記検出手段は、当該撮像再生装置筐体の一構成面が対向する方位を検出し、
上記画像作成手段は、1つの方位を基準としてパノラマ画像を作成する
ことを特徴とする撮像再生装置。
The detecting means detects a direction in which one component surface of the imaging / reproducing device casing faces,
The image reproducing device according to claim 1, wherein the image creating means creates a panoramic image based on one direction.
上記画像生成手段が基準とする方位を任意に設定する設定手段をさらに具備したことを特徴とする請求項3記載の撮像再生装置。   4. The imaging / reproducing apparatus according to claim 3, further comprising setting means for arbitrarily setting an orientation that is used as a reference by the image generating means. 上記検出手段は、当該撮像再生装置の一構成面が対向する方位、及び同装置の姿勢を検出し、
上記記録手段は、パノラマ画像の画像データを上記検出手段で検出した方位及び姿勢を示す情報と関連付けて記録し、
上記画像作成手段は、画像データに関連付けて記録されている姿勢を示す情報が水平面から所定の範囲内である場合に限って、1つの方位を基準としてパノラマ画像を作成する
ことを特徴とする請求項3記載の撮像再生装置。
The detection means detects the azimuth facing one component surface of the imaging / reproducing apparatus and the attitude of the apparatus,
The recording means records the image data of the panoramic image in association with information indicating the azimuth and posture detected by the detection means,
The image creating means creates a panoramic image based on one azimuth only when information indicating a posture recorded in association with image data is within a predetermined range from a horizontal plane. Item 4. The imaging reproduction apparatus according to Item 3.
所定の撮影面に沿った360°方向のパノラマ画像を撮影する撮像部、上記撮像手段を配設した当該撮像再生装置筐体の一構成面が対向する方角を検出する検出部、上記撮像部での撮影で得たパノラマ画像の画像データを上記検出部で検出した方角を示す情報と関連付けて記録する記録部、及び画像を表示する表示部を備えた撮像再生装置が内蔵するコンピュータが実行するプログラムであって、該コンピュータを
上記記録部で記録した画像データに対し、関連付けて記録されている方角を示す情報に基づいて、予め設定した基準となる方角が画像の中心となるようにパノラマ画像を上記表示部で表示させる表示制御手段として機能させることを特徴とする、コンピュータが読取可能なプログラム。
An imaging unit that captures a 360 ° panoramic image along a predetermined imaging plane, a detection unit that detects a direction in which one component surface of the imaging reproduction apparatus housing in which the imaging unit is disposed is opposed, and the imaging unit A program executed by a computer built in an imaging reproduction apparatus having a recording unit that records image data of a panoramic image obtained by shooting in association with information indicating the direction detected by the detection unit, and a display unit that displays an image The panoramic image is generated so that the predetermined reference direction becomes the center of the image based on the information indicating the direction recorded in association with the image data recorded by the recording unit in the computer. A computer-readable program that functions as display control means to be displayed on the display unit.
JP2009184889A 2009-08-07 2009-08-07 Imaging reproducing device and program Pending JP2011040898A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009184889A JP2011040898A (en) 2009-08-07 2009-08-07 Imaging reproducing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009184889A JP2011040898A (en) 2009-08-07 2009-08-07 Imaging reproducing device and program

Publications (2)

Publication Number Publication Date
JP2011040898A true JP2011040898A (en) 2011-02-24
JP2011040898A5 JP2011040898A5 (en) 2012-09-13

Family

ID=43768239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009184889A Pending JP2011040898A (en) 2009-08-07 2009-08-07 Imaging reproducing device and program

Country Status (1)

Country Link
JP (1) JP2011040898A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013054318A (en) * 2011-09-06 2013-03-21 Nikon Corp Image display device
WO2013133456A1 (en) * 2012-03-09 2013-09-12 Ricoh Company, Limited Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium
CN103533266A (en) * 2013-10-01 2014-01-22 中国人民解放军国防科学技术大学 360-degree stitched-type panoramic camera with wide view field in vertical direction
JP2014030104A (en) * 2012-07-31 2014-02-13 Ricoh Co Ltd Receiving device, image sharing system, receiving method, and program
JP2016507775A (en) * 2013-01-07 2016-03-10 タマゴ ホールディング エッセアー Panoramic camera
JP2016092691A (en) * 2014-11-07 2016-05-23 キヤノン株式会社 Image processing device, method for controlling the same, program, and storage medium
EP2998935A4 (en) * 2013-05-16 2017-06-07 Sony Corporation Image processing device, image processing method, and program
US10063773B2 (en) 2013-07-22 2018-08-28 Olympus Corporation Photographing apparatus, photographing method and computer-readable storage medium storing photographing program of photographing apparatus
JP2020043575A (en) * 2019-10-31 2020-03-19 株式会社リコー Imaging apparatus, imaging method and program
US10992861B2 (en) 2017-03-14 2021-04-27 Nikon Corporation Image processing device and electronic device
US11049220B2 (en) 2018-07-10 2021-06-29 Canon Kabushiki Kaisha Display control apparatus, display control method, and non-transitory computer readable medium
CN113271411A (en) * 2021-04-17 2021-08-17 深圳市圆周率软件科技有限责任公司 Method for viewing panoramic image and playing device

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001154647A (en) * 1999-11-26 2001-06-08 Canon Inc Display device, picture processor, picture display system, picture display method and storage medium
JP2001169223A (en) * 1999-12-08 2001-06-22 Nec Corp Panorama video image display system
JP2002094870A (en) * 2000-09-12 2002-03-29 Casio Comput Co Ltd Camera device, display device, image pickup range display method and image pickup range memory method
WO2005005927A1 (en) * 2003-07-10 2005-01-20 Apricot Co., Ltd. Road guide system and road guide method
JP2005217536A (en) * 2004-01-27 2005-08-11 Sony Corp Video distribution system
JP2006229631A (en) * 2005-02-17 2006-08-31 Konica Minolta Holdings Inc Image processor
JP2008088558A (en) * 2007-10-17 2008-04-17 Nikko Kinzoku Kk High-strength and high-conductivity copper alloy with excellent ductility
JP2008244708A (en) * 2007-03-27 2008-10-09 Canon Inc Imaging apparatus and portable device
JP2008289070A (en) * 2007-05-21 2008-11-27 Aplix Corp Image display method for portable device
JP2009171110A (en) * 2008-01-15 2009-07-30 Toshiba Corp Photographing apparatus, picture synthesizing device, photographing method, and picture synthesizing method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001154647A (en) * 1999-11-26 2001-06-08 Canon Inc Display device, picture processor, picture display system, picture display method and storage medium
JP2001169223A (en) * 1999-12-08 2001-06-22 Nec Corp Panorama video image display system
JP2002094870A (en) * 2000-09-12 2002-03-29 Casio Comput Co Ltd Camera device, display device, image pickup range display method and image pickup range memory method
WO2005005927A1 (en) * 2003-07-10 2005-01-20 Apricot Co., Ltd. Road guide system and road guide method
JP2005217536A (en) * 2004-01-27 2005-08-11 Sony Corp Video distribution system
JP2006229631A (en) * 2005-02-17 2006-08-31 Konica Minolta Holdings Inc Image processor
JP2008244708A (en) * 2007-03-27 2008-10-09 Canon Inc Imaging apparatus and portable device
JP2008289070A (en) * 2007-05-21 2008-11-27 Aplix Corp Image display method for portable device
JP2008088558A (en) * 2007-10-17 2008-04-17 Nikko Kinzoku Kk High-strength and high-conductivity copper alloy with excellent ductility
JP2009171110A (en) * 2008-01-15 2009-07-30 Toshiba Corp Photographing apparatus, picture synthesizing device, photographing method, and picture synthesizing method

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013054318A (en) * 2011-09-06 2013-03-21 Nikon Corp Image display device
US9607358B2 (en) 2012-03-09 2017-03-28 Ricoh Company, Limited Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium
WO2013133456A1 (en) * 2012-03-09 2013-09-12 Ricoh Company, Limited Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium
JP2013214947A (en) * 2012-03-09 2013-10-17 Ricoh Co Ltd Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program
US11049215B2 (en) 2012-03-09 2021-06-29 Ricoh Company, Ltd. Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium
JP2014030104A (en) * 2012-07-31 2014-02-13 Ricoh Co Ltd Receiving device, image sharing system, receiving method, and program
JP2016507775A (en) * 2013-01-07 2016-03-10 タマゴ ホールディング エッセアー Panoramic camera
EP2998935A4 (en) * 2013-05-16 2017-06-07 Sony Corporation Image processing device, image processing method, and program
US10713525B2 (en) 2013-05-16 2020-07-14 Sony Corporation Image processing device and method to obtain a 360° image without remapping
US10063773B2 (en) 2013-07-22 2018-08-28 Olympus Corporation Photographing apparatus, photographing method and computer-readable storage medium storing photographing program of photographing apparatus
CN103533266A (en) * 2013-10-01 2014-01-22 中国人民解放军国防科学技术大学 360-degree stitched-type panoramic camera with wide view field in vertical direction
JP2016092691A (en) * 2014-11-07 2016-05-23 キヤノン株式会社 Image processing device, method for controlling the same, program, and storage medium
US10200606B2 (en) 2014-11-07 2019-02-05 Canon Kabushiki Kaisha Image processing apparatus and control method of the same
US10992861B2 (en) 2017-03-14 2021-04-27 Nikon Corporation Image processing device and electronic device
US11716539B2 (en) 2017-03-14 2023-08-01 Nikon Corporation Image processing device and electronic device
US11049220B2 (en) 2018-07-10 2021-06-29 Canon Kabushiki Kaisha Display control apparatus, display control method, and non-transitory computer readable medium
JP2020043575A (en) * 2019-10-31 2020-03-19 株式会社リコー Imaging apparatus, imaging method and program
CN113271411A (en) * 2021-04-17 2021-08-17 深圳市圆周率软件科技有限责任公司 Method for viewing panoramic image and playing device
CN113271411B (en) * 2021-04-17 2024-02-27 圆周率科技(常州)有限公司 Panoramic image viewing method and playing device

Similar Documents

Publication Publication Date Title
JP2011040898A (en) Imaging reproducing device and program
CN105979123B (en) Image processing system, image processing method, and program
JP3743828B2 (en) Electronic camera
JP2017168882A (en) Image processing apparatus, image processing method, and program
JP4748442B2 (en) Imaging apparatus and program thereof
JP4696614B2 (en) Image display control device and program
KR20050109190A (en) Wide image generating apparatus and method using a dual camera
JP6312426B2 (en) Imaging apparatus and control method thereof
JP2007096774A (en) Image display device and program
JP2010114599A (en) Digital camera
JP6256513B2 (en) Imaging system, imaging apparatus, method, and program
JP7306089B2 (en) Image processing system, imaging system, image processing device, imaging device, and program
JP6643008B2 (en) Image processing apparatus, control method thereof, control program, and storage medium
JP2004248171A (en) Moving image recorder, moving image reproduction device, and moving image recording and reproducing device
JP5021370B2 (en) Imaging apparatus, display method, and program
JP2006253795A (en) Digital camera
JP2012151708A (en) Imaging device
JP2006020105A (en) Imaging device, slot picture photographing method and program
JP2012124614A (en) Imaging apparatus and imaging apparatus control method
JP2017085466A (en) Imaging apparatus and its control method
JPH11122521A (en) Digital image pickup device and image pickup method
JP2007036314A (en) Photographing apparatus and method, image region extract apparatus and method, and program
JP5696525B2 (en) Imaging apparatus, imaging method, and program
JP2017204666A (en) Imaging device
JP2009284124A (en) Overhead camera , imaging method, and overhead camera system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130913

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140422

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140430

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20140627