JP2010199971A - Image pickup apparatus, imaging method, and program - Google Patents

Image pickup apparatus, imaging method, and program Download PDF

Info

Publication number
JP2010199971A
JP2010199971A JP2009042288A JP2009042288A JP2010199971A JP 2010199971 A JP2010199971 A JP 2010199971A JP 2009042288 A JP2009042288 A JP 2009042288A JP 2009042288 A JP2009042288 A JP 2009042288A JP 2010199971 A JP2010199971 A JP 2010199971A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
imaging
means
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009042288A
Other languages
Japanese (ja)
Other versions
JP2010199971A5 (en )
Inventor
Morio Yamauchi
労雄 山内
Original Assignee
Casio Computer Co Ltd
カシオ計算機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

PROBLEM TO BE SOLVED: To simply image an omni-directional three-dimensional image by a general user, without the use of special apparatuses.
SOLUTION: A control part (CPU) 20 obtains, in real time, the pitch angle, yaw angle, and roll angle of a sensor measured by a three-axis magnetic sensor 34, in a state with a half-pushed shutter button during imaging of omni-directional three-dimensions. The optical axis coordinates of a digital camera, the rotational angle of a digital camera, and the spherical coordinates of a shot image are calculated by the pitch, the yaw, and the roll to calculate a memory address, to which the shot image in the direction should be recorded according to the optical axis coordinate, the rotational angle, and the spherical coordinate, accessing an image memory 31 according to the memory address which displays the imaged area in monochrome (transluscence), in an identifiable manner together with a through-image on a display part 25, when the previously photographed imaged data (hereinafter, to be referred to as "photographed image") is recorded.
COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。 The present invention relates to an imaging apparatus, an imaging method and a program.

従来より、デジタルカメラにおいて、左(右)から右(左)へと順番に撮影し、撮影した画像を結合することにより、横方向360°パノラマ撮影を行う技術や、同様に下(上)から上(下)へと順番に撮影し、撮影した画像を結合することにより、縦方向の連続した撮影を行う技術が知られている(例えば、特許文献1、2参照)。 Conventionally, a digital camera, captured in order from the left (right) to right (left), by combining the captured images, techniques and performing lateral 360 ° panorama, likewise from the bottom (top) taken in order to top (bottom), by combining the captured images, a technique for the vertical continuous shooting has been known (e.g., see Patent documents 1 and 2). いずれの場合も、画像が途切れることのないように、撮影する度に1つ前の撮影済み画像の一部を表示部に半透明に表示しておき、次の撮影時のスルー画像をその半透明の撮影済み画像に合わせるように、構図(撮影位置、撮影方向)を決めさせるよう、ユーザに案内するようになっている。 In any case, so as not to image interruption, the display portion a part of the previous captured image every time the captured leave displayed translucent, its half the through image at the time of the next shooting to match the transparency of recorded images, composition (photographing position, photographing direction) to make decided, so as to guide the user.

また、近年、インターネット上で2次元の地図の所望する位置を指定することで、その位置における横方向360°の撮影画像を見ることができる技術が知られている(例えば、非特許文献1参照)。 In recent years, by specifying a desired position of the two-dimensional map on the Internet, techniques that can be seen captured image in the lateral direction 360 ° are known at that position (e.g., see Non-Patent Document 1 ). この技術では、自動車のルーフに少なくとも4方向(前後左右)に向いた4つのデジタルカメラを設置しておき、道路を走行しながら、所定の間隔で上記4つのデジタルカメラで一度に撮影し、これを合成することで、横方向360°の撮影画像を得ている。 In this technique, the four digital cameras oriented in at least four directions (front, rear, right and left) on the roof of the automobile in advance installed, while traveling on the road, taking at once the four digital cameras at a predetermined interval, which by synthesizing, to obtain a photographed image in the lateral direction 360 °.

特開2007−174301号公報 JP 2007-174301 JP 特開2005−184533号公報 JP 2005-184533 JP

ところで、近年、デジタルカメラが普及することで、様々な特殊撮影技術を手軽に(あるいは自動的に)誰でもが楽しめるようになってきているが、まだ、全立体方位で撮影するための技術は提案されていない。 By the way, in recent years, a digital camera that is popular, but has become a variety of (or in automatically) a special shooting techniques easy anyone can enjoy as, still, technology for shooting in all three-dimensional orientation It proposed that are not. しかしながら、特殊レンズ(魚眼レンズ)を用いて天頂方向を撮影する技術は、銀塩カメラでも知られているが、この場合、撮影画像がひどく歪んでしまうという問題がある。 However, a technique for capturing the zenith direction using a special lens (fisheye lens), also known in the silver halide camera, in this case, there is a problem that the photographed image is distorted severely.

また、上記従来技術による、水平方向360°パノラマ撮影、あるいは垂直方向連続撮影を行うデジタルカメラでは、予め決められた方向、すなわち、水平方向360°、および/または垂直方向でしか連続画像を撮影することができないという問題がある。 Further, according to the prior art described above, in the digital camera for horizontally 360 ° panorama, or vertical continuous shooting, a predetermined direction, i.e., only taking a continuous image in the horizontal direction 360 °, and / or vertical direction that there is a problem that can not be.

また、前述したように、横方向360°の撮影画像を一度に撮影する技術も実用化されてはいるが、やはり横方向360°でしか撮影することができず、あくまで特殊な装置であり、一般的でなく、通常のユーザが手軽に用いることはできないという問題がある。 Further, as described above, a technique for capturing a photographic image of the lateral 360 ° at a time also is put into practical use, can not be also captured only in the transverse direction 360 °, is only a special apparatus, common rather, there is a regular user is a problem that can not be used with ease.

このように、従来、特殊な装置を用いることなく、一般のユーザが手軽に全立体方位で撮影することができる技術は知られていない。 Thus, conventionally, without using a special apparatus, a technique common users can be easily taken with all stereo orientation is not known. しかしながら、全立体方位の撮影画像があると、写真の楽しみ方を広げることができることは明らかである。 However, when there is a camera image of the whole solid directions, it is clear that it is possible to widen the enjoyment of photograph. 全立体方位となると、2次元的にどの部分が撮影済みかを、ユーザが記憶して撮影することが困難となるため、例えば、水平方向にはうまく重ね合わせて撮影されても、縦方向には未撮影の隙間が残ったり、重複部分が多くなりすぎたりし、失敗なく効率的に撮影を行なうことは不可能である問題がある。 When the whole solid directions, a two-dimensional manner which part or photographed, since the user becomes difficult to photograph stored, for example, be photographed superimposed well horizontally, vertically or remains a gap of not shooting, the overlapping portion is or too many, there is a problem is possible to perform without failure efficiently shooting is impossible.

そこで本発明は、特殊な装置を用いることなく、一般のユーザが手軽に全立体方位で撮影することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。 The present invention, without using a special apparatus, an imaging apparatus for a general user can be easily taken with whole solid direction, and an object thereof is to provide an imaging method, and a program.

上記目的達成のため、この発明は、撮像手段と、表示手段と、前記撮像手段の撮影方向をリアルタイムに検知する検知手段と、前記撮像手段により撮像される全方位における撮影済みの画像を、前記検知手段により検知された撮影方向に対応付けて記憶する記憶手段と、前記検知手段により検知された撮影方向に対する前記記憶手段による画像の記憶状況をリアルタイムに読み出し、その記憶状況を前記表示手段に表示する表示制御手段とを備えることを特徴とする撮像装置である。 For the above purpose achieve, the invention includes an imaging means, display means, a detection means for detecting a photographing direction of the imaging means in real time, the photographed image in all directions that is imaged by the imaging means, the storage means for storing in association with the detected photographing direction through the sensing unit reads the storage state of the image by said storing means with respect to the detected photographing direction by said detecting means in real time, view the storage status on the display means an imaging apparatus characterized by comprising a display control means for.

また、好ましい態様として、例えば請求項2記載のように、請求項1に記載の撮像装置において、前記表示手段は、前記撮像手段により撮像される全方位における画像をスルー表示し、前記表示制御手段は、前記検知手段により検知された撮影方向に対する前記記憶手段による画像の記憶状況をリアルタイムに読み出し、前記表示手段にスルー表示されている画像上に、撮影済み領域と非撮影済み領域とを識別可能に表示する、ことを特徴とする、ことを特徴とする。 In a preferable embodiment, for example, as according to claim 2, in the imaging apparatus according to claim 1, wherein the display means, the image and through display of the omnidirectional captured by the imaging means, the display control means reads the storage state of the image by said storing means with respect to the detected photographing direction by said detecting means in real time, the on image being through display on the display unit, can be identified and photographed area and the non-photographed area displayed on, characterized in that characterized in that.

また、好ましい態様として、例えば請求項3記載のように、請求項2に記載の撮像装置において、前記表示制御手段は、前記表示手段にスルー表示されている画像上で、非撮影済み領域をカラー表示し、撮影済み領域をモノクロ表示する、ことを特徴とする、ことを特徴とする。 In a preferable embodiment, for example, as according to claim 3, the color in the image pickup apparatus according to claim 2, wherein the display control unit, on an image that is through display on the display means, a non-photographed area displayed, the photographed area is a monochrome display, characterized in that, characterized in that.

また、好ましい態様として、例えば請求項4記載のように、請求項1に記載の撮像装置において、前記表示手段は、前記撮像手段により撮像される全方位における画像をスルー表示し、前記表示制御手段は、前記記憶手段に撮影方向に対応付けて記憶されている撮影済みの画像を、前記検知手段により検知された撮影方向に基づいてリアルタイムに読み出し、前記表示手段にスルー表示されている画像上に識別可能に合成して表示する、ことを特徴とする。 In a preferable embodiment, for example, as according to claim 4, wherein, in the imaging apparatus according to claim 1, wherein the display means, the image and through display of the omnidirectional captured by the imaging means, the display control means is a photographed image stored in association with the imaging direction in the storage means, read in real time on the basis of the detected photographing direction by said detecting means, on the image being through display on the display means Show identifiable synthesized to, characterized in that.

また、好ましい態様として、例えば請求項5記載のように、請求項4に記載の撮像装置において、前記表示制御手段は、撮影済みの画像を、前記表示手段にスルー表示されている画像上に半透明で識別可能に合成して表示する、ことを特徴とする。 In a preferable embodiment, for example, as according to claim 5, in the imaging apparatus according to claim 4, wherein the display control unit, a photographed image, half on the image being through display on the display means Show transparent identifiable synthesized by, characterized in that.

また、好ましい態様として、例えば請求項6記載のように、請求項1乃至5のいずれかに記載の撮像装置において、前記検知手段は、前記撮像手段による撮影方向として、上下方向、左右方向、及び回転方向を検出する、 In a preferable embodiment, for example, as according to claim 6, wherein, in the imaging device according to any one of claims 1 to 5, wherein the detecting means, as the photographing direction of the imaging means, the vertical direction, lateral direction, and detecting the direction of rotation,
ことを特徴とする。 It is characterized in.

また、好ましい態様として、例えば請求項7記載のように、請求項1乃至6のいずれかに記載の撮像装置において、全方位に対する全ての撮影を完了したことを判定して通知する撮影完了通知手段を更に備えることを特徴とする。 Further, preferred embodiments, for example, as according to claim 7, wherein, in the imaging device according to any one of claims 1 to 6, photographing completion notifying unit for notifying to determine that it has completed all of the imaging for all directions and further comprising a.

また、好ましい態様として、例えば請求項8記載のように、請求項1乃至7のいずれかに記載の撮像装置において、前記検知手段により検知された前記撮像手段による撮影方向を、前記記憶手段の記憶領域アドレスに変換する変換手段を更に備え、前記記憶手段は、前記変換手段に変換された記憶領域アドレスで示される記憶領域に前記撮像手段により撮像される全方位における撮影済みの画像を記憶する、ことを特徴とする。 In a preferable embodiment, for example, as according to claim 8, in the imaging device according to any one of claims 1 to 7, the imaging direction of the imaging means is detected by said detecting means, storage of the storage means further comprising a conversion means for converting the area address, said storage means stores the photographed image in all directions that is imaged by the imaging means in a storage area indicated by the converted storage area address to the conversion means, it is characterized in.

また、上記目的達成のため、請求項9記載の発明は、撮像部により撮像した画像を表示部に表示するとともに、記憶部に記憶する撮像方法であって、前記撮像部の撮影方向をリアルタイムに検知するステップと、前記撮像部により撮像される全方位における撮影済みの画像を、前記検知された撮影方向に対応付けて前記記憶部に記憶するステップと、前記検知された撮影方向に対する前記記憶部による画像の記憶状況をリアルタイムに読み出し、その記憶状況を前記表示部に表示するステップとを含むことを特徴とする撮像方法である。 Also, for the purposes achieved, the invention of claim 9, wherein, together with the display unit an image captured by the imaging unit, an imaging method to be stored in the storage unit, the imaging direction of the imaging unit in real time a step of detecting, a photographed image in all directions that is imaged by the imaging unit, and storing in the storage unit in association with the detected photographing direction, the storage unit for the detected photographing direction It reads the storage state of the image in real time by an imaging method which comprises the step of displaying the stored status on the display unit.

また、好ましい態様として、例えば請求項10記載のように、請求項9に記載の撮像装置において、全方位に対する全ての撮影を完了したことを判定して通知するステップを更に含むことを特徴とする。 In a preferable embodiment, for example, as according to claim 10, wherein, in the imaging apparatus according to claim 9, characterized in that it further comprises a step of notifying to determine that it has completed all of the imaging for all directions .

また、好ましい態様として、例えば請求項11記載のように、請求項9または10に記載の撮像装置において、前記検知された前記撮像部による撮影方向を、前記記憶部の記憶領域アドレスに変換するステップと、前記変換された記憶領域アドレスで示される記憶領域に前記撮像部により撮像される全方位における撮影済みの画像を記憶するステップとを更に含むことを特徴とする。 In a preferable embodiment, for example, as according to claim 11 wherein the step of converting the imaging apparatus according to claim 9 or 10, the photographing direction of the sensed image pickup unit, the storage area address of the storage unit When, characterized in that it comprises the step of storing a photographed image in all directions that are captured by the transformed image pickup unit in a storage area indicated by the memory area address further.

また、上記目的達成のため、請求項12記載の発明は、撮像部と、該撮像部により撮像した画像を表示する表示部と、撮影した画像を記憶する記憶部とを備える撮像装置のコンピュータに、前記撮像部の撮影方向をリアルタイムに検知するステップと、前記撮像部により撮像される全方位における撮影済みの画像を、前記検知された撮影方向に対応付けて前記記憶部に記憶するステップと、前記検知された撮影方向に対する前記記憶部による画像の記憶状況をリアルタイムに読み出し、その記憶状況を前記表示部に表示するステップとを実行させることを特徴とするプログラムである。 Also, for the purposes achieved, invention according to claim 12, an imaging unit, a display unit for displaying an image captured by the imaging unit, the computer of an imaging apparatus and a storage unit for storing the captured image a step of detecting a photographing direction of the imaging unit in real time, and storing the photographed image in all directions that is imaged by the imaging unit, in the storage unit in association with the detected photographing direction, It reads the storage state of the image by the storage unit for the detected photographing direction in real time, a program characterized by and a step of displaying the stored status on the display unit.

この発明によれば、特殊な装置を用いることなく、一般のユーザが手軽に全立体方位で撮影することができるという利点が得られる。 According to the present invention, without using a special apparatus has the advantage that ordinary users can be easily taken with whole solid directions.

本発明の実施形態によるデジタルカメラの構成を示すブロック図である。 Is a block diagram showing the configuration of a digital camera according to an embodiment of the present invention. 本実施形態によるデジタルカメラでの全立体方位撮影でのカメラの光軸座標と撮影画像の球座標とを説明するための概念図である。 It is a conceptual diagram for explaining the spherical coordinates of the camera optical axis coordinates and the photographed image of the entire three-dimensional directions taken in the digital camera according to the present embodiment. 本実施形態によるデジタルカメラをある方向に向けてシャッタ半押し状態にした場合の様子を説明するための模式図である。 In a direction that is the digital camera according to the present embodiment is a schematic diagram for explaining a state of a case where a state press the shutter half. 本実施形態によるデジタルカメラをある方向に向けてシャッタ半押し状態にした場合のスルー画像の表示例を示す模式図である。 In a direction that is the digital camera according to the present embodiment is a schematic diagram showing a display example of a through image when the state press the shutter half. 本実施形態によるデジタルカメラにおいて、全立体方位の撮影状況をユーザに知らせるための一表示例を示す模式図である。 In the digital camera according to the present embodiment is a schematic diagram showing an example display for informing the photographing condition of the whole solid directions to the user. 本実施形態によるデジタルカメラの全立体方位撮影時の動作を説明するためのフローチャートである。 It is a flow chart for explaining the operation of the all solid directions shoot digital camera according to the present embodiment. 本実施形態によるデジタルカメラにおいて、既撮影済画像との重ね具合を適切にガイドする場合の表示例を示す模式図である。 In the digital camera according to the present embodiment is a schematic diagram showing a display example in the case of appropriately guiding a lap condition of the already-captured-image-.

以下、本発明の実施の形態を、図面を参照して説明する。 Hereinafter, the embodiments of the present invention will be described with reference to the drawings.

A. A. 実施形態の構成 図1は、本発明の実施形態によるデジタルカメラの構成を示すブロック図である。 Configuration of the Embodiment FIG. 1 is a block diagram showing the configuration of a digital camera according to an embodiment of the present invention. 図において、画像取得部10は、レンズ11、シャッタ12、LPF13からなる。 In the figure, the image acquiring unit 10, a lens 11 and a shutter 12, LPF 13. レンズ11は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。 Lens 11 is a conventional optical lens, a lens group of repeated aspherical lens. シャッタ12は、シャッタボタンが操作されると、制御部20によって駆動されるドライバ14により動作する、所謂メカニカルシャッタである。 The shutter 12, the shutter button is operated, operated by a driver 14 driven by the control unit 20 is a so-called mechanical shutter. なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ14で行なう。 Depending on the digital camera, may not provided with a mechanical shutter, a lens structure of the collapsible case of models equipped with mechanical zoom, these drive control is also performed by the driver 14. LPF13は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。 LPF13 is a crystal low-pass filter is mounted to prevent the occurrence of moire.

次に、アナログ信号処理部15は、撮像センサ(CCD,CMOS)16、サンプリング/信号増幅処理部17、A/Dコンバータ18からなる。 Next, the analog signal processing unit 15 is composed of an imaging sensor (CCD, CMOS) 16, a sampling / signal amplification processing section 17, A / D converter 18. 撮像センサ16は、被写体画像(イメージ)を結像し、RGBの各色の光の強さを、電流値に変換する。 Image sensor 16 images the object image (image), the intensity of each of the RGB colors of light is converted into a current value. サンプリング/信号増幅処理部17は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行なう。 Sampling / signal amplification processing unit 17 performs a correlated double sampling processing or signal amplifying processing in order to suppress noise or color irregularity. A/Dコンバータ18は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する(RGB,CMYG各色について12bitデータに変換してバスラインに出力する)。 A / D converter 18, also called analog front end, (outputs RGB, and converts the 12bit data bus line for each CMYG color) the analog signals sampled and amplified into a digital signal.

次に、画像メモリ31は、撮影された画像データを全立体方位における位置情報と対応付けて記録するためのメモリであり、全立体方位における全ての撮影済み部分の画像データを記録管理するとともに、全立体方位における撮影済み領域と非撮影済み領域とを管理する役割を果たすものである。 Next, the image memory 31 is a memory for recording photographed image data in association with position information in the whole solid directions, and records managing image data of all the photographed portions in all the three-dimensional directions, those responsible for managing the photographed area and the non-photographed area in all three-dimensional directions. このような全立体方位を考慮して画像データと撮影済み領域を管理するための具体的な方法としては、いくつかの方法が考えられるが、1つの方法は、撮影された各々の画像データは通常の画像ファイルとして個別に記録するとともに、各画像ファイルと対応付けて全立体方位における撮影位置(撮影領域)の情報を記録する方法である。 Such a specific method for taking into account the whole solid directions managing photographed area and the image data, several methods are considered, one method, the image data for each captured in with individually recorded as a normal image file, a method for recording information on the photographing position (photographing region) in all the three-dimensional directions in association with each image file.

他の方法は、全立体方位の各位置と相互にアドレス変換可能な1つの大きなビットマップメモリを設け、撮影して得られた画像データを、このビットマップメモリ上に上書き合成していく方法であり、未撮影の部分は初期状態で黒(または白)で塗りつぶしておくことにより、黒(または白)で塗りつぶされている領域部分を画像処理などによって検出することにより撮影済み領域と非撮影済み領域とを判断することが可能である。 Other methods, a large bit map memory each location mutually with one possible address translation of all three-dimensional directions is provided, the image data obtained by photographing, in a manner that will overwrite synthesized on the bit map memory There, unexposed portions by previously filled in black in the initial state (or white), black (or white) non photographed and photographed area by detecting by a filled and are region part image processing such as in it is possible to determine the area.

上記いずれの方法を用いてもよいが、ここでは後者の方法を用いるものとする。 It said any method may be used, but here it is assumed that using the latter method. また、これらの方法は周知技術であるため詳細な説明は省略する。 Also, a detailed description of these methods are well known techniques are omitted.

次に、制御部(CPU)20は、後述するプログラムメモリ30に格納されるプログラムを実行してデジタルカメラ(撮像装置)の全体を制御する。 Next, the control unit (CPU) 20 controls the entire digital camera (image pickup apparatus) by executing a program stored in a program memory 30 which will be described later. 特に、本実施形態では、制御部(CPU)20は、全立体方位撮影中に、シャッタ半押し状態でリアルタイムに、後述する3軸磁気センサ34により計測されたセンサのピッチ(方位角θ)、ヨー(仰角φ)、ロール(回転角ψ)を取得し、これらピッチ(方位角θ)、ヨー(仰角φ)、ロール(回転角ψ)からデジタルカメラの光軸座標、デジタルカメラの回転角、及び撮影画像の球座標を算出し、該光軸座標、回転角、及び球座標に従って、その方向で撮影された画像が記録されるべき、メモリアドレスを算出し、該メモリアドレスに従って画像メモリ31をアクセスし、既に撮影済みの画像データ(以下、既撮影済画像という)が一部でも記録されている場合には、スルー画像上における既撮影済み部分に対応する領域をモノクロ(半透明 In particular, in the present embodiment, the control unit (CPU) 20, in the total solid orientation imaging, in real time while pressing the shutter half, the pitch (azimuth theta) of the sensor measured by the three-axis magnetic sensor 34 which will be described later, yaw (elevation angle phi), the roll acquires (rotation angle [psi), these pitch (azimuth theta), yaw (elevation angle phi), the roll axial coordinate of the digital camera from the (rotation angle [psi), the rotation angle of the digital camera, and calculates the spherical coordinates of the captured image, optical axis coordinate, the rotation angle, and in accordance with spherical coordinates, to images taken in that direction is recorded, and calculates the memory address, the image memory 31 in accordance with the memory address access already photographed image data (hereinafter, already referred to a captured images) when is recorded even partially, monochromatic areas corresponding to the already photographed portion on the through image (translucent で識別表示するように制御する。 In controls to identification. また、このときに、スルー画像上をモノクロ(半透明)で識別表示するのではなく、既撮影済み画像の一部をモノクロ(半透明)で、スルー画像に合成して表示部25に表示するよう制御してもよい。 Further, in this case, instead of identification with the above through image monochrome (translucent), a portion of the already captured image in monochrome (translucent), the display unit 25 by combining the through image it may be controlled so. まだ一度もその方向で撮影されていない場合には、当然、モノクロ(半透明)で識別表示されたり、既撮影済画像が表示されたりしない。 If not yet taken by even its direction once, of course, monochrome or identified displayed (translucent), already captured-image-no or displayed.

したがって、ユーザがシャッタ半押し状態でデジタルカメラを任意の方向に振ると、一度でも撮影されている場合には、リアルタイムで既撮影済み領域がモノクロ(半透明)で識別表示されることになる(または、リアルタイムで既撮影済画像がモノクロ(半透明)でスルー画像に合成されて表示部25に表示されることになる)。 Therefore, when the user shakes the digital camera in any direction in a state pressed the shutter half, when being photographed even once, so that the already photographed area in real time is identification in monochrome (translucent) ( or, already a captured image is to be displayed on the display section 25 are synthesized in the through image in monochrome (translucent) in real time). ユーザは、スルー画像と既撮影済画像との位置関係をリアルタイムで確認しながら、既撮影済画像と連続するように撮影レームを定めることが可能となる。 The user, while checking the positional relationship between the through image and the previously captured-image-in real time, it is possible to determine the shooting frame so as to be continuous with the pre-captured-image-. すなわち、全立体方位の画像を隙間なく撮影するためには、ユーザは、表示部25に既撮影済み領域がモノクロ(半透明)で識別表示されるように撮影フレームを定めればよい。 That is, in order to photograph an image of the whole solid directions without gaps, the user may be determined photographing frame as already photographed area on the display unit 25 is identification in monochrome (translucent).

制御部(CPU)20は、シャッタが全押しされると、その時点において3軸磁気センサ34により計測されたピッチ(方位角θ)、ヨー(仰角φ)、ロール(回転角ψ)を元に算出または変換されたメモリアドレスに従って、撮影画像データを画像メモリ31に保存する。 Control unit (CPU) 20, when the shutter is fully pressed, the pitch measured by the 3-axis magnetic sensor 34 at that time (azimuth theta), yaw (elevation angle phi), based on the roll (rotation angle [psi) in accordance with the calculated or converted memory address and stores the photographed image data in the image memory 31. したがって、既撮影済画像部分がある場合には、該既撮影済画像部分、すなわち重複部分は上書きされ、未撮影部分は、新たに記録されることになる。 Therefore, if there is already a Captured image portion, 該既 photographed-image-portion, i.e. overlapping part is overwritten, unexposed portions will be newly recorded.

なお、本実施形態では、従来技術のように撮影する順番が決まっておらず、任意の位置を任意の(ランダムな)順番で撮影することが可能となっている。 In the present embodiment, not decided order of photographing as in the prior art, it is possible to photograph an arbitrary position in an arbitrary (random) order. また、本実施形態では、デジタルカメラの光軸座標、及び撮影画像の球座標から画像メモリ31のメモリアドレスへの変換は、光軸座標、回転角、及び撮影画像の球座標とメモリアドレスとを対応付けた変換テーブルを用意し、該変換テーブルを介して変換してもよし、所定の演算式に従って算出してもよい。 Further, in the present embodiment, the conversion of the axial coordinate of the digital camera, and a spherical coordinate of the captured image to the memory address of the image memory 31, the axial coordinate, the rotation angle, and the spherical coordinates and memory address of the captured image providing a conversion table associating, it is converted via the conversion table well, may be calculated according to a predetermined arithmetic expression.

プレビューエンジン22は、録画モード(記録モード、撮影モードともいう)において、画像取得部10、アナログ信号処理部15を介して入力されたデジタルデータ、もしくはシャッタ操作検出直後、イメージバッファ26に格納されたデジタルデータ、および、画像メモリ31に格納されたデジタルデータを表示部25に表示させるために間引き処理を行なう。 Preview engine 22, a recording mode in (recording mode, also referred to as shooting mode), the image acquiring unit 10, the digital data input via the analog signal processing unit 15 or after the shutter operation detection, and stored in the image buffer 26 digital data, and performs thinning processing for displaying the digital data stored in the image memory 31 on the display unit 25.

D/Aコンバータ23は、プレビューエンジン22により間引き処理されたデジタルデータを変換し、後段のドライバ24に出力する。 D / A converter 23 converts the digital data thinning processing by the preview engine 22, to the subsequent stage of the driver 24. ドライバ24は、後段の表示部25に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部27、制御部20を介して入力された制御信号に基づいて表示部25を駆動させる。 The driver 24 has a buffer area for temporarily storing digital data to be displayed on the subsequent stage of the display unit 25, a key operation unit 27, drives the display unit 25 based on the control signal input via the control unit 20. 表示部25は、カラーTFT液晶や、STN液晶などからなり、プレビュー画像や、撮影後の画像データ、設定メニューなどを表示する。 The display unit 25, and a color TFT LCD, etc. made of STN liquid crystal, the preview image and the image data after shooting, displays a configuration menu.

イメージバッファ26は、アナログ信号処理部15、もしくはデジタル信号処理部28を介して入力され、デジタル信号処理部28に渡すまで一時的に撮影直後のデジタルデータを格納する。 Image buffer 26 is input via the analog signal processing section 15 or the digital signal processor 28, and stores the digital data immediately after temporarily capturing to pass the digital signal processing unit 28. キー操作部27は、シャッタボタン7を含め、記録/再生モードの切り換えキー、十字キー、メニューキー等などの各種操作キーなどからなる。 The key operation unit 27, including a shutter button 7, switching key of the recording / reproducing mode, the cross key consists of various operation keys such as a menu key or the like. デジタル信号処理部28は、アナログ信号処理部15を介して入力されたデジタルデータ(非圧縮のRAWイメージデータ)に対して、ホワイトバランス処理、色処理、階調処理、輸郭強調を行なう。 The digital signal processing unit 28, to the digital data input via the analog signal processing section 15 (RAW image data uncompressed), performs white balance processing, color processing, gradation processing, the 輸郭 enhancement. 画像圧縮/伸張処理部29は、デジタル信号処理部28を介して入力されたデジタルデータ(非圧縮のRAWイメージデータ)をJPEG方式に圧縮符号化したり、再生モードにおいては、JPEG形式のファイルを伸張する。 Image compression / decompression processing unit 29, a digital data input via the digital signal processor 28 (RAW image data uncompressed) or compression encoding in the JPEG method, in the reproduction mode, expands the file in the JPEG format to.

プログラムメモリ30は、制御部20にロードされる各種プログラムなどを格納する。 The program memory 30 stores various programs to be loaded into the control unit 20. 画像メモリ31は、各種ファイル形式に変換されたデジタルデータを格納する。 The image memory 31 stores digital data converted into different file formats. カードI/F32は、外部記録媒体33と撮像装置本体との間のデータ交換を制御する。 Card I / F32 controls the data exchange between the external recording medium 33 and the image pickup device body. 外部記録媒体33は、コンパクトフラッシュ(登録商標)、メモリースティック、SDカード等からなる。 External recording medium 33, a compact flash (registered trademark), Memory Stick, consisting of SD card, and the like.

3軸磁気センサ34は、3軸それぞれの磁気レベルを計測するセンサであり、センサのピッチ(方位角θ)、ヨー(仰角φ)、ロール(回転角ψ)(または、姿勢を唯一に規定する3つの角度)を取得する。 3-axis magnetic sensor 34 is a sensor for measuring a three-axis respective magnetic level, the sensor pitch (azimuth theta), yaw (elevation angle phi), the roll (rotation angle [psi) (or to define a posture only three angles) to acquire. 該センサによりピッチ(方位角θ)、ヨー(仰角φ)、ロール(回転角ψ)を取得することにより、シャッタ半押し状態時、またはシャッタ全押し状態時(撮影時)のカメラの光軸方向(光軸の東西南北の方位角と仰角)と、カメラの回転角(光軸を回転軸としてどれだけ傾いているかを示す情報)とを算出することが可能となる。 Pitch by the sensor (azimuth theta), yaw (elevation angle phi), roll by obtaining the (rotation angle [psi), a camera in the optical axis direction when the state pressing the shutter half or shutter fully pressed upon, (during shooting) and (azimuth and north, south, east, and west of the optical axis angle of elevation), the rotation angle of the camera (the information indicating whether the tilted much the optical axis as a rotation axis) and it is possible to calculate the. なお、全立体方位撮影でのカメラの光軸座標と撮影画像の球座標との詳細については後述する。 Will be described in detail later with spherical coordinates of the camera's optical axis coordinates and the photographed image of the entire three-dimensional orientation shooting.

マイクロフォン36は、動画撮影時などに音声を入力する。 Microphone 36, to enter the voice, such as during movie shooting. スピーカ37は、動画再生時などに音声を出力する。 The speaker 37 outputs a voice, such as during video playback. 音声処理部38は、所定のコーディックにより符号化(圧縮)/復号化(伸張)などを行うことにより、スピーカ37へ出力する音声データのアナログ化、マイクロフォン36からの音声信号のデジタル化などを行う。 Audio processing unit 38, by performing such coding (compression) / decoding (decompression) by a predetermined codec, analog of audio data to be output to the speaker 37, performs like the digitized audio signal from the microphone 36 .

図2は、本実施形態によるデジタルカメラでの全立体方位撮影でのカメラの光軸座標と撮影画像の球座標とを説明するための概念図である。 Figure 2 is a conceptual diagram for explaining the spherical coordinates of the camera optical axis coordinates and the photographed image of the entire three-dimensional directions taken in the digital camera according to the present embodiment. 例えば、デジタルカメラをある方向に向けてシャッタ半押し状態とすると、図2に示すように、そのときの3軸磁気センサ34のピッチ(方位角θ)、ヨー(仰角φ)、ロール(回転角ψ)が取得される。 For example, if the state press the shutter half in a direction that is the digital camera, as shown in FIG. 2, the pitch (azimuth theta) of 3-axis magnetic sensor 34 at that time, the yaw (elevation angle phi), the roll (rotation angle ψ) is obtained. そして、ピッチ(方位角θ)、ヨー(仰角φ)、ロール(回転角ψ)からシャッタ半押し状態時、またはシャッタ全押し状態時(撮影時)における、カメラの光軸方向(1,θ,φ)と、カメラの回転角(ψ)と、撮影画像の球座標(1,θ ,φ )、(1,θ ,φ )、(1,θ ,φ )、(1,θ ,φ )とが算出される。 Then, the pitch (azimuth theta), yaw (elevation angle phi), in the roll when pressed halfway from (rotation angle [psi) shutter state or shutter is fully pressed state when, (during shooting), the camera in the optical axis direction (1, theta, and phi), rotation angle of the camera and ([psi), spherical coordinates of the captured image (1, θ 0, φ 0 ), (1, θ 1, φ 1), (1, θ 2, φ 2), (1 , θ 3, φ 3) and is calculated.

制御部(CPU)20は、シャッタが半押し、または全押しされると、撮影範囲が球面のどの部分であるかを、上記カメラの光軸方向(1,θ,φ)と、カメラの回転角(ψ)と、撮影画像の球座標(1,θ ,φ )、(1,θ ,φ )、(1,θ ,φ )、(1,θ ,φ )とから判別し、対応するメモリアドレスへ変換、または算出する。 Control unit (CPU) 20, the shutter is half-pressed or is fully pressed, whether shooting range is which part of the spherical surface, the optical axis direction of the camera (1, theta, phi) and the rotation of the camera angular and ([psi), spherical coordinates of the captured image (1, θ 0, φ 0 ), (1, θ 1, φ 1), (1, θ 2, φ 2), (1, θ 3, φ 3) determined from the conversion to the corresponding memory address, or calculated.

図3は、本実施形態によるデジタルカメラをある方向に向けてシャッタ半押し状態にした場合の様子を説明するための模式図である。 Figure 3 is a schematic diagram for explaining a state of a case where a state pressed the shutter half in a direction that is the digital camera according to the present embodiment. ある風景において、斜線部分A1、A2は、既に撮影した部分であり、矩形枠L1は、現在、デジタルカメラが向けられている方向で、撮影されるフレーム(画角)に相当する。 In one scene, the hatched portion A1, A2 is already photographed portions, rectangular frame L1 is a direction that is currently directed digital camera corresponds to a frame (angle of view) to be photographed.

図4は、本実施形態によるデジタルカメラをある方向に向けてシャッタ半押し状態にした場合のスルー画像の表示例を示す模式図である。 Figure 4 is a schematic view in a direction in the digital camera according to the present embodiment showing an example of display of the through image when the state press the shutter half. 上述した図3に示すような場合、デジタルカメラの表示部25には、図4に示すように、既撮影済部分(斜線部分A1、A2に相当する)Aがモノクロ(半透明)でスルー画像上に識別表示されることになる。 If, as shown in FIG. 3 described above, the digital camera of the display unit 25, as shown in FIG. 4, (corresponding to the hatched portion A1, A2) already photographed already part A is the through-image in monochrome (translucent) will be identified appears above. ユーザは、表示部25に表示されているスルー画像を見ることで、まだ撮影されていない部分を容易に識別することができ、容易に全立体方位の画像を隙間なく撮影することができる。 The user can see through image displayed on the display unit 25, it is possible to still a portion not taken can be easily identified, easily captured without a gap images in all three-dimensional directions.

図5は、本実施形態によるデジタルカメラにおいて、全立体方位の撮影状況をユーザに知らせるための一表示例を示す模式図である。 5, in the digital camera according to the present embodiment is a schematic diagram showing an example display for informing the photographing condition of the whole solid directions to the user. 前述したように、撮影時には表示部25に既撮影済部分がモノクロ(半透明)で表示される。 As mentioned above, already a Captured portion on the display unit 25 at the time of photographing is displayed in monochrome (translucent). これに加え、図5に示すように、撮影済み部分(斜線部分)と未撮影部分(白抜き部分)とを色分けなどして区別するとともに、仮想球面と現在のデジタルカメラの向き(▲)との関係を表示するようにしてもよい。 Additionally, as shown in FIG. 5, with distinguishing photographed portion with such color coding and (hatched portion) and unexposed portions (white portions), a virtual spherical surface and the direction of the current digital camera (▲) it is also possible to display the relationship.

A−2. A-2. 実施形態の動作 次に、上述した実施形態の動作について説明する。 Operation of Embodiment Next, the operation of the embodiment described above.
図6は、本実施形態によるデジタルカメラの全立体方位撮影時の動作を説明するためのフローチャートである。 Figure 6 is a flowchart for explaining the operation in the all solid directions shoot digital camera according to the present embodiment. 全立体方位撮影モードが選択されると、まず、スルー画像を表示部25に表示し(ステップS10)、シャッタ半押しであるか否かを判断する(ステップS12)。 When all the three-dimensional directions photographing mode is selected, first, it displays a through image on the display unit 25 (step S10), and determines whether or not the shutter half-pressed (step S12). そして、シャッタ半押しでない場合には、ステップS10に戻り、通常撮影と同様に、スルー画像の表示を継続する。 When you do not press the shutter half, the process returns to step S10, similarly to the normal photographing and continues to display the through image.

一方、シャッタ半押し操作された場合には、3軸磁気センサ34からピッチ(方位角θ)、ヨー(仰角φ)、ロール(回転角ψ)を取得し(ステップS14)、該ピッチ(方位角θ)、ヨー(仰角φ)、ロール(回転角ψ)から光軸方向(1,θ,φ)と、カメラの回転角(ψ)と、撮影画像の球座標(1,θ ,φ )、(1,θ ,φ )、(1,θ ,φ )、(1,θ ,φ )とを算出する(ステップS16)。 On the other hand, when it is pressed the shutter half-operated, three pitches (azimuth theta) from axis magnetic sensor 34, yaw (elevation angle phi), obtains the roll (rotation angle [psi) (step S14), and the pitch (azimuth theta), yaw (elevation angle phi), the roll (rotation angle [psi) in the optical axis direction (1, theta, and phi), rotation angle of the camera and ([psi), spherical coordinates of the captured image (1, θ 0, φ 0 ), (1, θ 1, φ 1), (1, θ 2, φ 2), (1, θ 3, φ 3) and is calculated (step S16). 次に、光軸方向(1,θ,φ)と、カメラの回転角(ψ)と、撮影画像の球座標(1,θ ,φ )、(1,θ ,φ )、(1,θ ,φ )、(1,θ ,φ )とを、画像メモリ31のメモリアドレスに変換し(ステップS18)、メモリアドレスに従って画像メモリ31から撮影画角内の撮影データを読み出す(ステップS20)。 Next, the optical axis direction (1, theta, phi) and the rotation angle of the camera and ([psi), spherical coordinates of the captured image (1, θ 0, φ 0 ), (1, θ 1, φ 1), ( 1, θ 2, φ 2) , (1, θ 3, the phi 3) and is converted to a memory address of the image memory 31 (step S18), and the imaging data in the imaging angle of view from the image memory 31 according to the memory address read (step S20).

次に、読み出した撮影データに撮影済み部分があるか否かを判断し(ステップS22)、既撮影済画像部分がある場合には、既撮影済画像部分をモノクロ(半透明)でスルー画像に識別可能に表示する(ステップS24)。 Next, it is determined whether there is a photographed part on the read captured data (step S22), and if there is already a Captured image portion, in the through image previously photographed-image-part black and white (translucent) identifiably display (step S24). なお、ここで、撮影済み部分があるか否かの判断は、読み出した撮影データに初期状態の黒(または白)のままのデータ領域があるか否かで判断する。 Here, the determination whether there is a photographed part, determines on whether the read captured data is data area remains in the initial state, black (or white). また、撮影済み領域と非撮影済み領域を示す管理データを別途記憶している場合であれば、領域の座標データを比較することで判断してもよい。 Further, in the case that separately stores management data indicating the photographed area and the non-photographed area, it may be determined by comparing the coordinate data of the area. 次に、シャッタが全押しされたか否かを判断し(ステップS26)、シャッタが全押しされなければ、ステップS10に戻り、上述した処理を繰り返す。 Then, the shutter is determined whether or not fully pressed (step S26), if the shutter is fully pressed, the process returns to step S10, and repeats the above processing.

一方、既撮影済画像部分がない場合には、そのままシャッタが全押しされたか否かを判断し(ステップS26)、シャッタが全押しされなければ、ステップS10に戻り、上述した処理を繰り返す。 On the other hand, if there is no already-captured-image-portion, it is determined whether the shutter is fully pressed (step S26), if the shutter is fully pressed, the process returns to step S10, and repeats the above processing.

したがって、ユーザがシャッタ半押し状態でデジタルカメラを任意の方向に振ると、一度でも撮影されている場合には、リアルタイムで既撮影済画像部分がモノクロ(半透明)でスルー画像上に識別可能に表示されることになる。 Therefore, when the user shakes the digital camera in any direction in a state pressed the shutter half, when being photographed even once, previously photographed-image-portion in real time monochrome distinguishably on the live image (translucent) It will be displayed. ユーザは、スルー画像と既撮影済画像との位置関係をリアルタイムで確認しながら、既撮影済画像と連続するように、あるいは既撮影済部分を除外するように撮影レームを定めることが可能となる。 The user, while checking the positional relationship between the through image and the previously captured-image-in real time, so as to be continuous with the pre-captured-image-or it is possible to determine the shooting frame to exclude already captured already partially . すなわち、全立体方位の画像を隙間なく、かつできるだけ重複することなく撮影するためには、ユーザは、表示部25に既撮影済画像部分がモノクロ(半透明)で識別表示されないように撮影フレームを定めればよい。 That is, no gap images in all three-dimensional directions, and in order to shoot without any possible overlap, the user, the captured frame as already photographed-image-portion on the display unit 25 is not identified displayed in monochrome (translucent) it may be determined.

一方、シャッタが全押しされると、上記メモリアドレスに従って撮影画像データを画像メモリ31に記録する(ステップS28)。 On the other hand, when the shutter is fully depressed, and records the photographed image data in the image memory 31 according to the memory address (step S28). すなわち、既撮影済画像部分がある場合には、該既撮影済画像部分、すなわち重複部分は上書きされ、未撮影部分は、新たに記録されることになる。 That is, if there is already a Captured image portion, 該既 photographed-image-portion, i.e. overlapping part is overwritten, unexposed portions will be newly recorded. 次に、仮想球面上の全ての領域が撮影されたか否かを判断し(ステップS30)、全ての領域が撮影されていない場合には、ステップ10に戻り、上述した処理を繰り返す。 Next, it is determined whether or not taken all the areas on the virtual sphere (step S30), when all areas are not taken, the process returns to step 10 to repeat the above processing. 一方、仮想球面上の全ての領域が撮影された場合には、全立体方位の撮影終了をモニタ等で告知し(ステップS32)、当該処理を終了する。 On the other hand, if the whole region of the virtual sphere is photographed, announced by the monitor or the like shooting end of whole solid orientation (step S32), and ends the process. なお、ここで、仮想球面上の全ての領域が撮影されたか否かの判断は、画像メモリ31の全体に初期状態の黒(または白)のままのデータ領域があるか否かで判断する。 Here, the determination whether or not all the areas taken on the virtual sphere is determined by whether or not the entire image memory 31 has data area remains in the initial state, black (or white).

上述した実施形態によれば、特殊な装置を用いることなく、一般のユーザが手軽に全立体方位の画像を撮影することができる。 According to the embodiment described above, without using a special apparatus, it is possible for a general user to easily take images of all the three-dimensional directions. また、本実施形態では、従来技術のように撮影する順番が決まっておらず、任意の位置を任意の(ランダムな)順番で撮影することができ、全立体方位の画像を隙間なく容易に撮影することができる。 Further, in the present embodiment, not decided order of photographing as in the prior art, an arbitrary position of any can be taken by (random) order, easily captured without a gap images in all three-dimensional directions can do.

なお、上述した実施形態において、全立体方位の写真撮影は、理想的には、撮像素子を中心としてカメラを回転させるように動かすことで、全方向に向けて行なわれるべきものである。 Incidentally, in the embodiment described above, photography whole solid orientation, ideally, by moving to rotate camera around the image pickup device, which should be performed in all directions. しかしながら、デジタルカメラの形態は、専用のものではなく、通常のものであるから、異なる方向を撮影するたびに、若干の平行移動成分も含まれてしまうことが考えられる。 However, the form of the digital camera, and not of only, because conventional, each time to shoot different directions, it is conceivable that would also include some translation component. これらの平行移動が激しいと、撮影対象までの距離との兼ね合いによっては、パノラマ合成のときに画像のつながりがうまくいかないこともあり得るが、本発明では、大きな破綻が起きない程度には、平行移動成分が含まれる可能性もあるとする。 When these translation severe, depending on the balance with the distance to the imaging target, but ties image when panorama may be unsuccessful, to the extent the present invention, a large collapse not occur, translating also that there can contain components.

この場合、撮影済みの領域をユーザに表示する目的で、その領域だけを明度を下げて表示部25に識別表示するときに、それまで写真を撮るたびに求めた4隅分の球座標上の点を結んだ線をそのまま撮影済み領域との境界線としてしまうと、平行移動成分があったときに、ユーザの撮影の重ね方が少ない場合には、撮り残し領域が発生してしまう可能性がある。 In this case, for the purpose of displaying the photographed area to the user, when identifying the display unit 25 only that region by lowering the brightness, four corners amount of the spherical coordinate determined each time taking pictures until it when the line connecting the points thus as it is a boundary line between the photographed area, when there is a translation component, if less overlap how shooting user may take left region occurs is there. これをできるだけ避けるため、撮影済みの領域を表示部25に識別表示するときには、求めた4隅の球座棟点よりも、若干内側の点を結んだ四角形を撮影済み領域として表示するようにすればよい。 To avoid this as much as possible, when identifying the display unit 25 the already captured area, than the four corners of the ball seat building points obtained, by a rectangle connecting points slightly inwardly so as to display a photographed area Bayoi.

あるいは、図7(a)、(b)に示すように、表示部25にガイド25−1を表示し、同図(a)に示すように、識別表示される既撮影済部分A1、A2がガイド25−1より外側に位置する場合には、取り残し領域が発生する可能性が高いので、ユーザに警告し(例えば、ガイド25−1を赤色で点滅表示し、シャッタの全押しを無効とする)、同図(b)に示すように、識別表示される既撮影済部分A3がガイド25−1より内側に位置する場合には、非警告(例えば、ガイド25−1を青や緑で表示し、シャッタの全押しを有効とする)とするようにしてもよい。 Alternatively, FIG. 7 (a), the (b), the display guide 25-1 on the display unit 25, as shown in FIG. 6 (a), already captured already part A1, A2 is identified displayed when the guide 25-1 is located outside, so there is a high possibility that left behind regions occurs, alert the user (e.g., by blinking the guide 25-1 in red, to invalidate the full press of the shutter ), as shown in FIG. (b), when already a captured part A3 to be identification is located inside the guide 25-1 is a non-alert (e.g., display the guide 25-1 in blue or green and it may be that the effective total pushing the shutter).

また、上述した実施形態では、仮想球面上の全ての領域の撮影が終了するまで全立体方位の撮影を継続するようにしたが、仮想球面上の全ての領域が撮影される前に、ユーザ操作により全立体方位撮影を中断可能にしてもよい。 Further, in the embodiment described above, but taking all the areas on the virtual sphere was made to continue the imaging of whole solid directions until the end, before the whole region of the virtual sphere is captured, a user operation it may allow interrupting the whole solid directions taken by.

10 画像取得部 11 レンズ 12 シャッタ 13 LPF 10 image acquisition unit 11 lens 12 shutter 13 LPF
14 ドライバ 15 アナログ信号処理部 16 撮像センサ 17 サンプリング/信号増幅処理部 18 A/Dコンバータ 20 制御部(CPU) 14 driver 15 the analog signal processing unit 16 image sensor 17 sampling / signal amplification processing unit 18 A / D converter 20 control unit (CPU)
22 プレビューエンジン 23 D/Aコンバータ 24 ドライバ 25 表示部 26 イメージバッファ 27 キー操作部 28 デジタル信号処理部 29 画像圧縮/伸張処理部 30 プログラムメモリ 31 画像メモリ 32 カードI/F 22 preview engine 23 D / A converter 24 driver 25 display unit 26 image buffer 27 key operation unit 28 digital signal processing unit 29 an image compression / decompression processing unit 30 a program memory 31 image memory 32 card I / F
33 外部記録媒体 34 3軸磁気センサ 38 音声処理部 36 マイクロフォン 37 スピーカ 33 external recording medium 34 3-axis magnetic sensor 38 audio processing unit 36 ​​microphone 37 loudspeaker

Claims (12)

  1. 撮像手段と、 And the imaging means,
    表示手段と、 And display means,
    前記撮像手段の撮影方向をリアルタイムに検知する検知手段と、 Detection means for detecting a photographing direction of the imaging means in real time,
    前記撮像手段により撮像される全方位における撮影済みの画像を、前記検知手段により検知された撮影方向に対応付けて記憶する記憶手段と、 A storage means for the photographed image in all directions, in association to the detected photographing direction by said detecting means to be imaged by the imaging means,
    前記検知手段により検知された撮影方向に対する前記記憶手段による画像の記憶状況をリアルタイムに読み出し、その記憶状況を前記表示手段に表示する表示制御手段と を備えることを特徴とする撮像装置。 Said read storage state of the image by said storing means with respect to the detected photographing direction by detecting means in real time, the imaging apparatus comprising: a display control means for displaying the stored status on the display means.
  2. 前記表示手段は、 The display means,
    前記撮像手段により撮像される全方位における画像をスルー表示し、 Images through display the in all directions to be imaged by the imaging means,
    前記表示制御手段は、 Wherein the display control unit,
    前記検知手段により検知された撮影方向に対する前記記憶手段による画像の記憶状況をリアルタイムに読み出し、前記表示手段にスルー表示されている画像上に、撮影済み領域と非撮影済み領域とを識別可能に表示する、 Said read storage state of the image by said storing means with respect to the detected photographing direction by detecting means in real time, on an image that has been through display on the display unit, identifiably displaying the photographed area and the non-photographed area to,
    ことを特徴とする請求項1記載の撮像装置。 Imaging device according to claim 1, wherein a.
  3. 前記表示制御手段は、 Wherein the display control unit,
    前記表示手段にスルー表示されている画像上で、非撮影済み領域をカラー表示し、撮影済み領域をモノクロ表示する、 On the image being through display on the display means, a non-photographed area displays color and monochrome displays the photographed area,
    ことを特徴とする請求項2記載の撮像装置。 Imaging device according to claim 2, wherein a.
  4. 前記表示手段は、 The display means,
    前記撮像手段により撮像される全方位における画像をスルー表示し、 Images through display the in all directions to be imaged by the imaging means,
    前記表示制御手段は、 Wherein the display control unit,
    前記記憶手段に撮影方向に対応付けて記憶されている撮影済みの画像を、前記検知手段により検知された撮影方向に基づいてリアルタイムに読み出し、前記表示手段にスルー表示されている画像上に識別可能に合成して表示する、 The photographed image stored in association with the imaging direction in the storage means, the reading in real time on the basis of the detected photographing direction by detecting means, distinguishable on the image being through display on the display means synthesized and displayed in,
    ことを特徴とする請求項1記載の撮像装置。 Imaging device according to claim 1, wherein a.
  5. 前記表示制御手段は、 Wherein the display control unit,
    撮影済みの画像を、前記表示手段にスルー表示されている画像上に半透明で識別可能に合成して表示する、 The photographed image, translucent identifiable synthesized and displayed on an image that is through display on the display means,
    ことを特徴とする請求項4記載の撮像装置。 Imaging device according to claim 4, wherein a.
  6. 前記検知手段は、 It said detection means,
    前記撮像手段による撮影方向として、上下方向、左右方向、及び回転方向を検出する、 As the imaging direction of the imaging means, the vertical direction, lateral direction, and detects the direction of rotation,
    ことを特徴とする請求項1乃至5のいずれかに記載の撮像装置。 Imaging device according to any one of claims 1 to 5, characterized in that.
  7. 全方位に対する全ての撮影を完了したことを判定して通知する撮影完了通知手段を更に備えることを特徴とする請求項1乃至6のいずれかに記載の撮像装置。 Imaging device according to any one of claims 1 to 6, further comprising a photographing completion notifying unit for notifying to determine that it has completed all of the imaging for all directions.
  8. 前記検知手段により検知された前記撮像手段による撮影方向を、前記記憶手段の記憶領域アドレスに変換する変換手段を更に備え、 The photographing direction of the imaging means is detected by said detecting means further includes a converting means for converting the storage area address of the storage means,
    前記記憶手段は、 It said storage means,
    前記変換手段に変換された記憶領域アドレスで示される記憶領域に前記撮像手段により撮像される全方位における撮影済みの画像を記憶する、 Storing photographed image in all directions that is imaged by the imaging means in a storage area indicated by the converted conversion unit storage area address,
    ことを特徴とする請求項1乃至7のいずれかに記載の撮像装置。 Imaging device according to any one of claims 1 to 7, characterized in that.
  9. 撮像部により撮像した画像を表示部に表示するとともに、記憶部に記憶する撮像方法であって、 And displays on the display unit an image captured by the imaging unit, an imaging method for storing in the storage unit,
    前記撮像部の撮影方向をリアルタイムに検知するステップと、 A step of detecting a photographing direction of the imaging unit in real time,
    前記撮像部により撮像される全方位における撮影済みの画像を、前記検知された撮影方向に対応付けて前記記憶部に記憶するステップと、 And storing the photographed image in all directions that is imaged by the imaging unit, in the storage unit in association with the detected photographing direction,
    前記検知された撮影方向に対する前記記憶部による画像の記憶状況をリアルタイムに読み出し、その記憶状況を前記表示部に表示するステップと を含むことを特徴とする撮像方法。 The sensed read a storage state of the image in real time by the storage unit for shooting direction, imaging method characterized by including the step of displaying the stored status on the display unit.
  10. 全方位に対する全ての撮影を完了したことを判定して通知するステップを更に含むことを特徴とする請求項9記載の撮像方法。 Imaging method of claim 9, wherein further comprising a step of notifying to determine that it has completed all of the imaging for all directions.
  11. 前記検知された前記撮像部による撮影方向を、前記記憶部の記憶領域アドレスに変換するステップと、 Converting the photographing direction of the sensed image pickup unit, the storage area address of the storage unit,
    前記変換された記憶領域アドレスで示される記憶領域に前記撮像部により撮像される全方位における撮影済みの画像を記憶するステップと を更に含むことを特徴とする請求項9または10に記載の撮像方法。 The imaging method according to claim 9 or 10, characterized in that it comprises further the step of storing a photographed image in all directions that is imaged by the imaging unit in a storage area indicated by the converted storage area address .
  12. 撮像部と、該撮像部により撮像した画像を表示する表示部と、撮影した画像を記憶する記憶部とを備える撮像装置のコンピュータに、 An imaging unit, a display unit for displaying an image captured by the imaging unit, the computer of an imaging apparatus and a storage unit for storing a photographed image,
    前記撮像部の撮影方向をリアルタイムに検知するステップと、 A step of detecting a photographing direction of the imaging unit in real time,
    前記撮像部により撮像される全方位における撮影済みの画像を、前記検知された撮影方向に対応付けて前記記憶部に記憶するステップと、 And storing the photographed image in all directions that is imaged by the imaging unit, in the storage unit in association with the detected photographing direction,
    前記検知された撮影方向に対する前記記憶部による画像の記憶状況をリアルタイムに読み出し、その記憶状況を前記表示部に表示するステップと を実行させることを特徴とするプログラム。 A program characterized by and a step of reading out the storage state of the image by the storage unit for the detected photographing direction in real time and displays the storage status to the display unit.

JP2009042288A 2009-02-25 Pending JP2010199971A5 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009042288A JP2010199971A5 (en) 2009-02-25

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009042288A JP2010199971A5 (en) 2009-02-25

Publications (2)

Publication Number Publication Date
JP2010199971A true true JP2010199971A (en) 2010-09-09
JP2010199971A5 true JP2010199971A5 (en) 2012-03-29

Family

ID=

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4763847B1 (en) * 2010-08-30 2011-08-31 楽天株式会社 Image converter, image processing apparatus, and image processing system
JP4783859B1 (en) * 2010-08-30 2011-09-28 楽天株式会社 Image converter, image processing system, an image conversion method, a program, and an information recording medium
JP2012222541A (en) * 2011-04-07 2012-11-12 Casio Comput Co Ltd Imaging apparatus, image compositing method and program
JP2013003259A (en) * 2011-06-14 2013-01-07 Pentax Ricoh Imaging Co Ltd Azimuth measurement method and azimuth measurement instrument using three-axis electronic compass
JP2014053794A (en) * 2012-09-07 2014-03-20 Nintendo Co Ltd Information processing program, information processing apparatus, information processing system, and information processing method
JP2014509126A (en) * 2011-01-31 2014-04-10 サムスン エレクトロニクス カンパニー リミテッド Photographing equipment and a method for panoramic photography to shoot a panoramic image
EP2779114A1 (en) 2013-03-11 2014-09-17 Dai Nippon Printing Co., Ltd. Apparatus for interactive virtual walkthrough
JP2016095310A (en) * 2015-12-04 2016-05-26 リコーイメージング株式会社 Bearing measurement method and bearing measurement device
JP2016134921A (en) * 2015-01-19 2016-07-25 株式会社リコー Preview image acquisition user interface for linear panoramic image stitching
US9594980B1 (en) 2015-01-19 2017-03-14 Ricoh Co., Ltd. Image acquisition user interface for linear panoramic image stitching

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259557A (en) * 1993-03-09 1994-09-16 Toshiba Corp Picture input device
JPH1169293A (en) * 1997-08-21 1999-03-09 Sony Corp Image processing system and camcorder
JPH1175108A (en) * 1997-08-28 1999-03-16 Casio Comput Co Ltd Camera device and image pickup method
JP2001057652A (en) * 1999-08-18 2001-02-27 Ricoh Co Ltd Image input device and image input method
JP2001298652A (en) * 2000-04-17 2001-10-26 Sony Corp Method and device for compressing image and software storage medium
JP2007174301A (en) * 2005-12-22 2007-07-05 Toshiba Corp Image photographing apparatus
JP2007266667A (en) * 2006-03-27 2007-10-11 Nec Electronics Corp Camera-equipped mobile apparatus, control method thereof, and photographing support method thereof
JP2008306284A (en) * 2007-06-05 2008-12-18 Olympus Imaging Corp Photographing apparatus, display method and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259557A (en) * 1993-03-09 1994-09-16 Toshiba Corp Picture input device
JPH1169293A (en) * 1997-08-21 1999-03-09 Sony Corp Image processing system and camcorder
JPH1175108A (en) * 1997-08-28 1999-03-16 Casio Comput Co Ltd Camera device and image pickup method
JP2001057652A (en) * 1999-08-18 2001-02-27 Ricoh Co Ltd Image input device and image input method
JP2001298652A (en) * 2000-04-17 2001-10-26 Sony Corp Method and device for compressing image and software storage medium
JP2007174301A (en) * 2005-12-22 2007-07-05 Toshiba Corp Image photographing apparatus
JP2007266667A (en) * 2006-03-27 2007-10-11 Nec Electronics Corp Camera-equipped mobile apparatus, control method thereof, and photographing support method thereof
JP2008306284A (en) * 2007-06-05 2008-12-18 Olympus Imaging Corp Photographing apparatus, display method and program

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4763847B1 (en) * 2010-08-30 2011-08-31 楽天株式会社 Image converter, image processing apparatus, and image processing system
JP4783859B1 (en) * 2010-08-30 2011-09-28 楽天株式会社 Image converter, image processing system, an image conversion method, a program, and an information recording medium
JP2014509126A (en) * 2011-01-31 2014-04-10 サムスン エレクトロニクス カンパニー リミテッド Photographing equipment and a method for panoramic photography to shoot a panoramic image
JP2012222541A (en) * 2011-04-07 2012-11-12 Casio Comput Co Ltd Imaging apparatus, image compositing method and program
US9253365B2 (en) 2011-04-07 2016-02-02 Casio Computer Co., Ltd. Image processing device for generating composite image having predetermined aspect ratio
JP2013003259A (en) * 2011-06-14 2013-01-07 Pentax Ricoh Imaging Co Ltd Azimuth measurement method and azimuth measurement instrument using three-axis electronic compass
JP2014053794A (en) * 2012-09-07 2014-03-20 Nintendo Co Ltd Information processing program, information processing apparatus, information processing system, and information processing method
EP2779114A1 (en) 2013-03-11 2014-09-17 Dai Nippon Printing Co., Ltd. Apparatus for interactive virtual walkthrough
US9961260B2 (en) 2015-01-19 2018-05-01 Ricoh Company, Ltd. Preview image acquisition user interface for linear panoramic image stitching
JP2016134921A (en) * 2015-01-19 2016-07-25 株式会社リコー Preview image acquisition user interface for linear panoramic image stitching
CN105809620A (en) * 2015-01-19 2016-07-27 株式会社理光 Preview image acquisition user interface for linear panoramic image stitching
US9594980B1 (en) 2015-01-19 2017-03-14 Ricoh Co., Ltd. Image acquisition user interface for linear panoramic image stitching
US9626589B1 (en) 2015-01-19 2017-04-18 Ricoh Co., Ltd. Preview image acquisition user interface for linear panoramic image stitching
JP2017120653A (en) * 2015-01-19 2017-07-06 株式会社リコー Preview image acquisition user interface for linear panoramic image stitching
US9852356B2 (en) 2015-01-19 2017-12-26 Ricoh Company, Ltd. Image acquisition user interface for linear panoramic image stitching
JP2016095310A (en) * 2015-12-04 2016-05-26 リコーイメージング株式会社 Bearing measurement method and bearing measurement device

Similar Documents

Publication Publication Date Title
US20080117307A1 (en) Image capture apparatus, image display method, and program
JP2009053748A (en) Image processing apparatus, image processing program, and camera
JP2006174105A (en) Electronic camera and program
JP2002199410A (en) Imaging device, compensating processing method for deteriorated image and storage medium
JP2008193196A (en) Imaging device and specified voice output method
JP2005094599A (en) Projector and its test pattern detecting method
JP2002094870A (en) Camera device, display device, image pickup range display method and image pickup range memory method
CN101137008A (en) Camera device and method for concealing position information in video, audio or image
US20070223909A1 (en) Camera phone, method of controlling the camera phone, and photography support method used for the camera phone
JPH1188912A (en) Compound eye camera and display control method for the compound eye camera
JP2006295626A (en) Fish-eye image processing apparatus, method thereof and fish-eye imaging apparatus
JP2005348178A (en) Moving picture recording apparatus and moving picture indicator method, and storage medium
JP2008289095A (en) Imaging apparatus, display method and program
CN101930162A (en) Imaging apparatus and control method therefor
CN101897174A (en) Imaging device and image reproduction device
CN102207674A (en) Panorama image shooting apparatus and method
JP2004336536A (en) Photographing device, method, and program
JP2006014221A (en) Imaging apparatus and imaging method
JP2006086823A (en) Image recording device, image search method, image grading method, and image grading system
CN101958976A (en) Image processing method and wireless terminal equipment
JPH07143434A (en) Digital electronic still camera rearranging pictures according to aspect
US20100321503A1 (en) Image capturing apparatus and image capturing method
JP2005229209A (en) Imaging apparatus, photographing condition setting method, and program
JP2005229280A (en) Image processing apparatus and method, and program
JPH06189180A (en) Panoramic photographing device

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130314

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130704