JP2012070057A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2012070057A JP2012070057A JP2010210799A JP2010210799A JP2012070057A JP 2012070057 A JP2012070057 A JP 2012070057A JP 2010210799 A JP2010210799 A JP 2010210799A JP 2010210799 A JP2010210799 A JP 2010210799A JP 2012070057 A JP2012070057 A JP 2012070057A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- illustration
- unit
- shooting
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、少なくとも撮影地点と被写体とにそれぞれ関連するイラストレーションを含む画像データを作成する撮像装置に関する。 The present invention relates to an imaging apparatus that creates image data including illustrations associated with at least a shooting point and a subject.
既に撮影された撮影画像等の情報に対して、その撮影後に位置データなどを簡単に付加する技術がある。例えば特許文献１は、被写体を撮影する撮影部を有し、この撮影部の位置又は向きのいずれか一方又は両方を検出部により検出し、予め記録された撮影画像情報に、検出部により検出された位置又は向きのいずれか一方又は両方に基づく情報を付加する電子カメラについて開示しています。
There is a technique for easily adding position data and the like to information such as a photographed image that has already been photographed. For example,
ユーザとしては、カメラ等の撮影によって取得された撮影画像を観賞したときに、当該撮影画像を撮影したときの状況、例えば撮影した場所や、この撮影した場所が旅行等によって行った場所であるなどといった状況が直感的に把握しやすいことの要望がある。例えば、人物等の主要被写体を撮影して取得された撮影画像であっても、主要被写体の背景に旅行先を把握できるような例えば建造物等が何ら存在していなければ、撮影画像を観賞しても、当該撮影画像を撮影したときの状況を直感的に把握できるものではない。又、撮影画像中に例えば主要被写体に何ら関連の無い不要な情報が存在していると、かえって撮影画像を撮影したときの状況を直感的に把握するのに有益でないことがある。ユーザとしては、撮影画像を観賞したときに、当該撮影画像を撮影したときの状況を直感的に把握できることの要望がある。 As a user, when a photographed image acquired by photographing with a camera or the like is viewed, the situation when the photographed image is photographed, for example, the place where the photograph was taken, or the place where the photographed place was taken by a trip, etc. There is a demand for easy understanding of the situation. For example, even if a photographed image is obtained by photographing a main subject such as a person, if there is no building or the like that can grasp the travel destination in the background of the main subject, the photographed image is viewed. However, it is not possible to intuitively grasp the situation when the captured image is captured. Further, if there is unnecessary information unrelated to the main subject in the captured image, for example, it may not be useful for intuitively grasping the situation when the captured image is captured. There is a demand for the user to intuitively understand the situation when the photographed image is photographed when the photographed image is viewed.
本発明の目的は、撮影画像を撮影したときの状況を直感的に把握できる画像を取得できる撮像装置を提供することにある。 The objective of this invention is providing the imaging device which can acquire the image which can grasp | ascertain intuitively the condition when a picked-up image is image | photographed.
本発明の主要な局面に係る撮像装置は、撮影するときに、少なくとも被写体に関連するイラストレーションの画像データと、前記撮影する地点に関連するイラストレーションの画像データとを合成してイラスト合成画像データを作成する関連画像データ作成部を具備する。
本発明の主要な局面に係る撮像装置は、被写体を撮像する撮像部と、前記撮像部による撮影地点を含む撮影姿勢を検出する撮影姿勢検出部と、前記撮像部の撮像により取得された撮影画像データから前記被写体を判別する被写体判別部と、少なくとも前記撮影地点と前記被写体とにそれぞれ関連するイラストレーションを含む複数のイラスト画像データを予め記憶する関連情報記憶部と、少なくとも前記撮影位置検出部により検出された前記撮影地点と前記被写体判別部により判別された前記被写体とに関連する前記複数のイラスト画像データを前記関連情報記憶部から読み出し合成してイラスト合成画像データを作成する関連画像データ作成部とを具備する。
An imaging apparatus according to a main aspect of the present invention creates illustration composite image data by synthesizing at least illustration image data related to a subject and illustration image data related to the shooting point when shooting. A related image data creation unit.
An imaging apparatus according to a main aspect of the present invention includes an imaging unit that images a subject, a shooting posture detection unit that detects a shooting posture including a shooting point by the imaging unit, and a captured image acquired by imaging of the imaging unit. Detected by a subject discriminating unit that discriminates the subject from data, a related information storage unit that stores in advance a plurality of illustration image data including illustrations respectively associated with at least the shooting point and the subject, and at least the shooting position detection unit A related image data creation unit that reads and synthesizes the plurality of illustration image data related to the photographed spot and the subject determined by the subject determination unit from the related information storage unit to create illustration composite image data; It comprises.
本発明によれば、撮影画像を撮影したときの状況を直感的に把握できる画像を取得できる撮像装置を提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device which can acquire the image which can grasp | ascertain intuitively the condition when a picked-up image is image | photographed can be provided.
以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は撮像装置の構成図を示す。この撮像装置１は、カメラ本体１０と、撮影レンズ部（交換レンズとも称する）２０とを有する。撮影レンズ部２０は、カメラ本体１０に対して取り付け、取り外し可能である。この撮影レンズ部２０は、被写体からの像をカメラ本体１０に送るもので、撮影レンズ系２１と、操作部２２と、駆動部２３と、レンズデータ記憶部２４と、レンズ側通信部２５とを有する。
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 shows a configuration diagram of an imaging apparatus. The
撮影レンズ系２１は、ズームレンズ２１ａを備える。この撮影レンズ部２０は、複数用意され、それぞれズームレンズ２１ａによる倍率、焦点距離、明るさ等が異なる。撮影レンズ部２０は、ズームレンズ２１ａを備えていないものであってもよく、この場合には操作部２２を備えていない。操作部２２は、例えばユーザの操作を受けてズームレンズ２１ａのズーム位置を可変可能である。駆動部２３は、撮影レンズ部２０の絞り、ピント等を制御し、被写体に対する様々な構図を可能とする。レンズデータ記憶部２４には、撮影レンズ部２０の画角などのデータが予め記憶されている。レンズ側通信部２５は、カメラ本体１０との間でデータ通信を行う。
The taking
カメラ本体１０は、撮影レンズ部２０からの被写体の像を撮影してその撮影画像データを取得するもので、信号処理・制御部３０と、撮像部３１と、モーション判定部３２と、記録部３３と、衛星航法システム（ＧＰＳ）部３４と、本体側通信部３５と、時計部３６と、操作判定部３７と、方位判定部３８と、表示部３９と、外部通信部４０とを有する。
The
撮像部３１は、撮影レンズ部２０からの被写体の像を画像信号に変換する。
信号処理・制御部３０は、マイクロコンピュータを搭載し、このマイクロコンピュータの処理によって撮像部３１からの画像信号を画像処理し、被写体の動画をスルー画像として表示部３９に表示し、撮影時に静止画の撮影画像データを取得してその画像を表示部３９に表示すると共に、記録部３３に記録等のカメラ本体１０内の撮影全般の制御を行う。
The
The signal processing /
モーション判定部３２は、被写体の動画から被写体の動きを判定する。
記録部３３は、撮影時に取得された撮影画像データ等を記録する。この記録部３３には、関連情報記憶部としての関連情報データベース３３ａが形成されている。
この関連情報データベース３３ａには、当該装置１での撮影地点と被写体とにそれぞれ関連するイラストレーションを含む複数のイラスト画像データが予め記憶されている。これらイラスト画像データは、例えば地図データ、主要被写体となる例えば人物のイラストレーションの画像データ等である。
地図データは、例えば一般の地図情報であって、地表の諸物体、地勢等を予め設定された縮尺度により縮尺してなる。
The
The
In the
The map data is, for example, general map information, and is obtained by scaling various objects on the ground, topographic features, and the like according to a preset scale.
イラスト画像データとしては、例えば、図２（ａ）に示すような人物のイラストレーションであるアバター情報Ｈ１と、同図（ｂ）に示すようなタワーのイラストレーション情報Ｈ２と、同図（ｃ）に示すようなビルディングのイラストレーション情報Ｈ３等を有する。イラスト画像データとしては、人物やビルディングの他に、山、空、夜間等を表わすイラストレーションが記憶されている。 Illustrative image data includes, for example, avatar information H1 that is an illustration of a person as shown in FIG. 2A, tower illustration information H2 as shown in FIG. 2B, and FIG. Such as building illustration information H3. As illustration image data, illustrations representing mountains, sky, nighttime, etc. are stored in addition to people and buildings.
ＧＰＳ部３４は、本装置１が現在存在する三次元位置を示す位置データ（以下、ＧＰＳデータと称する）を取得する。
時計部３６は、時刻を計時し、その時刻情報を取得する時刻情報取得部として機能を有する。この時刻情報は、例えば撮影時に取得された撮影画像データを整理するために当該撮影画像データに添付される。
操作判定部３７は、ユーザの様々な操作を受けて、その操作内容を判定する。操作内容は、例えば電源オン・オフ、各種モードのスイッチ、レリーズボタンの押し操作等である。
The
The
The
方位判定部３８は、本装置１の撮影レンズ部２０による撮影範囲が向いている方位を検出し、その方位データを出力する。なお、この方位判定部３８と上記ＧＰＳ部３４とは、撮像部３１により撮像を行う撮影地点の情報を検出する撮影位置検出部として機能する。
表示部３９は、被写体の動画をスルー画像や、撮影画像データ、本装置１で作成されるイラスト合成画像データ等を表示するもので、例えば液晶ディスプレイから成る。なお、イラスト合成画像データは、後述するように例えば人物やビルディング等の建造物、タワー等のイラストレーションを含む各イラスト画像データを合成してなる。
The
The
本体側通信部３５は、撮影レンズ部２０のレンズ側通信部２５との間でデータ通信を行う。
外部通信部４０は、ネットワーク４１を介して外部機器４２に接続されている。この外部機器４２は、例えばサーバ等であり、例えば上記関連情報データベース３３ａに記憶されているイラスト画像データと同様のイラスト画像データ、例えば地図情報、図２（ａ）に示すような人物のイラストレーションであるアバター情報Ｈ１と、同図（ｂ）に示すようなタワーのイラストレーション情報Ｈ２と、同図（ｃ）に示すようなビルディングのイラストレーション情報Ｈ３等を有する。
The main body
The
上記信号処理・制御部３０は、被写体判別部としての物体認識部５０と、関連画像データ作成部５１とを有する。
物体認識部５０は、被写体を判別するもので、例えば被写体のスルー画像や撮影画像データ中の被写体中から人物の顔データを判別する。この人物の顔データは、例えば人物の顔の外観に基づいて取得する。
関連画像データ作成部５１は、撮影するときに、少なくとも被写体に関連するイラストレーションの画像データと、撮影する地点に関連するイラストレーションの画像データとを合成してイラスト合成画像データを作成する。
具体的に、関連画像データ作成部５１は、ＧＰＳ部３４により取得されたＧＰＳデータと、方位判定部３８により検出された方位データと、撮影レンズ系２１のレンズデータ記憶部２４に記憶されている画角データと、物体認識部５０により判別された人物の顔データとをそれぞれ受け取り、これらＧＰＳデータと方位データと画角データと人物の顔データとに関連する少なくとも１つのイラスト画像データを関連情報データベース３３ａから読み出してイラストレーションを含むイラスト合成画像データを作成する。
The signal processing /
The
The related image data creation unit 51 creates illustration composite image data by synthesizing at least illustration image data related to the subject and illustration image data related to the shooting point when shooting.
Specifically, the related image data creation unit 51 is stored in the GPS data acquired by the
例えば物体認識部５０により人物の顔データを判別すると、関連画像データ作成部５１は、当該人物の顔データに関連するイラストレーションのイラスト画像データを関連情報データベース３３ａから読み出してイラスト合成画像データを作成する。
関連画像データ作成部５１は、ＧＰＳデータと、方位データと、画角データとに基づいて当該装置１の撮影範囲内に存在する例えばビルディング等の対象体を認識し、当該対象体のイラストレーションのイラスト画像データを関連情報データベース３３ａから読み出してイラスト合成画像データを作成する。
For example, when the
The related image data creation unit 51 recognizes an object such as a building that exists within the imaging range of the
関連画像データ作成部５１は、ＧＰＳデータと、方位データと、画角データとに基づいて例えばビルディング等の対象体のイラスト画像データ中における合成位置を決定する。
関連画像データ作成部５１は、地図データを有し、ＧＰＳデータと、方位データと、画角データとに基づいて撮影範囲内に存在する例えば名所やビルディング等の対象写体を関連情報データベース３３ａに記憶されている地図データ上で認識する。
関連画像データ作成部５１は、例えばビルディング等の対象体までの距離と、画角データとに基づいてイラスト合成画像データ中における対象写体の幅を決定する。
The related image data creation unit 51 determines a composite position in the illustration image data of an object such as a building based on the GPS data, the azimuth data, and the view angle data.
The related image data creation unit 51 has map data, and based on the GPS data, the azimuth data, and the angle-of-view data, for example, target objects such as sights and buildings existing in the shooting range are stored in the
The related image data creation unit 51 determines the width of the target object in the illustration composite image data based on the distance to the target object such as a building and the angle of view data.
関連画像データ作成部５１は、例えばビルディング等の対象体までの距離に応じてイラスト画像データに歪み処理を行う。
関連画像データ作成部５１は、時計部３６により取得される時刻情報に対応して当該時刻を表わすイラストレーションのイラスト画像データを関連情報データベース３３ａから読み出してイラスト合成画像データを作成する。
関連画像データ作成部５１は、イラスト画像データを撮影時に取得される撮影画像データに関連付けて記録部３３に記録する。
The related image data creation unit 51 performs distortion processing on the illustration image data according to the distance to the target object such as a building, for example.
Corresponding to the time information acquired by the
The related image data creation unit 51 records the illustration image data in the
具体的に、関連画像データ作成部５１による関連情報データベース３３ａからのイラスト画像データの読み出しについて説明する。
図３はユーザが本装置１を持って写真撮影するときのユーザの存在する地図情報上の位置を示す。この地図情報は、記録部３３の関連情報データベース３３ａに記憶されている。本装置１の撮影方向には、例えば４棟のビルディングＡ〜Ｄが存在すると共に、タワーＥが存在する。又、Ｘ駅、Ｙ駅が存在する。本装置１は、画角θ（θ１又はθ２）を持つものとする。
図４は例えばビルディングＡ、Ｂが本装置１の画角θ内に存在するか否かの判定を説明するための図を示す。本装置１の存在する位置データを例えば緯度ｙ０、経度ｘ０（ｙ０，ｘ０）とする。この本装置１の位置データは、ＧＰＳ部３４により取得される。本装置１の存在する緯度、経度（ｙ０、ｘ０）は、ＸＹ座標系の基準となる。
Specifically, reading of illustration image data from the
FIG. 3 shows a position on the map information where the user exists when the user takes a picture with the
FIG. 4 is a diagram for explaining determination of whether, for example, buildings A and B exist within the angle of view θ of the
本装置１の撮影方位Ｙ１は、
Ｙ１＝ｔａｎθ・Ｘ …（１）
により表わされる。本装置１の方位データは、方位判定部３８によって取得される。
本装置１の撮影レンズ部２０による撮影範囲の最外角は、次式（２）、（３）により表わされる。
Ｙ２＝ｔａｎ（θ＋θ／２）Ｘ …（２）
Ｙ３＝ｔａｎ（θ−θ／２）Ｘ …（３）
により表わされる。
The shooting direction Y1 of the
Y1 = tan θ · X (1)
Is represented by The direction data of the
The outermost angle of the photographing range by the photographing
Y2 = tan (θ + θ / 2) X (2)
Y3 = tan (θ−θ / 2) X (3)
Is represented by
ビルディングＡの位置データは、緯度ｙ１、経度ｘ１（ｙ１，ｘ１）となり、ＸＹ座標系の基準（ｙ０、ｘ０）との相対的な経度、緯度は、（ｙ１−ｙ０，ｘ１−ｘ０）となる。
ビルディングＢの位置データは、緯度ｙ２、経度ｘ２（ｙ２，ｘ２）となり、ＸＹ座標系の基準（ｙ０、ｘ０）との相対的な経度、緯度は、（ｙ２−ｙ０，ｘ２−ｘ０）となる。
しかるに、各ビルディングＡ、Ｂの緯度、経度（ｙ１，ｘ１）、（ｙ２，ｘ２）を本装置１の緯度、経度（ｙ０、ｘ０）を基準として上記各式（２）、（３）に代入して緯度を算出し、これら緯度が各ビルディングＡ、Ｂの各相対的な経度（ｙ１−ｙ０）、（ｙ２−ｙ０）よりも小さければ、各ビルディングＡ、Ｂは、本装置１の撮影範囲内に存在するものとなり、イラスト画像データとして表示候補となる。図４に示すようにビルディングＡは本装置１の撮影範囲外となり、イラスト画像データとして表示候補から外れる。ビルディングＢは本装置１の撮影範囲内にあり、イラスト画像データとして表示候補になる。
The position data of the building A is latitude y1, longitude x1 (y1, x1), and the longitude and latitude relative to the reference (y0, x0) of the XY coordinate system are (y1-y0, x1-x0). .
The position data of the building B is latitude y2, longitude x2 (y2, x2), and the longitude and latitude relative to the reference (y0, x0) of the XY coordinate system are (y2-y0, x2-x0). .
However, the latitudes and longitudes (y1, x1) and (y2, x2) of the buildings A and B are substituted into the above equations (2) and (3) with the latitude and longitude (y0, x0) of the
図５はイラスト画像データとして表示候補となったビルディングＢのイラスト合成画像データ中での合成位置を説明するための図を示す。ビルディングＢは、Ｙ軸の緯度ｙ０からの角度φｂ０に存在する。この角度φｂ０は、ビルディングＢの緯度、経度（ｙ２，ｘ２）から
φｂ０＝ａｒｃｔａｎ（ｘ２／ｙ２） …（４）
により算出される。
FIG. 5 is a diagram for explaining a synthesis position in the illustration composite image data of the building B that is a display candidate as illustration image data. The building B exists at an angle φb0 from the latitude y0 of the Y axis. This angle φb0 is derived from the latitude and longitude (y2, x2) of building B
φb0 = arctan (x2 / y2) (4)
Is calculated by
本装置１の撮影方位Ｙ１と、本装置１の緯度、経度（ｙ０、ｘ０）からビルディングＢの緯度、経度（ｙ２，ｘ２）を通る直線との相対角度φｂは、
φｂ＝φｂ０−θ …（５）
となる。
しかるに、ビルディングＢのイラスト画像データは、図６（ａ）に示すようにイラスト合成画像データＫ中において本装置１の撮影方位Ｙ１から相対角度φｂのところに合成される。図６（ｂ）はイラスト合成画像データＫ中にイラストレーションにより描かれたビルディングＢのイラスト画像データＳを合成した結果を示す。
The relative angle φb between the shooting direction Y1 of the
φb = φb0−θ (5)
It becomes.
However, the illustration image data of the building B is synthesized at a relative angle φb from the shooting direction Y1 of the
イラストレーションにより描かれたビルディングＢのイラスト画像データＳの大きさは、次の通りに決定される。図７は例えばビルディングＢの大きさの決定を説明するための図を示す。本装置１が存在する緯度、経度（ｙ０、ｘ０）から各ビルディングＡ、Ｂ、Ｃまでの各距離Ｌａ、Ｌｂ、Ｌｃは、例えば関連情報データベース３３ａに記憶されている地図情報、又は本装置１におけるピント合わせの情報から取得できる。例えば本装置１が存在する緯度、経度（ｙ０、ｘ０）からビルディングＢまでの距離Ｌｂは、
Ｌｂ＝｛（ｘ２−ｘ０）２＋（ｙ２−ｙ０）２｝２・（１／２） …（６）
により算出される。
The size of the illustration image data S of the building B drawn by the illustration is determined as follows. FIG. 7 shows a diagram for explaining the determination of the size of the building B, for example. The distances La, Lb, Lc from the latitude and longitude (y0, x0) where the
Lb = {(x2-x0) 2 + (y2-y0) 2 } 2 · (1/2) (6)
Is calculated by
ビルディングＢの高さＨ、幅Ｗは、例えば関連情報データベース３３ａに記憶されている地図情報、又はネットワーク４１を介して外部機器４２に記憶されている地図情報から取得してもよい。
ここでは、例えば仮にビルディングＢの高さＨ、幅Ｗをそれぞれ１００ｍ、１００ｍとする。又、図８に示すように本装置１の撮影レンズ系２１とビルディングＢとの光学的な関係からビルディングＢの幅Ｗに対する角度をθｗｂとすると、この角度θｗｂは、次式により表わされる。
θｗｂ＝ａｒｃｔａｎ（Ｗ／Ｌｂ） …（７）
従って、本装置１の画角θとビルディングＢの角度θｗｂとの比率に基づいてイラスト合成画像データＫ中に合成するビルディングＢの幅を決定できる。
The height H and width W of the building B may be acquired from, for example, map information stored in the
Here, for example, the height H and width W of the building B are assumed to be 100 m and 100 m, respectively. As shown in FIG. 8, when the angle with respect to the width W of the building B is θwb from the optical relationship between the photographing
θwb = arctan (W / Lb) (7)
Therefore, the width of the building B to be combined in the illustration combined image data K can be determined based on the ratio of the angle of view θ of the
図９は図２（ａ）に示す人物のイラストレーションであるアバター情報Ｈ１と、同図（ｂ）に示すタワーのイラスト画像データＨ２と、同図（ｃ）に示すビルディングのイラスト画像データＨ３とを合成したイラスト合成画像データＫの一例を示す。このイラスト合成画像データＫ中においてビルディングＢは、本装置１の画角θとビルディングＢの角度θｗｂとの比率に基づく幅で、かつイラスト合成画像データＫ中において本装置１の撮影方位Ｙ１から相対角度φｂのところに合成される。
FIG. 9 shows avatar information H1 that is an illustration of a person shown in FIG. 2A, tower illustration image data H2 shown in FIG. 2B, and building illustration image data H3 shown in FIG. An example of the synthesized illustration composite image data K is shown. In this illustration composite image data K, the building B has a width based on the ratio of the angle of view θ of the
イラスト合成画像データＫ中におけるタワーのイラスト画像データＨ２やビルディングのイラスト画像データＨ３の上下方向の配置位置は、図９に示すようにイラスト合成画像データＫ中に対角線Ｔ１、Ｔ２を設け、これら対角線Ｔ１、Ｔ２に合わせてタワーのイラスト画像データＨ２やビルディングのイラスト画像データＨ３を配置する。 The vertical arrangement positions of the tower illustration image data H2 and the building illustration image data H3 in the illustration composite image data K are provided with diagonal lines T1 and T2 in the illustration composite image data K as shown in FIG. The tower illustration image data H2 and the building illustration image data H3 are arranged in accordance with T1 and T2.
図９に示すように例えば人物のイラストレーションであるアバター情報Ｈ１と、タワーのイラスト画像データＨ２と、ビルディングのイラスト画像データＨ３との合成は、本装置１の存在する位置（ｙ０、ｘ０）の遠方から近傍に向かって存在する順序に合成し、最後に人物のアバター情報Ｈ１を合成し、イラスト合成画像データＫを作成する。ここでは、先ず、タワーのイラスト画像データＨ２を合成し、次にビルディングのイラスト画像データＨ３を合成し、最後に人物のアバター情報Ｈ１を合成する。
As shown in FIG. 9, for example, the composition of the avatar information H1, which is an illustration of a person, the illustration image data H2 of the tower, and the illustration image data H3 of the building is far from the position (y0, x0) where the
本装置１の画角θ内に山等の大きな対象物が人物等の背景に存在する場合、山等の大きな対象物の高さや当該対象物までの距離を考慮して山等の大きな対象物のイラスト画像データを最初に合成してもよい。
被写体の撮影では、図１０（ａ）に示すように本装置１の撮影方位Ｙ１が地図情報上の道路５０の方向に沿って向けられることがある。この道路５０沿いには、ビルディングＡが存在する。このような状況で撮影をしようとする場合には、ビルディングのイラスト画像データＨ３に対して図１０（ｂ）に示すように歪み処理を行う。この歪み処理は、遠方になるに従って縮小する処理である。これにより、ビルディングのイラスト画像データＨ３は、遠近法の技法により表現したイラストレーションとなる。
When a large object such as a mountain exists in the background angle θ of the
In shooting a subject, the shooting direction Y1 of the
地図情報だけでなく、被写体のスルー画像を表示部３９に表示するときの画像データや、撮影時の撮影画像データから空や建造物を検出し、このうち建造物の輪郭を判定し、図１０（ｂ）に示すような建造物の歪み処理を行ってもよい。この歪み処理は、例えば図９に示す対角線Ｔ１、Ｔ２に沿ってイラスト合成画像データＫの中央部に近い縦方向の線を縮小し、横方向については例えば半分程度縮小する。
In addition to the map information, the sky and the building are detected from the image data when the through image of the subject is displayed on the
次に、本装置の動作について図１１に示すイラストレーション画像作成を含む撮影モードフローチャートに従って説明する。
信号処理・制御部３０は、ステップＳ１１において、撮影モードであるか否かを判断する。この判断の結果、撮影モードでなければ、再生モード等のその他のモードに移る。
撮影モードであれば、信号処理・制御部３０は、ステップＳ１２において、本体側通信部３５とレンズ側通信部２５とを介して撮影レンズ部２０のレンズデータ記憶部２４から当該撮影レンズ部２０の画角などのデータを取得する。信号処理・制御部３０は、取得した画角などのデータを一時的に記録部３３等に記憶する。
Next, the operation of this apparatus will be described with reference to a shooting mode flowchart including illustration image creation shown in FIG.
In step S11, the signal processing /
If it is the shooting mode, the signal processing /
信号処理・制御部３０は、ステップＳ１３において、イラスト合成画像データを作成するためのアバターモードであるか否かを判断する。この判断の結果、アバターモードでなければ、信号処理・制御部３０は、通常の撮影であることを判断し、ステップＳ１４において、本体側通信部３５とレンズ側通信部２５とを介して操作部２２によりズームレンズ２１ａが操作されたか否かを判断する。この判断の結果、ズームレンズ２１ａが操作されていると、信号処理・制御部３０は、ステップＳ１５において、本体側通信部３５とレンズ側通信部２５とを介して操作部２２によるズームレンズ２１ａのズーム位置等を取得する。
In step S <b> 13, the signal processing /
この状態に、撮像部３１は、撮影レンズ部２０からの被写体の像を画像信号に変換する。信号処理・制御部３０は、ステップＳ１６において、撮像部３１からの画像信号を画像処理し、被写体の動画をスルー画像として表示部３９に表示する。
信号処理・制御部３０は、ステップＳ１７において、操作判定部３７の判定結果を受けてユーザによりレリーズボタンが押し操作されて撮影を行うか否かを判断する。レリーズボタンが押し操作されると、信号処理・制御部３０は、ステップＳ１８において、当該撮影時、静止画の撮影画像データを取得してその画像を表示部３９に表示すると共に、当該撮影画像データを記録部３３に記録する。
図１２（ａ）はユーザによりレリーズボタンを押し操作して撮影を行うときの様子を示す。この撮影地点は、例えば図３に示すように４棟のビルディングＡ〜Ｄ、タワーＥ、Ｘ駅、Ｙ駅が存在する周辺である。
In this state, the
In step S <b> 17, the signal processing /
FIG. 12A shows a situation when the user performs shooting by pressing the release button. For example, as shown in FIG. 3, the photographing point is a periphery where four buildings A to D, a tower E, an X station, and a Y station exist.
信号処理・制御部３０は、ステップＳ１９において、アバターモードであるか否かを判断し、判断の結果、アバターモードでなければ、ステップＳ１１に戻る。
上記ステップＳ１３において、信号処理・制御部３０がアバターモードであると判断すると、この信号処理・制御部３０は、ステップＳ２１に移り、ＧＰＳ部３４からＧＰＳデータを受け取り、本装置１の存在する位置に変化があるか否かを判断する。
この判断の結果、本装置１の存在する位置に変化があると、信号処理・制御部３０は、ステップＳ２２に移り、ＧＰＳ部３４からＧＰＳデータを受け取って本装置１の存在の位置データとして取得し、方位判定部３８からの方位データを受け取って本装置１の撮影レンズ部２０による撮影範囲が向いている方位データを取得し、これら位置データと方位データとを画角データと共に記録部３３に記憶する。さらに、信号処理・制御部３０は、物体認識部５０によって例えば被写体のスルー画像中の被写体中から人物の顔データを判別する。
In step S19, the signal processing /
When the signal processing /
As a result of this determination, if there is a change in the position where the
関連画像データ作成部５１は、ステップＳ２３〜Ｓ２９において、ＧＰＳ部３４により取得されたＧＰＳデータと、方位判定部３８により検出された方位データと、撮影レンズ系２１のレンズデータ記憶部２４に記憶されている画角データと、物体認識部５０により判別された人物の顔データとをそれぞれ受け取り、これらＧＰＳデータと方位データと画角データと人物の顔データとに関連する少なくとも１つのイラスト画像データを関連情報データベース３３ａから読み出してイラストレーションを含むイラスト合成画像データを作成する。
The related image data creation unit 51 stores the GPS data acquired by the
具体的に関連画像データ作成部５１による関連情報データベース３３ａからのイラスト画像データの読み出しについて説明すると、関連画像データ作成部５１は、関連情報データベース３３ａから地図情報を読み出し、例えば図３に示すように４棟のビルディングＡ〜Ｄ、タワーＥ、Ｘ駅、Ｙ駅が存在することを認識する。
関連画像データ作成部５１は、本装置１の存在する緯度、経度（ｙ０、ｘ０）をＸＹ座標系の基準として認識すると共に、本装置１の撮影方位Ｙ１を上記式（１）により認識する。関連画像データ作成部５１は、本装置１の撮影レンズ部２０による撮影範囲の最外角は、上記式（２）、（３）により認識する。
Specifically, the reading of the illustration image data from the
The related image data creation unit 51 recognizes the latitude and longitude (y0, x0) in which the
しかるに、関連画像データ作成部５１は、各ビルディングＡ、Ｂの緯度、経度（ｙ１，ｘ１）、（ｙ２，ｘ２）を本装置１の緯度、経度（ｙ０、ｘ０）を基準として上記各式（２）、（３）に代入して緯度を算出し、これら緯度が各ビルディングＡ、Ｂの各相対的な経度（ｙ１−ｙ０）、（ｙ２−ｙ０）よりも小さければ、各ビルディングＡ、Ｂは、本装置１の撮影範囲内に存在するものとなり、イラスト画像データとして表示候補となる。図４に示すようにビルディングＡは本装置１の撮影範囲外となり、イラスト画像データとして表示候補から外れる。ビルディングＢは本装置１の撮影範囲内にあり、イラスト画像データとして表示候補になる。なお、表示候補になるのは、ビルディングＢの他に、ビルディングＣ、タワーＥである。
However, the related image data creation unit 51 uses the above formulas (1) with the latitude and longitude (y1, x1) and (y2, x2) of each building A and B as the reference and the latitude and longitude (y0, x0) of the
関連画像データ作成部５１は、図５に示すようにイラスト画像データとして表示候補となったビルディングＢのイラスト合成画像データ中での合成位置を決定する。
ビルディングＢは、Ｙ軸の緯度ｙ０からの角度φｂ０に存在する。関連画像データ作成部５１は、当該角度φｂ０をビルディングＢの緯度、経度（ｙ２，ｘ２）から上記式（４）により算出する。
又、関連画像データ作成部５１は、本装置１の撮影方位Ｙ１と、本装置１の緯度、経度（ｙ０、ｘ０）からビルディングＢの緯度、経度（ｙ２，ｘ２）を通る直線との相対角度φｂを上記式（５）から算出する。
As shown in FIG. 5, the related image data creation unit 51 determines a synthesis position in the illustration composite image data of the building B that is a display candidate as illustration image data.
The building B exists at an angle φb0 from the latitude y0 of the Y axis. The related image data creation unit 51 calculates the angle φb0 from the latitude and longitude (y2, x2) of the building B by the above formula (4).
The related image data creation unit 51 also compares the photographing direction Y1 of the
しかるに、関連画像データ作成部５１は、ビルディングＢのイラスト画像データが図６（ａ）に示すようにイラスト合成画像データＫ中において本装置１の撮影方位Ｙ１から相対角度φｂのところに合成する。同様に、関連画像データ作成部５１は、ビルディングＣ、タワーＥの各合成位置を決定する。
なお、イラスト合成画像データＫは、ビルディングＢ、ＣとタワーＥとの各イラスト画像データを合成しているが、本装置１の向いている方位データと画角データとにより決まる撮影範囲内に存在する全てのビルディング等の建造物や山等からどの建造物のイラスト画像データを選択して合成するのかは、例えば次の通りに設定する。
例えば、関連画像データ作成部５１は、地図データと方位データとに基づいて遠景に存在する建造物や山等の選択を行う。例えば、山であれば、都市部内から富士山等の山までの距離にあるくらいまでが見える事を参考に、３０００ｍ級の山であれば、１００ｋｍの距離にあれる場合に採用し、２０００ｍ級の山であれば７０ｋｍまでの場合に採用するというように遠景の山を選択する。
関連画像データ作成部５１は、地図データに基づいて遠近関係からイラスト化するビルディングをする。例えばタワーとして東京タワーやスカイツリーのような３００ｍを超える高いタワーは、見えなくとも、その土地のシンボルなので１０ｋｍ以内にあれば採用し、その他のビルは、遠くのものは重なるとして、近くで大きいものを優先して採用する。例えば、画面が煩雑になるので、手前に高いビルディングがない場合、例えば所定階数５階建よりも高いビルディングであれば、手前の２、３棟のビルディングを採用し、同様に１０階建て以上のビルディングがそれより撮影点から見て奥側に有る場合、当該奥側にある２、３棟のビルディングを採用する。又、神社仏閣など高さの低い建造物は、手前に何も建造物がなければ、神社仏閣など高さの低い建造物のみ採用する。
However, the related image data creation unit 51 synthesizes the illustration image data of the building B at the relative angle φb from the shooting direction Y1 of the
The illustration composite image data K combines the illustration image data of the buildings B and C and the tower E, but exists within the shooting range determined by the orientation data and the angle of view data that the
For example, the related image data creation unit 51 selects a building or a mountain that exists in a distant view based on the map data and the orientation data. For example, in the case of a mountain, referring to the fact that you can see the distance from the city to a mountain such as Mt. Fuji, if it is a mountain of 3000m, it is adopted when it is 100km away, If it is a mountain, select a distant mountain so that it is adopted in the case of up to 70 km.
The related image data creation unit 51 builds an illustration based on the map data based on the perspective relationship. For example, a tower with a height of over 300m such as Tokyo Tower or Sky Tree as a tower is a symbol of the land even if it is not visible, so if it is within 10km, other buildings will be large in the vicinity, with distant objects overlapping. Prioritize the thing. For example, since the screen becomes complicated, if there is no tall building in front, for example, if the building is higher than a predetermined number of 5 floors, a few buildings in the foreground will be adopted, and similarly 10 floors or more If the building is on the far side when viewed from the shooting point, a few buildings on the far side are adopted. In addition, if there are no buildings at the front, such as shrines and temples, only buildings with a low height such as shrines and temples will be used.
イラストレーションにより描かれたビルディングＢのイラスト画像データＳの大きさは、次の通りに決定される。
関連画像データ作成部５１は、地図情報を関連情報データベース３３ａから読み取り、この地図情報に基づいて図７に示すように本装置１が存在する緯度、経度（ｙ０、ｘ０）から各ビルディングＡ、Ｂ、Ｃまでの各距離Ｌａ、Ｌｂ、Ｌｃを取得し、本装置１が存在する緯度、経度（ｙ０、ｘ０）からビルディングＢまでの距離Ｌｂを上記式（６）を演算して取得する。
The size of the illustration image data S of the building B drawn by the illustration is determined as follows.
The related image data creation unit 51 reads map information from the
これと共に、関連画像データ作成部５１は、地図情報に基づいてビルディングＢの高さＨ、幅Ｗを取得する。関連画像データ作成部５１は、例えば仮にビルディングＢの高さＨ、幅Ｗをそれぞれ１００ｍ、１００ｍとし、図８に示すように本装置１の撮影レンズ系２１とビルディングＢとの光学的な関係からビルディングＢの幅Ｗに対する角度θｗｂを上記式（７）を演算して取得する。しかるに、関連画像データ作成部５１は、本装置１の画角θとビルディングＢの角度θｗｂとの比率に基づいてイラスト合成画像データＫ中に合成するビルディングＢの幅を決定する。関連画像データ作成部５１は、ビルディングＣ、タワーＥの各幅を決定する。
At the same time, the related image data creation unit 51 acquires the height H and width W of the building B based on the map information. For example, the related image data creation unit 51 sets the height H and width W of the building B to 100 m and 100 m, respectively, and the optical relationship between the photographing
しかるに、関連画像データ作成部５１は、図９に示すようにビルディングＢを本装置１の画角θとビルディングＢの角度θｗｂとの比率に基づく幅でかつ本装置１の撮影方位Ｙ１から相対角度φｂのところに合成し、タワーのイラスト画像データＨ２やビルディングのイラスト画像データＨ３を対角線Ｔ１、Ｔ２に合わせて配置し、人物のイラストレーションであるアバター情報Ｈ１を中央部に配置する。この場合、関連画像データ作成部５１は、例えば、先ず、タワーのイラスト画像データＨ２を合成し、次にビルディングのイラスト画像データＨ３を合成し、最後に人物のアバター情報Ｈ１を合成し、イラスト合成画像データＫを作成する。なお、本装置１の画角θ内に山等の大きな対象物が人物等の背景に存在すれば、関連画像データ作成部５１は、山等の大きな対象物の高さや当該対象物までの距離を考慮して山等の大きな対象物のイラスト画像データを最初に合成する。
However, as shown in FIG. 9, the related image data creation unit 51 has a width based on the ratio of the angle of view θ of the
関連画像データ作成部５１は、ステップＳ２４において、本体側通信部３５とレンズ側通信部２５とを介して操作部２２によりズームレンズ２１ａが操作されたか否かを判断する。この判断の結果、ズームレンズ２１ａが操作されていると、関連画像データ作成部５１は、ステップＳ２５に移り、例えば図１２（ｂ）に示すようなイラスト合成画像データＫを作成する場合、ズームレンズ２１ａのズーム位置によって決定される画角内に入るタワーのイラスト画像データＨ２と、ビルディングのイラスト画像データＨ３と、人物のアバター情報Ｈ１とを限定する。なお、タワーのイラスト画像データＨ２と、ビルディングのイラスト画像データＨ３とは、ズームレンズ２１ａのズーム位置によって決定される画角内に入るものとする。また、ズームレンズ２１ａのズーム位置は、信号処理・制御部３０によって本体側通信部３５とレンズ側通信部２５とを介して操作部２２に問い合わせにより取得する。
In step S <b> 24, the related image data creation unit 51 determines whether or not the
関連画像データ作成部５１は、ステップＳ２６において、例えば被写体のスルー画像の濃淡レベルが予め設定された夜間を判定するための濃淡レベルよりも低いことを判定するか、又は時計部３６の計時時刻から夜間であるか否かを判断する。
この判断の結果、夜間であれば、関連画像データ作成部５１は、ステップＳ２７において、関連情報データベース３３ａから例えば図１２（ｃ）に示すような夜間等を表わす例えば黒色のイラスト画像データＨ４を読み取り、このイラスト画像データＨ４をイラスト合成画像データＫ中の上部に配置する。
In step S26, the related image data creation unit 51 determines, for example, that the gray level of the through image of the subject is lower than a gray level for determining nighttime set in advance, or from the time measured by the
If the result of this determination is that it is night, the related image data creation unit 51 reads, for example, black illustration image data H4 representing the night as shown in FIG. 12C from the
関連画像データ作成部５１は、ステップＳ２８において、例えば被写体のスルー画像中の道路の方向を認識し、この道路の方向から図１０（ａ）に示すように本装置１の撮影方位Ｙ１が地図情報上の道路５０の方向に沿って向けられているか否かを判断する。この判断の結果、本装置１の撮影方位Ｙ１が地図情報上の道路５０の方向に沿って向けられていれば、関連画像データ作成部５１は、ステップＳ２９において、ビルディングのイラスト画像データＨ３に対して図１０（ｂ）に示すように遠方になるに従って縮小する歪み処理を行う。
なお、各建物や遠景の山、人物などの配置位置は、撮影画像データに基づいて配置すればよい。又、地図データに基づいて遠近法的に遠くのものをイラスト合成画像データＫの中央部の水平線に近づくように配置してもよい。但し、イラスト画像データでも、そのあたりの遠近法は、あえて無視して、面白くわかり易く描く例もあるので、あえて、同じ水平面基準で配置してもよい。この後、関連画像データ作成部５１は、ステップＳ３０において、例えば図１２（ｃ）に示すような作成したイラスト合成画像データＫを表示部３９に表示する。
In step S28, the related image data creation unit 51 recognizes the direction of the road in the through image of the subject, for example, and the shooting direction Y1 of the
In addition, what is necessary is just to arrange | position arrangement | positioning positions, such as each building, a mountain of a distant view, and a person, based on picked-up image data. Further, a thing that is far in perspective based on the map data may be arranged so as to approach the horizontal line at the center of the illustration composite image data K. However, even in the case of illustration image data, there is an example in which the perspective method around it is intentionally ignored and the drawing is interesting and easy to understand, so it may be arranged with the same horizontal plane reference. Thereafter, in step S30, the related image data creation unit 51 displays the created illustration composite image data K as shown in FIG. 12C on the
再び、信号処理・制御部３０は、ステップＳ１７に移り、操作判定部３７の判定結果を受けてユーザによりレリーズボタンが押し操作されて撮影を行うか否かを判断する。レリーズボタンが押し操作されると、信号処理・制御部３０は、ステップＳ１８において、当該撮影時、静止画の撮影画像データを取得してその画像を表示部３９に表示すると共に、当該撮影画像データを記録部３３に記録する。
Again, the signal processing /
信号処理・制御部３０は、ステップＳ１９において、アバターモードであるか否かを判断し、判断の結果、アバターモードであれば、ステップＳ２０に移り、作成したイラスト合成画像データＫを例えばステップＳ１８での撮影により取得した撮影画像データに関連付けて記録部３３に記憶する。
In step S19, the signal processing /
このように上記第１の実施の形態によれば、ＧＰＳデータと、方位判定部３８により検出された方位データと、撮影レンズ系２１の画角データと、物体認識部５０により判別された人物の顔データとをそれぞれ受け取り、これらＧＰＳデータと方位データと画角データと人物の顔データとに関連する少なくとも１つのイラスト画像データを関連情報データベース３３ａから読み出してイラストレーションを含むイラスト合成画像データＫを作成する。そして、イラスト合成画像データＫは、例えば撮影時により取得した撮影画像データに関連付けて記録部３３に記憶する。これにより、例えば本装置１において、イラスト合成画像データＫを表示部３９に表示し、このイラスト合成画像データＫを選択することで、当該イラスト合成画像データＫに関連付けられて関連付けられた撮影画像データを表示部３９に表示することができる。
As described above, according to the first embodiment, the GPS data, the orientation data detected by the
イラスト合成画像データＫは、ユーザが撮影を行った地域における名所等の良く知られたタワーＥ等の建造物をイラストレーションの画像データを合成しているので、イラスト合成画像データＫに関連付けられた例えば複数の撮影画像データの撮影場所や、撮影したときの状況を直感的に把握することが出来る。又、撮影画像データでは、その撮影内容が例えば撮影を行った地域における名所等が写されたものでなく、ただ単に電線や通行人が多く写っていたり、名所等でない風景が写っているものであっても、イラスト合成画像データＫと関連付けることでユーザが撮影を行った地域等の状況を直感的に把握できる。 The illustration composite image data K is a combination of illustration image data with a well-known building such as a tower E such as a famous place in the area where the user has taken a photograph. It is possible to intuitively grasp the shooting location of a plurality of shot image data and the situation at the time of shooting. Also, in the captured image data, the captured content is not a photograph of, for example, a famous place in the area where the photograph was taken, but merely a lot of electric wires and passers-by, or a landscape that is not famous. Even if it exists, it can grasp | ascertain intuitively the conditions of the area etc. which the user image | photographed by making it relate with the illustration composite image data K.
次に、本発明の第２の実施の形態について図面を参照して説明する。なお、本装置１の構成は、図１に示す構成と同一であり、当該図１を用いてその相違するところについて説明する。
関連情報データベース３３ａには、一般の地図情報と、予め簡易地図情報とが記憶されている。一般の地図情報は、例えば図１３に示すような地表の諸物体、地勢等を予め設定された縮尺度により縮尺してなる。簡易地図情報は、例えば図１３に示すような一般の地図情報を、例えば図１４（ａ）に示すようなイラストレーションの地図情報（以下、イラスト地図情報と称する）Ｊにより表わしている。
Next, a second embodiment of the present invention will be described with reference to the drawings. The configuration of the
In the
関連画像データ作成部５１は、ＧＰＳ部３４により取得されたＧＰＳデータを受け取り、このＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊを関連情報データベース３３ａから読み出す。この場合、関連画像データ作成部５１は、ＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊが関連情報データベース３３ａに記憶されていなければ、当該地域のイラスト地図情報Ｊが記憶されていない旨を表示部３９に表示する。
The related image data creation unit 51 receives the GPS data acquired by the
又、関連画像データ作成部５１は、物体認識部５０により判別された人物の顔データを受け取り、当該人物の顔データに関連する例えばアバター情報Ｈ１０を関連情報データベース３３ａから読み出す。
関連画像データ作成部５１は、ＧＰＳ部３４により取得されたＧＰＳデータに対応する地域の周辺に存在する名所、例えばタワーに関連するイラスト画像データＨ１１を関連情報データベース３３ａから読み出す。
The related image data creation unit 51 receives the face data of the person determined by the
The related image data creation unit 51 reads out, from the
関連画像データ作成部５１は、例えばイラスト地図情報Ｊに対してアバター情報Ｈ１０とタワーに関連するイラスト画像データＨ１１とを合成し、図１４（ｂ）に示すようなイラスト合成画像データＪａを作成する。
関連画像データ作成部５１は、撮影時に取得される撮影画像データにイラスト合成画像データＪａを関連付けて記録部３３に記録する。これにより、関連画像データ作成部５１は、再生モード時に、図１４（ｃ）に示すように撮影画像データを表示部３９に表示すると共に、当該撮影画像データ上にイラスト合成画像データＪａをアイコン化して重ねて表示する。
The related image data creation unit 51 synthesizes the avatar information H10 and the illustration image data H11 related to the tower with the illustration map information J, for example, and creates illustration composite image data Ja as shown in FIG. .
The related image data creation unit 51 associates the illustration composite image data Ja with the captured image data acquired at the time of shooting and records the image data in the
次に、本装置の動作について図１５に示すイラストレーション画像作成を含む撮影モードフローチャートに従って説明する。なお、図１１と同一ステップの説明は省略して相違するステップの動作について説明する。
信号処理・制御部３０は、ステップＳ１３において、アバターモードであると判断すると、ステップＳ２１に移り、ＧＰＳ部３４からＧＰＳデータを受け取り、本装置１の存在する位置に変化があるか否かを判断する。
この判断の結果、本装置１の存在する位置に変化があると、関連画像データ作成部５１は、ステップＳ２２ｂに移り、ＧＰＳ部３４からＧＰＳデータを受け取って本装置１の存在の位置データとして取得し、これと共に方位判定部３８により検出された方位データと、撮影レンズ系２１の画角データとを取得する。
Next, the operation of this apparatus will be described with reference to a shooting mode flowchart including illustration image creation shown in FIG. In addition, description of the same step as FIG. 11 is abbreviate | omitted, and the operation | movement of the different step is demonstrated.
If the signal processing /
As a result of this determination, if there is a change in the position where the
関連画像データ作成部５１は、ステップＳ２３ｂにおいて、ＧＰＳ部３４により取得されたＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊが関連情報データベース３３ａに記憶されているか否かを判断する。この判断の結果、イラスト地図情報Ｊがあれば、関連画像データ作成部５１は、ステップＳ２４ｂに移り、当該ＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊを関連情報データベース３３ａから読み出す。
イラスト地図情報Ｊがなければ、関連画像データ作成部５１は、ステップＳ２５ｂに移り、当該ＧＰＳデータに対応する地域の一般の地図情報を関連情報データベース３３ａから読み出す。なお、ＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊが関連情報データベース３３ａに記憶されていなければ、関連画像データ作成部５１は、当該地域のイラスト地図情報Ｊが記憶されていない旨を表示部３９に表示する。
In step S23b, the related image data creation unit 51 determines whether, for example, illustration map information J of an area corresponding to the GPS data acquired by the
If there is no illustration map information J, the related image data creation unit 51 proceeds to step S25b, and reads general map information of the area corresponding to the GPS data from the
関連画像データ作成部５１は、ステップＳ２６ｂにおいて、関連画像データ作成部５１は、物体認識部５０により判別された人物の顔データを受け取り、当該人物の顔データに関連する例えばアバター情報Ｈ１０が関連情報データベース３３ａに記憶されているか否かを判断する。この判断の結果、関連情報データベース３３ａに人物の顔データに関連する例えばアバター情報Ｈ１０が記憶されていれば、関連画像データ作成部５１は、ステップＳ２７ｂにおいて、当該アバター情報Ｈ１０を関連情報データベース３３ａから読み出す。
In step S26b, the related image data creation unit 51 receives the face data of the person determined by the
関連画像データ作成部５１は、ステップＳ２８ｂにおいて、例えばＧＰＳ部３４により取得されたＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊ又は一般の地図情報中に名所があるか否かを判断する。この名所があるか否かを判断する地域は、方位判定部３８により検出された方位データと、撮影レンズ系２１のレンズデータ記憶部２４に記憶されている画角データとから決まる本装置１の撮影範囲内である。
名所があると判断すると、関連画像データ作成部５１は、ステップＳ２９ｂにおいて、当該名所、例えばタワーに関連するイラスト画像データＨ１１を関連情報データベース３３ａから読み出す。
In step S <b> 28 b, the related image data creation unit 51 determines whether there is a famous place in, for example, illustration map information J or general map information in the region corresponding to the GPS data acquired by the
If it is determined that there is a famous place, the related image data creating unit 51 reads the illustration image data H11 related to the famous place, for example, the tower from the
関連画像データ作成部５１は、ステップＳ３０ｂにおいて、例えばイラスト地図情報Ｊに対してアバター情報Ｈ１０とタワーに関連するイラスト画像データＨ１１とを合成し、図１４（ｂ）に示すようなイラスト合成画像データＪａを作成する。
この後、関連画像データ作成部５１は、ステップＳ３１ｂにおいて、当該イラスト合成画像データＪａを表示部３９に表示する。
In step S30b, the related image data creation unit 51 synthesizes the avatar information H10 and the illustration image data H11 related to the tower with the illustration map information J, for example, and the illustration composite image data as shown in FIG. Create Ja.
Thereafter, the related image data creation unit 51 displays the illustration composite image data Ja on the
再び、信号処理・制御部３０は、ステップＳ１７に移り、操作判定部３７の判定結果を受けてユーザによりレリーズボタンが押し操作されて撮影を行うか否かを判断し、レリーズボタンが押し操作されると、信号処理・制御部３０は、ステップＳ１８において、当該撮影時、静止画の撮影画像データを取得してその画像を表示部３９に表示すると共に、当該撮影画像データを記録部３３に記録する。
信号処理・制御部３０は、ステップＳ１９において、アバターモードであるか否かを判断し、判断の結果、アバターモードであれば、ステップＳ２０に移り、作成したイラスト合成画像データＪａを例えばステップＳ１８での撮影により取得した撮影画像データに関連付けて記録部３３に記憶する。
Again, the signal processing /
In step S19, the signal processing /
以上のような動作で、例えば図１６に示すような海岸沿いで人物Ｇを本装置１により撮影すると、本装置１は、例えば図１７（ａ）に示すような撮影画像データＨｇを取得する。
一方、本装置１は、上記ステップＳ２１〜Ｓ３０ｂの動作によって、例えば図１７（ｂ）に示すようなイラスト合成画像データＪｂを取得する。このイラスト合成画像データＪｂは、人物Ｇのアバター情報Ｈ２０と、撮影を行った海岸沿いの地域のイラストレーションのイラスト画像データＨ２１とが合成されている。イラスト画像データＨ２１は、撮影を行った海岸沿いの地域に関連する名所のイラストレーションでも良い。
なお、信号処理・制御部３０は、図１７（ｃ）に示すように関連画像データ作成部５１により作成したイラスト合成画像データＪｃを表示部３９に表示し、このイラスト合成画像データＪｃ内に撮影画像データＨｇ又はスルー画像を表示してもよい。
When the person G is photographed by the
On the other hand, the
As shown in FIG. 17C, the signal processing /
このように上記第２の実施の形態によれば、ＧＰＳデータに対応する地域の例えばイラスト地図情報Ｊを読み出し、人物の顔データに関連する例えばアバター情報Ｈ１０を読み出し、ＧＰＳデータに対応する地域の周辺に存在する名所、例えばタワーに関連するイラスト画像データＨ１１を読み出し、これらデータを合成してイラスト合成画像データＪａを作成する。これにより、上記第１の実施の形態と同様の効果を奏することができる。又、本装置１の画角に収められない状況や名所等も、例えば図１７（ｃ）に示すようにイラストレーションの画像データとして例えば撮影画像データと共に納める可能である。
As described above, according to the second embodiment, for example, the illustration map information J of the area corresponding to the GPS data is read, the avatar information H10 related to the face data of the person is read, and the area of the area corresponding to the GPS data is read. Illustration image data H11 related to a famous place such as a tower is read out, and these data are combined to create illustration composite image data Ja. Thereby, the same effects as those of the first embodiment can be obtained. In addition, situations and sights that cannot be accommodated within the angle of view of the
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
１：撮像装置、１０：カメラ本体、２０：撮影レンズ部（交換レンズ）、２１：撮影レンズ系、２２：操作部、２３：駆動部、２４：レンズデータ記憶部、２５：レンズ側通信部、２１ａ：ズームレンズ、３０：信号処理・制御部、３１：撮像部、３２：モーション判定部、３３：記録部、３４：衛星航法システム（ＧＰＳ）部、３５：本体側通信部、３６：時計部、３７：操作判定部、３８：方位判定部、３９：表示部、４０：外部通信部、３３ａ：関連情報データベース、４１：ネットワーク、４２：外部機器、５０：物体認識部、５１：関連画像データ作成部。 1: imaging device, 10: camera body, 20: photographing lens unit (interchangeable lens), 21: photographing lens system, 22: operation unit, 23: drive unit, 24: lens data storage unit, 25: lens side communication unit, 21a: Zoom lens, 30: Signal processing / control unit, 31: Imaging unit, 32: Motion determination unit, 33: Recording unit, 34: Satellite navigation system (GPS) unit, 35: Main body side communication unit, 36: Clock unit 37: operation determination unit, 38: orientation determination unit, 39: display unit, 40: external communication unit, 33a: related information database, 41: network, 42: external device, 50: object recognition unit, 51: related image data Creation department.
Claims (13)
を具備することを特徴とする撮像装置。 A related image data creation unit that creates illustration composite image data by synthesizing at least illustration image data related to the subject and illustration image data related to the shooting point when shooting,
An imaging apparatus comprising:
前記撮像部による撮影地点を含む撮影姿勢を検出する撮影姿勢検出部と、
前記撮像部の撮像により取得された画像データから前記被写体を判別する被写体判別部と、
少なくとも前記撮影地点と前記被写体とにそれぞれ関連するイラストレーションを含む複数のイラスト画像データを予め記憶する関連情報記憶部と、
少なくとも前記撮影姿勢検出部により検出された前記撮影地点と前記被写体判別部により判別された前記被写体とに関連する前記複数のイラスト画像データを前記関連情報記憶部から読み出し合成してイラスト合成画像データを作成する関連画像データ作成部と、
を具備することを特徴とする撮像装置。 An imaging unit for imaging a subject;
A shooting posture detection unit for detecting a shooting posture including a shooting point by the imaging unit;
A subject discriminating unit for discriminating the subject from image data acquired by imaging of the imaging unit;
A related information storage unit that stores in advance a plurality of illustration image data including illustrations respectively related to at least the shooting point and the subject;
The plurality of illustration image data related to at least the shooting point detected by the shooting posture detection unit and the subject determined by the subject determination unit is read from the related information storage unit and combined to generate illustration composite image data. A related image data creation section to be created;
An imaging apparatus comprising:
前記関連画像データ作成部は、前記被写体判別部により判別された前記顔データに関連するイラストレーションの前記イラスト画像データを前記関連情報記憶部から読み出して前記イラスト合成画像データを作成する、
ことを特徴とする請求項２記載の撮像装置。 The subject determination unit determines face data from the subject,
The related image data creation unit reads the illustration image data of the illustration related to the face data determined by the subject determination unit from the related information storage unit to create the illustration composite image data;
The imaging apparatus according to claim 2.
前記関連画像データ作成部は、前記位置センサにより検出された前記撮影地点と、前記方位センサにより検出された前記撮影方位と、前記撮像部の画角とに基づいて撮影範囲内に存在する対象写体を認識し、当該対象写体のイラストレーションの前記イラスト画像データを前記関連情報記憶部から読み出して前記イラスト合成画像データを作成する、
ことを特徴とする請求項２記載の撮像装置。 The shooting posture detection unit includes a position sensor that detects the shooting point, and a direction sensor that detects a shooting direction in which imaging is performed by the imaging unit,
The related image data creation unit is configured to detect a target image existing in a shooting range based on the shooting point detected by the position sensor, the shooting direction detected by the direction sensor, and the angle of view of the imaging unit. Recognizing the body, reading the illustration image data of the illustration of the target subject from the related information storage unit to create the illustration composite image data,
The imaging apparatus according to claim 2.
前記関連画像データ作成部は、前記時刻情報に対応して当該時刻を表わすイラストレーションの前記イラスト画像データを前記関連情報記憶部から読み出して前記イラスト合成画像データを作成する、
ことを特徴とする請求項２記載の撮像装置。 It has a time information acquisition unit that measures time and acquires time information,
The related image data creation unit reads the illustration image data of an illustration representing the time corresponding to the time information from the related information storage unit and creates the illustration composite image data.
The imaging apparatus according to claim 2.
前記関連画像データ作成部は、前記撮影姿勢検出部により検出された前記撮影地点に対応する前記簡易地図情報と、前記被写体判別部により判別された前記顔データに関連するイラストレーションの前記イラスト画像データとを前記関連情報記憶部から読み出して前記イラスト合成画像データを作成する、
ことを特徴とする請求項２記載の撮像装置。 The related information storage unit stores simple map information,
The related image data creation unit includes the simple map information corresponding to the shooting point detected by the shooting posture detection unit, and the illustration image data of the illustration related to the face data determined by the subject determination unit. From the related information storage unit to create the illustration composite image data,
The imaging apparatus according to claim 2.
前記関連画像データ作成部は、前記位置センサにより検出された前記撮影地点と、前記方位センサにより検出された前記撮影方位と、前記撮像部により撮像を行うときの画角とに基づいて前記撮影地点に対応する前記簡易地図情報が無ければ、その旨を報知する、
ことを特徴とする請求項１１記載の撮像装置。 The shooting posture detection unit includes a position sensor that detects the shooting point, and a direction sensor that detects a shooting direction in which imaging is performed by the imaging unit,
The related image data creation unit is configured to detect the shooting point based on the shooting point detected by the position sensor, the shooting direction detected by the direction sensor, and an angle of view when the image pickup unit performs shooting. If there is no simple map information corresponding to
The imaging apparatus according to claim 11.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010210799A JP5680358B2 (en) | 2010-09-21 | 2010-09-21 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010210799A JP5680358B2 (en) | 2010-09-21 | 2010-09-21 | Imaging apparatus and imaging method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015001716A Division JP5969062B2 (en) | 2015-01-07 | 2015-01-07 | Image processing apparatus and image processing method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2012070057A true JP2012070057A (en) | 2012-04-05 |
| JP2012070057A5 JP2012070057A5 (en) | 2013-09-19 |
| JP5680358B2 JP5680358B2 (en) | 2015-03-04 |
Family
ID=46166830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010210799A Expired - Fee Related JP5680358B2 (en) | 2010-09-21 | 2010-09-21 | Imaging apparatus and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5680358B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016086200A (en) * | 2014-10-23 | 2016-05-19 | 日本放送協会 | Image synthesis device and image synthesis program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010003223A (en) * | 2008-06-23 | 2010-01-07 | Yahoo Japan Corp | Item distribution device, item distribution method and program |
| JP2010118019A (en) * | 2008-11-14 | 2010-05-27 | Sharp Corp | Terminal device, distribution device, control method of terminal device, control method of distribution device, control program, and recording medium |
| JP2011166404A (en) * | 2010-02-09 | 2011-08-25 | Casio Computer Co Ltd | Image processing device, image processing method, image display method, and program |
-
2010
- 2010-09-21 JP JP2010210799A patent/JP5680358B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010003223A (en) * | 2008-06-23 | 2010-01-07 | Yahoo Japan Corp | Item distribution device, item distribution method and program |
| JP2010118019A (en) * | 2008-11-14 | 2010-05-27 | Sharp Corp | Terminal device, distribution device, control method of terminal device, control method of distribution device, control program, and recording medium |
| JP2011166404A (en) * | 2010-02-09 | 2011-08-25 | Casio Computer Co Ltd | Image processing device, image processing method, image display method, and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016086200A (en) * | 2014-10-23 | 2016-05-19 | 日本放送協会 | Image synthesis device and image synthesis program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5680358B2 (en) | 2015-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7192923B2 (en) | Apparatus, method, program, system | |
| TWI269024B (en) | Navigation system | |
| CN101833896B (en) | Geographic information guide method and system based on augment reality | |
| CN103152526B (en) | Image processing apparatus and image processing method | |
| EP1315102A2 (en) | A context-aware imaging device | |
| JP2006526945A (en) | Apparatus and method for recording "pass-enhanced" multimedia | |
| JP2011238242A (en) | Navigation and inspection system | |
| TW201110056A (en) | Electronic apparatus, display controlling method and program | |
| WO2005124594A1 (en) | Automatic, real-time, superimposed labeling of points and objects of interest within a view | |
| KR20090000186A (en) | Point of interest displaying apparatus and method for using augmented reality | |
| JP2010170518A (en) | Method for forming image database, navigation method, database system, mobile device for navigation, navigation system, and program for forming the image database | |
| US8339477B2 (en) | Digital camera capable of detecting name of captured landmark and method thereof | |
| JP6390992B1 (en) | Street viewer system | |
| JP6056664B2 (en) | Image processing apparatus and imaging system | |
| JP6412400B2 (en) | Image composition apparatus and image composition program | |
| JP5969062B2 (en) | Image processing apparatus and image processing method | |
| JP5680358B2 (en) | Imaging apparatus and imaging method | |
| JP6318196B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP7378510B2 (en) | street viewer system | |
| JP2001005994A (en) | Device and method for image processing | |
| JP2003244488A (en) | Image information adding apparatus and system | |
| KR101983727B1 (en) | Argument Reality Virtual Studio System | |
| JP2020204973A (en) | Information processing device, program, and information processing system | |
| JP2009122188A (en) | Imaging apparatus, map information displaying method, map displaying program, and computer-readable medium with map display program recorded thereon | |
| JP3753306B2 (en) | Mobile navigation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130808 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130808 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140602 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141209 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150107 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5680358 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees | ||
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |