JP2011041145A - Image display apparatus, image display method, and computer program - Google Patents

Image display apparatus, image display method, and computer program Download PDF

Info

Publication number
JP2011041145A
JP2011041145A JP2009188594A JP2009188594A JP2011041145A JP 2011041145 A JP2011041145 A JP 2011041145A JP 2009188594 A JP2009188594 A JP 2009188594A JP 2009188594 A JP2009188594 A JP 2009188594A JP 2011041145 A JP2011041145 A JP 2011041145A
Authority
JP
Japan
Prior art keywords
feature
information
image
specifying
specifying information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009188594A
Other languages
Japanese (ja)
Other versions
JP5155266B2 (en
Inventor
Makoto Yoshihashi
誠 吉橋
Keiji Enaka
啓二 江中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canvas Mapple Co Ltd
Original Assignee
Canvas Mapple Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canvas Mapple Co Ltd filed Critical Canvas Mapple Co Ltd
Priority to JP2009188594A priority Critical patent/JP5155266B2/en
Publication of JP2011041145A publication Critical patent/JP2011041145A/en
Application granted granted Critical
Publication of JP5155266B2 publication Critical patent/JP5155266B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To reduce erroneous photographing by using information about peripheral planimetric features when photographing a planimetric feature by means of a camera or the like. <P>SOLUTION: The image display apparatus 10 displays an image captured by a camera (e.g., a photographing section 20) on a display screen of a display device. The image display apparatus 10 comprises a planimetric feature specification information storage section 81 which stores planimetric feature specification information for specifying a planimetric feature such as a location or a name. Planimetric feature specification information corresponding to an image captured by the camera is retrieved and the retrieved planimetric feature specification information is displayed on the display screen while being superimposed with the captured image. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、カメラにより撮影された画像に含まれる地物の名称などを撮影画像と重畳して表示する画像表示装置、画像表示方法、および画像表示装置に動作制御させるためのコンピュータプログラムに関する。   The present invention relates to an image display device that displays a name of a feature included in an image photographed by a camera in a superimposed manner with a photographed image, an image display method, and a computer program for causing the image display device to control operations.

従来から、デジタルカメラなど(以下、「カメラなど」という。)を用いて画像を撮影する際、撮影日時や撮影場所の位置座標情報などの撮影状況情報を撮影画像に重畳して表示したり、撮影された画像を撮影状況情報と対応付けて記憶メモリに記憶したりする撮像装置が知られている。   Conventionally, when shooting an image using a digital camera or the like (hereinafter referred to as “camera or the like”), shooting status information such as shooting date / time or location coordinate information of the shooting location is superimposed on the shot image, There is known an imaging apparatus that stores a captured image in a storage memory in association with shooting situation information.

下記特許文献1に示すように、かかる撮像装置は、外光パッシブ方式などの測距装置によって得られる複数の測距点の値に基づいて距離画像を作成し、この距離画像に基づいて抽出された人物などの位置座標情報を算出し、人物などの固有の情報を主被写体情報として抽出し、これら位置座標情報と主被写体情報とを記録媒体に記録するという構成を備えている。   As shown in Patent Document 1 below, such an imaging device creates a distance image based on the values of a plurality of distance measuring points obtained by a distance measuring device such as an external light passive method, and is extracted based on the distance image. The position coordinate information of a person or the like is calculated, unique information such as a person is extracted as main subject information, and the position coordinate information and the main subject information are recorded on a recording medium.

このような画像装置によると、主被写体の撮影画像上での位置座標情報を算出することができ、当該位置座標と、主被写体の有する固有の情報とを撮影画像とともに記録することができる。   According to such an image device, position coordinate information on the captured image of the main subject can be calculated, and the position coordinates and unique information of the main subject can be recorded together with the captured image.

特開2005−12307号公報Japanese Patent Laid-Open No. 2005-12307

しかしながら、従来の撮像装置においては、主被写体の有する固有の情報として抽出できる情報は、画像から算出可能な主被写体の大きさや、画像のもつ物理的特徴量から推定できる事項(例えば主被写体が人物であるか否か)などであり、主被写体の名称など、何を撮影したのかが特定できる情報を記録する手段としては、ユーザが改めて情報を入力するしかなかった。このような画像撮影装置によると、ユーザが初めて行った場所などで撮影した画像の情報を把握していない場合、ユーザは、画像に写っている地物(例えば湖の一部や外観が特徴的なビルなど)の名称を判別することができないため、目的と異なる地物の画像を記録してしまうという問題があった。   However, in a conventional imaging device, information that can be extracted as unique information of the main subject is a matter that can be estimated from the size of the main subject that can be calculated from the image and the physical features of the image (for example, the main subject is a person). As a means for recording information such as the name of the main subject and the like that can identify what was photographed, the user has to input the information again. According to such an image capturing device, when the user does not grasp the information of the image captured at the place where the user first performed, the user can recognize the feature (for example, a part of the lake or the appearance of the lake). As a result, it is impossible to determine the name of a building, etc.), and there is a problem that an image of a feature different from the purpose is recorded.

本発明は、上記課題を解決するためになされたものであって、カメラなどにより地物を撮影する際に、周辺の地物に関する情報を用いて写し間違いなどを軽減することができるようすることを目的とする。   The present invention has been made to solve the above-described problem, and is capable of reducing mistakes in copying using information related to surrounding features when photographing the features with a camera or the like. With the goal.

本発明の画像表示装置は、カメラにより撮影された画像を表示装置の表示画面に表示する画像表示装置であって、位置や名称などにより地物を特定するための地物特定情報を記憶する地物特定情報記憶手段と、前記カメラにより撮影された画像に応じた前記地物特定情報を検索する地物特定情報検索手段と、該地物特定情報検索手段により検索された地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示することを特徴とする。   An image display device of the present invention is an image display device that displays an image captured by a camera on a display screen of a display device, and stores feature specifying information for specifying a feature by position, name, or the like. Feature specifying information storage means, feature specifying information search means for searching for the feature specifying information corresponding to the image taken by the camera, feature specifying information searched by the feature specifying information search means, and The photographed image is superimposed and displayed on the display screen.

上記の構成としたことで、カメラなどにより地物を撮影する際に、周辺の地物に関する情報を用いて写し間違いなどを軽減することができるようになる。   By adopting the above-described configuration, it is possible to reduce mistakes in copying using information related to surrounding features when photographing the features with a camera or the like.

前記カメラにより撮影される撮影空間を特定する撮影空間特定手段を含み、前記地物特定情報検索手段は、前記撮影空間特定手段により特定された撮影空間内に存在する地物の前記地物特定情報を検索する構成としてもよい。   The feature specifying information search unit includes a shooting space specifying unit that specifies a shooting space shot by the camera, and the feature specifying information searching unit includes the feature specifying information of the feature existing in the shooting space specified by the shooting space specifying unit. It is good also as a structure which searches.

撮影地点を特定する撮影地点特定手段と、前記カメラの撮影方位を検出する方位検出手段と、前記カメラの3次元姿勢を検出する3次元姿勢検出手段とを含み、前記撮影空間特定手段は、前記撮影地点と前記撮影方位と前記3次元姿勢とから前記撮影空間を特定する構成としてもよい。   A shooting point specifying unit for specifying a shooting point; a direction detecting unit for detecting a shooting direction of the camera; and a three-dimensional posture detecting unit for detecting a three-dimensional posture of the camera. The shooting space specifying unit includes: and a shooting point and the photographing azimuth and the 3-dimensional posture may be configured to identify the imaging space.

前記撮影空間特定手段は、前記カメラの焦点を頂点とし、前記カメラの画角を頂角とする所定の高さの四角錘型の空間を前記撮影空間として特定する構成としてもよい。   The photographing space specifying means may be configured to specify a quadrangular pyramid-shaped space having a predetermined height with the focal point of the camera as an apex and an angle of view of the camera as the photographing space.

前記地物特定情報は、各地物の代表点を示す代表点情報と、前記各地物の存在範囲を示す情報とを有し、地物特定情報表示手段は、前記地物特定情報検索手段により複数の地物特定情報が検索されたことに応じて、前記撮影空間特定手段により特定された撮影空間における前記各地物の代表点と存在範囲とに基づいて前記地物特定情報を表示する構成としてもよい。   The feature specifying information includes representative point information indicating a representative point of each feature and information indicating the existence range of each feature, and a plurality of feature specifying information display means are provided by the feature specifying information search means. The feature specifying information may be displayed based on the representative point and the existence range of each feature in the shooting space specified by the shooting space specifying means in response to the search of the feature specifying information. Good.

前記カメラにより撮影された画像の焦点を合わせる合焦手段を含み、前記地物特定情報表示手段は、前記撮影空間のうち前記合焦手段により焦点が合っている部分に存在する地物の前記地物特定情報とその他の地物特定情報とを識別可能に表示する構成としてもよい。   Focusing means for focusing an image photographed by the camera, wherein the feature specifying information display means is the feature of the feature existing in a portion in focus in the photographing space by the focusing means. It is good also as a structure which displays object specific information and other feature specific information so that identification is possible.

前記地物特定情報検索手段により検索された前記地物特定情報のうち、前記表示画面上に表示する地物特定情報の選択を受け付ける表示情報受付手段を含み、前記地物特定情報表示手段は、前記表示情報受付手段により選択を受け付けた地物特定情報を表示する構成としてもよい。   Among the feature specifying information searched by the feature specifying information searching means, including display information receiving means for receiving selection of feature specifying information to be displayed on the display screen, the feature specifying information display means It is good also as a structure which displays the feature specific information which received selection by the said display information reception means.

前記カメラにより撮影された画像における撮影対象物までの距離を特定する撮影対象物距離特定手段を含み、前記地物情報検索手段は、前記撮影対象物距離特定手段により特定された撮影対象物までの距離に応じて前記地物特定情報の検索条件を設定する構成としてもよい。   Including a shooting object distance specifying means for specifying a distance to a shooting object in an image shot by the camera, wherein the feature information searching means is for the shooting object specified by the shooting object distance specifying means. It is good also as a structure which sets the search condition of the said feature specific information according to distance.

前記地物特定情報検索手段により検索された地物特定情報が示す地物が、前記カメラにより撮影された画像として表示画面に表示される表示可能性を算出する表示可能性算出手段を含み、前記地物特定情報表示手段は、前記表示可能性算出手段により算出された表示可能性に基づいて前記地物特定情報を表示する構成としてもよい。   A display possibility calculating means for calculating a display possibility that the feature indicated by the feature specifying information searched by the feature specifying information searching means is displayed on a display screen as an image photographed by the camera; The feature identification information display means may display the feature identification information based on the display possibility calculated by the display possibility calculation means.

また、本発明の画像表示方法は、カメラにより撮影された画像を表示装置の表示画面に表示する画像表示方法であって、位置や名称などにより地物を特定するための地物特定情報を記憶する地物特定情報記憶手段に記憶された地物特定情報の中から、前記カメラにより撮影された画像に応じた地物特定情報を検索する地物特定情報検索処理と、該地物特定情報検索処理にて検索した地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示する地物特定情報表示処理とを含むことを特徴とする。   The image display method of the present invention is an image display method for displaying an image taken by a camera on a display screen of a display device, and stores feature specifying information for specifying a feature by position, name, or the like. A feature specification information search process for searching for feature specification information corresponding to an image photographed by the camera from among the feature specification information stored in the feature specification information storage means, and the feature specification information search And a feature specifying information display process in which the feature specifying information retrieved in the process and the photographed image are superimposed on each other and displayed on the display screen.

また、本発明の画像表示プログラムは、カメラにより撮影された画像を表示装置の表示画面に表示する画像表示装置に動作制御させるための画像表示プログラムであって、前記画像表示装置に、位置や名称などにより地物を特定するための地物特定情報を記憶する地物特定情報記憶手段に記憶された地物特定情報の中から、前記カメラにより撮影された画像に応じた地物特定情報を検索する地物特定情報検索処理と、該地物特定情報検索処理にて検索した地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示する地物特定情報表示処理とを 実行させるためのものである。   The image display program of the present invention is an image display program for controlling an operation of an image display device that displays an image captured by a camera on a display screen of the display device. The feature specifying information stored in the feature specifying information storage means for storing the feature specifying information for specifying the feature by searching for the feature specifying information corresponding to the image photographed by the camera is retrieved. The feature specifying information search processing to be performed, and the feature specifying information display processing for displaying the feature specifying information searched in the feature specifying information search processing and the captured image on the display screen in a superimposed manner are executed. It is for making it happen.

本発明によれば、カメラなどにより地物を撮影する際に、周辺の地物に関する情報を用いて写し間違いなどを軽減することができるようすることができる。   According to the present invention, when a feature is photographed by a camera or the like, it is possible to reduce mistakes in copying using information related to surrounding features.

本発明に係る画像表示装置を用いたデジタルカメラの構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the digital camera using the image display apparatus which concerns on this invention. 本発明に係る画像表示装置が備える地物特定情報記憶部に記憶されている地物特定情報の格納状態の例を示す説明図である。It is explanatory drawing which shows the example of the storage state of the feature specific information memorize | stored in the feature specific information storage part with which the image display apparatus which concerns on this invention is provided. 本発明に係る画像表示装置が備える表示態様情報記憶部に記憶される表示態様情報の格納状態の例を示す説明図である。It is explanatory drawing which shows the example of the storage state of the display mode information memorize | stored in the display mode information storage part with which the image display apparatus which concerns on this invention is provided. 本例における画像表示処理の例を示すフローチャートである。It is a flowchart which shows the example of the image display process in this example. 本例における撮影空間について説明するための説明図である。It is explanatory drawing for demonstrating the imaging | photography space in this example. 本例における表示態様決定処理の例を示すフローチャートである。It is a flowchart which shows the example of the display mode determination process in this example. 各地物が表示画面に表示されているかを判定する方法を説明するための説明図である。The method determines whether each feature is displayed on the display screen is an explanatory view for explaining the. 本発明に係る画像表示装置が備える表示態様情報記憶部に記憶される表示態様情報の格納状態の例を示す説明図である。It is explanatory drawing which shows the example of the storage state of the display mode information memorize | stored in the display mode information storage part with which the image display apparatus which concerns on this invention is provided. 表示画面の例を示す説明図である。It is explanatory drawing which shows the example of a display screen. 平面範囲を検索範囲とする場合の例を説明するための説明図である。It is explanatory drawing for demonstrating the example in case a plane range is made into a search range.

以下、本発明の一実施の形態について図面を参照して説明する。なお、以下の実施の形態は、各請求項に係る発明を限定するものではなく、また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. The following embodiments do not limit the invention according to each claim, and all combinations of features described in the embodiments are indispensable for the solution means of the invention. Not exclusively.

図1は、本発明に係る画像表示装置10を用いたデジタルカメラ100の構成の一例を示すブロック図である。図1に示すようにデジタルカメラ100は、画像表示装置10と、撮影部20とを含む。   FIG. 1 is a block diagram showing an example of the configuration of a digital camera 100 using an image display device 10 according to the present invention. As shown in FIG. 1, the digital camera 100 includes an image display device 10 and a photographing unit 20.

撮影部20は、集光レンズ21、エリアセンサ22およびA/D変換機23を含む。集光レンズ21は、被写体からの光をエリアセンサ22へ集光する。エリアセンサ22は、例えばCCDなどの光電変換素子を複数有している。エリアセンサ22は、画素を構成する複数の撮像素子を有している。画素を構成する撮像素子は、水平方向ならびに垂直方向にマトリクス状に複数個配置されている。   The imaging unit 20 includes a condenser lens 21, an area sensor 22, and an A / D converter 23. The condensing lens 21 condenses light from the subject onto the area sensor 22. The area sensor 22 has a plurality of photoelectric conversion elements such as CCDs. The area sensor 22 has a plurality of image sensors that constitute pixels. A plurality of image sensors constituting pixels are arranged in a matrix in the horizontal direction and the vertical direction.

画素は、それぞれ受光面側にカラーフィルタが配置されている。カラーフィルタとしては、Cy(Cyan)、Mg(Magenta)、Ye(Yellow)およびG(Green)からなる補色フィルタが使用されている。エリアセンサ22の各画素へ入射された光は電気信号に変換され、エリアセンサ22から出力される。エリアセンサ22から出力された電気信号はアナログ信号であるので、A/D変換機23でデジタルの電子データへ変換される。   Each pixel has a color filter disposed on the light receiving surface side. As the color filter, a complementary color filter composed of Cy (Cyan), Mg (Magenta), Ye (Yellow), and G (Green) is used. Light incident on each pixel of the area sensor 22 is converted into an electrical signal and output from the area sensor 22. Since the electrical signal output from the area sensor 22 is an analog signal, it is converted into digital electronic data by the A / D converter 23.

また、集光レンズ21には、後述する撮影空間特定部60の方位情報取得部62が接続されており、方位情報取得部62によって集光レンズ21の向いている方向(カメラ視線の方向)を示す撮影方位情報を取得することができる。   In addition, an azimuth information acquisition unit 62 of an imaging space specifying unit 60 (to be described later) is connected to the condensing lens 21, and the direction in which the condensing lens 21 faces (the direction of the camera line of sight) is determined by the azimuth information acquisition unit 62. The shooting direction information shown can be acquired.

画像表示装置10は、撮影部20により撮影された画像を表示するための装置であり、記憶部30と、処理部40と、表示部50と、撮影空間特定部60と、地図情報記憶部80と、地物特定情報記憶部81と、表示態様情報記憶部82と、検索部F1と表示態様決定部F2とを含む。   The image display device 10 is a device for displaying an image photographed by the photographing unit 20, and includes a storage unit 30, a processing unit 40, a display unit 50, a photographing space specifying unit 60, and a map information storage unit 80. A feature specifying information storage unit 81, a display mode information storage unit 82, a search unit F1, and a display mode determination unit F2.

記憶部30は、RAM(Random Access Memori)31およびフラッシュメモリ32を有している。フラッシュメモリ32は、通電しなくても記録内容を保持することができる書き換え可能な記録媒体であり、画像表示装置10に内蔵、またはデジタルカメラ100に着脱自在に取り付けられている。RAM31は、A/D変換機23から出力されたデジタルの電子データ、ならびに処理部40で処理された画像データを一時的に記憶する。フラッシュメモリ32は、RAM31に一時的に記録されている画像データを蓄積して格納・保管する。   The storage unit 30 includes a RAM (Random Access Memory) 31 and a flash memory 32. The flash memory 32 is a rewritable recording medium that can retain recorded contents without being energized, and is built in the image display device 10 or detachably attached to the digital camera 100. The RAM 31 temporarily stores digital electronic data output from the A / D converter 23 and image data processed by the processing unit 40. The flash memory 32 accumulates and stores / stores image data temporarily recorded in the RAM 31.

処理部40は、撮影部20から出力された電子データを処理するための電気回路であり、CPU(Central Processing Unit)41、ROM(Read Only Memory)42および処理回路43を有している。   The processing unit 40 is an electric circuit for processing the electronic data output from the photographing unit 20, and includes a CPU (Central Processing Unit) 41, a ROM (Read Only Memory) 42, and a processing circuit 43.

ROM42には、CPU41および処理回路43で実行されるコンピュータプログラムが記憶されている。処理回路43は、撮影部20から出力されたデジタルの電子データに露出補正、画素補間あるいはデータ圧縮などの各種画像処理を実行する機能を有する。処理回路43は、画像処理を実施する画像処理専用の電子回路である。CPU41は、ROM42に記憶されたコンピュータプログラムに従い、画像表示装置10の各構成要素を統制制御し、各種のプログラム処理を実行する。   The ROM 42 stores computer programs executed by the CPU 41 and the processing circuit 43. The processing circuit 43 has a function of executing various image processing such as exposure correction, pixel interpolation, and data compression on the digital electronic data output from the photographing unit 20. The processing circuit 43 is an electronic circuit dedicated to image processing that performs image processing. The CPU 41 controls and controls each component of the image display device 10 according to the computer program stored in the ROM 42, and executes various program processes.

また、処理部40には、ユーザからの入力を受け付けるための入力部が接続されている。入力部としては、例えばユーザにより押下されたことに応じて撮影された画像の記録要求を受け付けるシャッターボタン71と、デジタルカメラ100における種々の機能の操作入力を受け付ける入力ボタン72などを有する。   The processing unit 40 is connected to an input unit for receiving input from the user. The input unit includes, for example, a shutter button 71 that receives a recording request for an image taken in response to being pressed by a user, an input button 72 that receives operation inputs of various functions in the digital camera 100, and the like.

表示部50は、処理部40で処理された電子データを画像として表示するディスプレイ(モニタ)であり、例えば周知の液晶パネルが用いられる。   The display unit 50 is a display (monitor) that displays the electronic data processed by the processing unit 40 as an image. For example, a known liquid crystal panel is used.

撮影空間特定部60は、位置情報取得部61と方位情報取得部62と、3次元姿勢検出部63とを有する。   The imaging space specifying unit 60 includes a position information acquisition unit 61, an orientation information acquisition unit 62, and a three-dimensional posture detection unit 63.

位置情報取得部61は、GPS(Global Positioning System)などによって撮影地点の位置情報(経度、緯度、標高)を取得する機能を有する。   The position information acquisition unit 61 has a function of acquiring position information (longitude, latitude, altitude) of a shooting point by GPS (Global Positioning System) or the like.

方位情報取得部62は、方位検出センサを有しており、集光レンズ21の姿勢を検知して、集光レンズ21の向いている方向(方位と仰角)を示す撮影方位情報を取得する機能を有する。   The azimuth information acquisition unit 62 has a azimuth detection sensor, detects the attitude of the condensing lens 21, and acquires photographing azimuth information indicating the direction (azimuth and elevation angle) in which the condensing lens 21 is facing. Have

3次元姿勢検出部63は、姿勢検出センサを有しており、集光レンズ21の3次元姿勢を示す姿勢情報を取得する機能を有する。   The three-dimensional posture detection unit 63 has a posture detection sensor and has a function of acquiring posture information indicating the three-dimensional posture of the condenser lens 21.

撮影空間特定部60は、撮影地点の位置情報と撮影方位情報と姿勢情報とに基づいて、撮影部20により撮影される撮影空間を特定する。本例においては、撮影空間特定部60は、撮影地点を頂点とし、所定の角度を頂角とし、集光レンズ21の向いている方向に所定の高さを有する略錐体形状の空間を撮影空間とする。   The shooting space specifying unit 60 specifies a shooting space shot by the shooting unit 20 based on the position information of the shooting point, shooting direction information, and posture information. In this example, the photographing space specifying unit 60 photographs a substantially cone-shaped space having a photographing point as a vertex, a predetermined angle as an apex angle, and a predetermined height in a direction in which the condenser lens 21 faces. Space.

地図情報記憶部80は、一定の経度幅と緯度幅で区切られた矩形状の範囲(メッシュ)に分割して地図情報を記憶する記憶媒体である。地図情報は、地図情報記憶部80に記憶されるほか、例えばSDメモリカードと呼ばれるリムーバルメディアとしての補助記憶装置等に保存することができる。   The map information storage unit 80 is a storage medium that stores map information by dividing it into a rectangular range (mesh) divided by a certain longitude width and latitude width. In addition to being stored in the map information storage unit 80, the map information can be stored in an auxiliary storage device as a removable medium called an SD memory card, for example.

地物特定情報記憶部81は、地点や地物(建物、山、川、湖など)の名称、位置、大きさ、平面形状、代表的な映像データなどの情報を含む地物特定情報が記憶する記憶媒体である。図2は、地物特定情報記憶部81に記憶されている地物特定情報の格納状態の例を示す説明図である。図2に示すように、本例における地物特定情報は、地物IDと、地物のジャンルと、地物の名称と、代表点座標と、平面形状と、高さ情報と、代表的な画像とが対応づけされた情報である。ここで、平面形状とは、地図を2次元平面(高さ情報のない2次元座標)で考えた場合に各地物が占める領域を示すためのものであり、地物の詳細な形状を示すものに限定されず、例えば「代表点座標を中心とした半径○メートルの円」というような情報であってもよいし、緯度と経度の範囲で各地物が存在する領域を示す情報であってもよい。本例においては平面形状が緯度と経度の範囲で各地物が存在する領域を示す場合を例に説明する。   The feature specifying information storage unit 81 stores feature specifying information including information such as names, positions, sizes, plane shapes, and representative video data of points and features (buildings, mountains, rivers, lakes, etc.). Storage medium. FIG. 2 is an explanatory diagram illustrating an example of a storage state of the feature specifying information stored in the feature specifying information storage unit 81. As shown in FIG. 2, the feature identification information in this example includes feature ID, feature genre, feature name, representative point coordinates, planar shape, height information, representative This is information associated with an image. Here, the plane shape is for showing the area occupied by each feature when the map is considered as a two-dimensional plane (two-dimensional coordinates without height information), and shows the detailed shape of the feature. For example, it may be information such as “circle of radius ○ meter centered on representative point coordinates” or information indicating an area where each feature exists in the range of latitude and longitude. Good. In this example, the case where the planar shape indicates a region where each feature exists in the range of latitude and longitude will be described as an example.

表示態様情報記憶部82は、撮影空間内に位置する地物の地物特定情報と、各地物特定情報を表示画面に表示するときの表示態様を示す情報とが対応付けされた表示態様情報を記憶するための記憶媒体である。   The display mode information storage unit 82 displays the display mode information in which the feature specifying information of the feature located in the shooting space is associated with the information indicating the display mode when displaying the feature specifying information on the display screen. It is a storage medium for storing.

図3は、表示態様情報記憶部82に記憶される表示態様情報の格納状態の例を示す説明図である。図3に示すように、表示態様情報は、地物の名称と表示態様とが対応付けされた情報である。本例においては表示態様として、「実線」、「リスト」、「破線」、「表示なし」とがあることとする。表示態様情報については、後で詳しく説明する。   FIG. 3 is an explanatory diagram illustrating an example of a storage state of display mode information stored in the display mode information storage unit 82. As shown in FIG. 3, the display mode information is information in which a feature name and a display mode are associated with each other. In this example, it is assumed that there are “solid line”, “list”, “dashed line”, and “no display” as display modes. The display mode information will be described in detail later.

検索部F1は、地物特定情報記憶部81を参照して、撮影空間特定部60により特定された撮影空間内に存在する地物を示す地物特定情報を検索する機能を有する。なお、ユーザにより予め検索条件を設定可能な構成として、検索処理に要する処理時間を調節可能な構成としてもよい。この場合、例えば検索条件として、地物のジャンルの選択や最大検索数の設定など種々の条件が考えられる。   The search unit F <b> 1 has a function of referring to the feature specifying information storage unit 81 and searching for feature specifying information indicating features existing in the shooting space specified by the shooting space specifying unit 60. In addition, it is good also as a structure which can adjust the processing time which a search process requires as a structure which can set a search condition previously by a user. In this case, for example, as a search condition, various conditions such as the genre selection and maximum number of searches set of features can be considered.

表示態様決定部F2は、撮影空間内に存在する地物の地物特定情報が検索されたことに応じて、後述する表示態様決定処理により表示部50の表示画面に表示する地物特定情報の表示態様を決定する機能を有する。   The display mode determination unit F2 displays the feature specification information to be displayed on the display screen of the display unit 50 by the display mode determination process to be described later in response to the search for the feature specification information of the feature existing in the shooting space. It has a function of determining the display mode.

次に、本発明の画像表示装置10の動作について図面を参照して説明する。なお、本発明に特にかかわらない処理については、その詳細な説明を省略している場合がある。   Next, the operation of the image display apparatus 10 of the present invention will be described with reference to the drawings. Note that a detailed description of processing not particularly related to the present invention may be omitted.

図4は、画像表示装置10が実行する画像表示処理の例を示すフローチャートである。画像表示処理では、撮影部20により撮影された画像に応じた地物特定情報を検索して、地物特定情報を表示画面に表示するための処理が行われる。本例においては、地物特定情報のうち地物の名称を表示する場合を例にして説明を行なう。なお、本例における画像表示装置10は、撮像素子からの出力に応じて撮影部20がとらえた画像を略リアルタイムで表示画面に表示するライブビュー機能を有しており、「撮影部20により撮影された画像」とは、記憶部30に記憶される画像だけでなく、ライブビュー機能により表示部50に表示される画像を含む意味であることとする。   FIG. 4 is a flowchart illustrating an example of image display processing executed by the image display apparatus 10. In the image display process, a process for searching for the feature specifying information corresponding to the image shot by the shooting unit 20 and displaying the feature specifying information on the display screen is performed. In this example, description will be made by taking as an example the case of displaying the name of a feature among the feature specifying information. The image display device 10 in this example has a live view function for displaying an image captured by the photographing unit 20 on a display screen in substantially real time according to an output from the image sensor. The “performed image” means not only an image stored in the storage unit 30 but also an image displayed on the display unit 50 by the live view function.

本例における画像標示処理は、処理部40に対して撮影部20から電子データが出力されたことに応じて開始される。   The image marking process in this example is started in response to the output of electronic data from the imaging unit 20 to the processing unit 40.

画像表示処理において、先ず、処理部40は、位置情報取得部61により撮影地点を特定して位置情報を取得する(ステップS101)。なお、本例においては撮影地点を示す位置として撮影部20の焦点を用いることとする。撮影地点の位置情報を取得すると、処理部40は、方位情報取得部62により撮影方位情報を取得する(ステップS102)。   In the image display process, first, the processing unit 40 acquires a location information by specifying a shooting location by the location information acquisition unit 61 (step S101). In this example, the focal point of the photographing unit 20 is used as the position indicating the photographing point. When the position information of the shooting point is acquired, the processing unit 40 acquires the shooting direction information by the direction information acquisition unit 62 (step S102).

撮影方位情報を取得すると、処理部40は、撮影空間を特定するための処理を行う(ステップS103)。図5は、このとき特定される撮影空間について説明するための説明図である。図5に示すように、撮影空間特定部60は、撮影地点の位置情報が示す座標を頂点O(以下、「撮影地点O」という。)とし、デジタルカメラ100の画角を頂角θとし、デジタルカメラ100において焦点を合わせることのできる限界距離を高さHとする四角錐体形状の空間90を撮影空間とする。なお、図5における点a〜eは、地物A〜Eの代表点を示している。   When the shooting direction information is acquired, the processing unit 40 performs a process for specifying the shooting space (step S103). Figure 5 is an explanatory diagram for describing imaging space specified this time. As shown in FIG. 5, the shooting space specifying unit 60 sets the coordinates indicated by the position information of the shooting point as the vertex O (hereinafter referred to as “shooting point O”), the angle of view of the digital camera 100 as the apex angle θ, A quadrangular pyramid shaped space 90 having a height H as a limit distance that can be focused in the digital camera 100 is defined as an imaging space. Note that points a to e in FIG. 5 represent representative points of the features A to E.

撮影空間を特定すると、処理部40は、検索部F1により撮影空間内に存在する地物を示す地物特定情報を検索する(ステップS104)。ここで、本例においては、地物特定情報における代表点座標が特定された撮影空間内に位置していることを検索条件とする。すなわち、図5においては、検索部F1は、空間90内に代表点が位置する地物A〜Dを検索結果として記憶する。   When the shooting space is specified, the processing unit 40 searches the feature specifying information indicating the feature existing in the shooting space by the search unit F1 (step S104). Here, in this example, the search condition is that the representative point coordinates in the feature specifying information are located in the specified shooting space. That is, in FIG. 5, the search unit F <b> 1 stores the features A to D where the representative points are located in the space 90 as the search results.

地物特定情報を検索すると、処理部40は、撮影空間内に存在する地物を示す地物特定情報があるか否かを判定する。   When searching for the feature specifying information, the processing unit 40 determines whether or not there is feature specifying information indicating the feature existing in the imaging space.

地物特定情報の検索結果から撮影空間内に存在する地物を示す地物特定情報があると判定すると(ステップS105のY)、処理部40は、地物特定情報における地物名称を表示部50の表示画面に表示するときの表示態様を決定するための表示態様決定処理を実行する(ステップS106)。   If it is determined from the search result of the feature specifying information that there is feature specifying information indicating the feature existing in the shooting space (Y in step S105), the processing unit 40 displays the feature name in the feature specifying information by the display unit. executing a display mode decision processing for deciding a display mode when displaying 50 the display screen (step S106).

ここで、本例における表示態様決定処理について図面を参照して説明する。   Here, will be described with reference to the drawings display mode determining process in the present embodiment.

図6は、本例における表示態様決定処理の例を示すフローチャートである。表示態様決定処理では、表示部50の表示画面上に撮影空間内に代表点を有する地物を示す地物特定情報を表示するときの表示態様を決定するための処理が行われる。   FIG. 6 is a flowchart showing an example of display mode determination processing in this example. In the display mode determination process, a process for determining the display mode when displaying the feature specifying information indicating the feature having the representative point in the imaging space on the display screen of the display unit 50 is performed.

表示態様決定処理において、先ず、処理部40は、表示態様決定部F2により、撮影地点と各地物の代表点との距離を算出する(ステップS201)。なお、本例においては撮影地点と代表点の位置情報から撮影地点と各地物の代表点との距離を算出する。   In the display mode determination process, first, the processing unit 40 calculates the distance between the shooting point and the representative point of each feature by the display mode determination unit F2 (step S201). In this example, the distance between the shooting point and the representative point of each feature is calculated from the position information of the shooting point and the representative point.

撮影地点と各地物との距離を算出すると、処理部40は、表示態様決定部F2により、被写体距離と被写界深度とに基づいて、撮影空間においてピントがあっているように見える空間(以下、「合焦空間」という。)を特定する処理を行う(ステップS202)。なお、被写体距離と被写界深度の算出処理などには公知の技術を用いるので、ここでの詳細な説明は省略する。   When the distance between the shooting point and each feature is calculated, the processing unit 40 causes the display mode determination unit F2 to determine that the shooting space is in focus based on the subject distance and the depth of field (hereinafter referred to as the focus). , “Focused space”) is specified (step S202). In addition, since a known technique is used for the calculation processing of the subject distance and the depth of field, a detailed description thereof is omitted here.

合焦空間を特定すると、処理部40は、表示態様決定部F2により、撮影空間の情報と各地物に対応する地物特定情報とに基づいて、各地物が表示画面に表示されているか否かを判定する(ステップS203)。   When the in-focus space is specified, the processing unit 40 determines whether or not each feature is displayed on the display screen based on the information on the shooting space and the feature specifying information corresponding to each feature by the display mode determination unit F2. Is determined (step S203).

図7は、各地物が表示画面に表示されているかを判定する方法を説明するための説明図である。図7に示すように、本例において撮影空間に特定された空間90内に位置する地物を示す地物特定情報は、地物の平面形状と高さを示す情報を有しているため、地物の存在範囲を示すことができる。そこで、表示態様決定部F2は、撮影地点Oと各地物の存在範囲とを結ぶ直線上に他の地物の存在範囲が位置しているか否かによって、表示範囲に表示されている地物であるか否かを判定する。図7においては、表示態様決定部F2は、地物A〜Cが表示画面に表示されている地物であると判定する。なお、図7において、ステップS202で特定した合焦空間は被写界深度を高さSとする四角錘台形状の空間91で示すことができる。   FIG. 7 is an explanatory diagram for explaining a method of determining whether or not each feature is displayed on the display screen. As shown in FIG. 7, the feature specifying information indicating the feature located in the space 90 specified as the shooting space in this example has information indicating the planar shape and height of the feature. The presence range of the feature can be shown. Therefore, the display mode determination unit F2 is a feature displayed in the display range depending on whether or not the existence range of other features is located on a straight line connecting the shooting point O and the existence range of each feature. It is determined whether or not there is. In FIG. 7, the display mode determination unit F2 determines that the features A to C are features displayed on the display screen. In FIG. 7, the in-focus space identified in step S202 can be indicated by a square pyramid-shaped space 91 having a depth of field of height S.

表示画面に表示されている地物であると判定すると(ステップS203のY)、処理部40は、表示態様決定部F2により、地物の代表点が合焦空間内に存在しているか否かを判定する(ステップS204)。本例においては、表示態様決定部F2は、表示画面に表示されている地物A〜Cが全て合焦空間91内に代表点があるものと判定する。   If it determines with it being the feature currently displayed on the display screen (Y of step S203), the process part 40 will determine whether the representative point of the feature exists in the focusing space by the display mode determination part F2. Is determined (step S204). In this example, the display mode determination unit F2 determines that all the features A to C displayed on the display screen have representative points in the in-focus space 91.

合焦空間内に代表点があると判定すると(ステップS204のY)、処理部40は、表示態様決定部F2により、代表点の近傍に表示する情報として表示態様情報に設定し(ステップS205)、ステップS210に遷移する。ここで、合焦空間内に代表点がないと判定した場合(ステップS204のN)、処理部40は、表示態様決定部F2により、リスト表示する情報として表示態様情報に設定し(ステップS206)、ステップS210に遷移する。   If it is determined that there is a representative point in the in-focus space (Y in step S204), the processing unit 40 sets the display mode information as information to be displayed in the vicinity of the representative point by the display mode determination unit F2 (step S205). The process proceeds to step S210. Here, when it is determined that there is no representative point in the in-focus space (N in step S204), the processing unit 40 sets the display mode information as information to be displayed in a list by the display mode determination unit F2 (step S206). The process proceeds to step S210.

一方、ステップS203において、表示画面に表示されている地物でないと判定した場合(ステップS203のN)、処理部40は、表示態様決定部F2により、合焦区間内に存在する地物である否かを判定する(ステップS207)。本例においては、表示態様決定部F2は、地物Dが表示画面に表示されていない地物であると判定し、合焦空間92内に代表点があるものと判定する。   On the other hand, when it determines with it not being the feature currently displayed on the display screen in step S203 (N of step S203), the process part 40 is the feature which exists in an in-focus area by the display mode determination part F2. It is determined whether or not (step S207). In this example, the display mode determination unit F2 determines that the feature D is a feature that is not displayed on the display screen, and determines that there is a representative point in the in-focus space 92.

合焦空間内に代表点があると判定すると(ステップS207のY)、処理部40は、表示態様決定部F2により、表示画面に表示されていないが撮影空間内には存在することをユーザに報知する情報として表示態様情報に設定し(ステップS208)、ステップS210に遷移する。ここで、合焦空間内に代表点がないと判定した場合(ステップS207のN)、処理部40は、表示態様決定部F2により、表示しない情報として表示態様情報に設定し(ステップS209)、ステップS210に遷移する。   If it is determined that there is a representative point in the in-focus space (Y in step S207), the processing unit 40 informs the user that the display mode determining unit F2 does not display the display screen but exists in the imaging space. It sets to display mode information as information to notify (Step S208), and changes to Step S210. Here, when it is determined that there is no representative point in the in-focus space (N in step S207), the processing unit 40 sets the display mode information as information not to be displayed by the display mode determination unit F2 (step S209). The process proceeds to step S210.

ステップS210では、処理部40は、表示態様情報記憶部82を参照して、撮影空間内にある地物を示す地物特定情報の表示態様が全て決定されたか否かを判定する。   In step S210, the processing unit 40 refers to the display mode information storage unit 82 and determines whether or not all the display modes of the feature specifying information indicating the features in the shooting space have been determined.

表示態様が全て決定されていないと判定した場合(ステップS210のN)、処理部40はステップS201に遷移する。一方、表示態様が全て決定さたと判定した場合(ステップS210のY)、処理部40は画像表示処理のステップS107に遷移する(図4参照)。   If it is determined that all display modes have not been determined (N in step S210), the processing unit 40 proceeds to step S201. On the other hand, if it is determined that all display modes have been determined (Y in step S210), the processing unit 40 transitions to step S107 of the image display process (see FIG. 4).

表示態様決定処理を終了すると、処理部40は、表示態様記憶部82を参照して、各地物特定情報に設定された表示態様情報に応じて表示画面に表示された画像に地物名称を重畳して表示する(ステップS107)。本例においては、このときの表示態様情報は、図8に示すような状態になることとなる。   When the display mode determination process ends, the processing unit 40 refers to the display mode storage unit 82 and superimposes the feature name on the image displayed on the display screen according to the display mode information set in the feature specifying information. Are displayed (step S107). In this example, the display mode information at this time is in a state as shown in FIG.

図9は、このときの表示画面の例を示す説明図である。図10に示すように、表示画面51には、撮影された地物A〜Cの画像の近傍(例えば、各地物の代表点座標を表示画面上の座標に変換した場合の座標の近傍)に、それぞれ対応する地物名称101〜103が実線で表示される。   FIG. 9 is an explanatory diagram showing an example of the display screen at this time. As shown in FIG. 10, the display screen 51 is in the vicinity of the captured images of the features A to C (for example, in the vicinity of the coordinates when the representative point coordinates of each feature are converted to the coordinates on the display screen). , Corresponding feature names 101 to 103 are displayed by solid lines.

また、表示態様として「報知」が設定された地物Dは、地物Dの存在範囲を示す情報に基づいて、表示画面51における地物Dの存在範囲が破線で示され、その近傍に地物名称104が表示されることでその存在がユーザに報知される。   In addition, for the feature D in which “notification” is set as the display mode, the existence range of the feature D on the display screen 51 is indicated by a broken line on the basis of the information indicating the existence range of the feature D, and The presence of the object name 104 is notified to the user.

なお、表示態様として「リスト」が設定されているものは、表示画面上に地物名称がリスト表示領域101に表示されることとする。また、「表示なし」のが設定されている場合には、入力ボタン72の操作により周辺地物情報として地物名称などが表示されることとする。なお、地物特定情報の表示態様はこれに限定されず、例えば表示画面に表示されていない地物の地物名称を点滅表示させるなど、種々の方法が考えられる。   In the case where “list” is set as the display mode, the feature name is displayed in the list display area 101 on the display screen. If “no display” is set, the name of the feature is displayed as the peripheral feature information by operating the input button 72. Note that the display mode of the feature specifying information is not limited to this, and various methods are conceivable, for example, the feature names of the features that are not displayed on the display screen are blinked.

地物名称を表示画面に重畳して表示すると、または撮影空間内に存在する地物を示す地物特定情報がないと判定した場合(ステップS105のN)、処理部40は、シャッターボタン71により、撮影部20により撮影された画像の記録要求を受け付ける(ステップS108)。ここで、例えばユーザが指でシャッターボタン71を押下したことによる記録要求を受け付けると(ステップS108のY)、処理部40は、表示画面に表示された画像と検索部F1により検索された地物特定情報とを対応付けして記憶部30に記憶する(ステップS109)。なお、このとき撮影空間を示す情報(撮影地点の位置情報や撮影方位情報など)を併せて記憶することとする。   When the feature name is displayed superimposed on the display screen, or when it is determined that there is no feature specifying information indicating the feature existing in the shooting space (N in step S105), the processing unit 40 causes the shutter button 71 to Then, a request for recording an image photographed by the photographing unit 20 is received (step S108). Here, for example, when a recording request is received by the user pressing the shutter button 71 with a finger (Y in step S108), the processing unit 40 displays the image displayed on the display screen and the feature searched by the search unit F1. The specific information is associated and stored in the storage unit 30 (step S109). At this time, information indicating the shooting space (position information of shooting points, shooting direction information, etc.) is also stored.

画像と地物特定情報を対応付けして記憶することで、ユーザが記憶された画像を探すときに、目的の画像を取り出しやすくなる。すなわち、例えば画像表示装置10が、検索ワードに基づいて記憶した画像を検索する機能を有している場合に、ユーザにより入力された検索ワードを含む地物特定情報が対応付けされた画像を検索することができるようになる。なお、本例においては、例えば記憶した画像を表示画面に再生する場合に、地物名称などの表示の有無をユーザが選択可能な状態で記憶することとする。   By storing the image and the feature specifying information in association with each other, the user can easily retrieve the target image when searching for the stored image. That is, for example, when the image display device 10 has a function of searching for an image stored based on a search word, a search is performed for an image associated with feature specifying information including the search word input by the user. Will be able to. In this example, for example, when the stored image is reproduced on the display screen, the presence / absence of the display of the feature name or the like is stored in a state selectable by the user.

画像と地物特定情報を記憶すると、またはユーザによる記録要求を受け付けていないと判定すると(ステップS108のN)、処理部40は、撮影部20による撮影が終了したか否かを判定する(ステップS110)。例えばユーザによる入力ボタン72の操作により撮影終了要求やライブビューモードの終了を受けつけたことに応じて、処理部40は、撮影が終了したものと判定して(ステップS110のY)、画像表示処理を終了する。ここで、撮影が終了していないと判定した場合(ステップS110のN)、処理部40はステップS101に遷移する。   If the image and the feature specifying information are stored, or if it is determined that the recording request by the user is not received (N in Step S108), the processing unit 40 determines whether or not the photographing by the photographing unit 20 is finished (Step S108). S110). For example, in response to accepting a photographing end request or live view mode end by a user's operation of the input button 72, the processing unit 40 determines that photographing is finished (Y in step S110), and performs image display processing. Exit. If it is determined that shooting has not been completed (N in step S110), the processing unit 40 proceeds to step S101.

以上のように、上述した実施の形態においては、カメラ(例えば撮影部20)により撮影された画像を表示装置(例えば表示部50)の表示画面に表示する画像表示装置10が、位置や名称などにより地物を特定するための地物特定情報を記憶する地物特定情報記憶部81を備え、カメラにより撮影された画像に応じた地物特定情報を検索し、検索された地物特定情報と撮影された画像とを重畳して表示画面に表示する構成としているので、カメラなどにより地物を撮影する際に、周辺の地物に関する情報を用いて写し間違いなどを軽減することができるようなる。   As described above, in the above-described embodiment, the image display device 10 that displays an image photographed by the camera (for example, the photographing unit 20) on the display screen of the display device (for example, the display unit 50) has a position, a name, and the like. The feature specifying information storage unit 81 for storing the feature specifying information for specifying the feature is searched, the feature specifying information corresponding to the image photographed by the camera is searched, and the searched feature specifying information and Since it is configured to superimpose the captured image on the display screen, when shooting a feature with a camera or the like, it is possible to reduce mistakes by using information about the surrounding feature. .

すなわち、表示画面に表示される地物特定情報を参考にして撮影を行なうことができるので、表示画面に表示されている画像が何であるかを認識することができるようになり、誤撮影を防止することができるようになる。   In other words, since it is possible to shoot with reference to the feature identification information displayed on the display screen, it is possible to recognize what the image displayed on the display screen is, and prevent erroneous shooting. Will be able to.

また、上述した実施の形態では、画像表示装置10が、カメラにより撮影される撮影空間を特定し、特定された撮影空間内に存在する地物の地物特定情報を検索する構成としているので、表示画面に表示される可能性のある地物を効率的に検索することができるようになる。また、実際にユーザが視認可能な地物以外の周辺情報を考慮して撮影を行なうことができるようになる。   In the above-described embodiment, the image display device 10 is configured to specify a shooting space to be shot by the camera and search for feature specifying information of a feature existing in the specified shooting space. It becomes possible to efficiently search for features that may be displayed on the display screen. In addition, it is possible to perform shooting in consideration of peripheral information other than the features that are actually visible to the user.

また、上述した実施の形態では、画像表示装置10が、撮影地点を特定し、カメラの撮影方位を検出し、カメラの3次元姿勢を検出し、撮影地点と撮影方位と3次元姿勢とから撮影空間を特定する構成としているので、位置情報をもつ撮影空間の特定を行なうことができるようになる。   In the above-described embodiment, the image display device 10 specifies the shooting point, detects the shooting direction of the camera, detects the three-dimensional posture of the camera, and takes a picture from the shooting point, the shooting direction, and the three-dimensional posture. Since the space is specified, it is possible to specify a shooting space having position information.

また、上述した実施の形態では、画像表示装置10が、カメラの焦点を頂点とし、カメラの画角を頂角とする所定の高さ(例えば焦点を合わせることのできる限界距離)の四角錘型の空間を撮影空間として特定する構成としているので、実際にカメラに撮影される可能性のある範囲を撮影空間として特定することができるようになる。   Further, in the above-described embodiment, the image display device 10 is a quadrangular pyramid type having a predetermined height (for example, a limit distance that can be focused) with the focal point of the camera as the apex and the angle of view of the camera as the apex angle. Therefore, it is possible to specify a range that can be actually shot by the camera as the shooting space.

また、上述した実施の形態では、地物特定情報が、各地物の代表点を示す代表点情報(例えば代表点座標)と、各地物の存在範囲を示す情報(例えば、平面形状と高さ)とを有し、画像表示装置10はが、複数の地物特定情報が検索されたことに応じて、特定された撮影空間における各地物の代表点と存在範囲とに基づいて地物特定情報を表示する構成としているので、ユーザに対して表示画面に表示する地物特定情報の位置関係を認識させることが容易になる。   In the above-described embodiment, the feature specifying information includes representative point information (for example, representative point coordinates) indicating the representative point of each feature, and information (for example, planar shape and height) indicating the existence range of each feature. The image display device 10 obtains the feature specifying information based on the representative points and the existence ranges of the features in the specified shooting space in response to the search of the plurality of feature specifying information. Since it is set as the structure which displays, it becomes easy to make a user recognize the positional relationship of the feature specific information displayed on a display screen.

また、上述した実施の形態では、画面表示装置10が、カメラにより撮影された画像の焦点を合わせ、撮影空間のうち焦点が合っている部分(例えば合焦空間内)に存在する地物の地物特定情報とその他の地物特定情報とを識別可能に表示する構成としているので、表示画面の視認性を向上させることができるようになる。   In the above-described embodiment, the screen display device 10 focuses the image photographed by the camera, and the features existing in the focused portion (for example, in the focused space) of the photographing space. Since the object specifying information and the other feature specifying information are displayed so as to be distinguishable, the visibility of the display screen can be improved.

なお、上述した実施の形態では特に言及していないが、画面表示装置10が、検索された地物特定情報のうち、表示画面に表示する地物特定情報の選択を受け付け、選択を受け付けた地物特定情報を表示する構成としてもよい。このような構成とすることにより、表示画面に表示する情報が煩雑になることを防止することができるようになる。   Although not particularly mentioned in the above-described embodiment, the screen display device 10 accepts selection of the feature specifying information to be displayed on the display screen from the searched feature specifying information, and the received ground. It is good also as a structure which displays object specific information. With this configuration, it is possible to prevent the information displayed on the display screen from becoming complicated.

なお、上述した実施の形態では特に言及していないが、画面表示装置10が、カメラにより撮影された画像における撮影対象物までの距離(例えば撮影位置と地物の代表点との距離)を特定し、特定された撮影対象物までの距離に応じて地物特定情報の検索条件を設定する構成としてもよい。すなわち、例えば地物特定情報において地物を特定の大きさを基準にして複数種類に分類し(例えば、山やビルなどの大きなものを第1種別、銅像などの大きさのもの第2種別とする。)、撮影対象までの距離が特定の距離以内の場合に検索する地物と、撮影対象が特定の距離よりも遠い場合に検索する地物とを分けるようにすることで、処理部40が検索に要する負荷を軽減させることができる。また、撮影対象が特定の距離以内の場合に、地物特定情報を検索するのではなく、予め記憶された物品などの地物よりも小さい規模のものに関する情報を検索する構成としてもよい。なお、この場合、撮影対象物までの距離ではなく、撮影部20における焦点距離に応じて地物特定情報の検索条件を設定する構成としてもよい。   Although not specifically mentioned in the above-described embodiment, the screen display device 10 specifies the distance to the object to be imaged (for example, the distance between the imaging position and the representative point of the feature) in the image captured by the camera. And it is good also as a structure which sets the search condition of feature specific information according to the distance to the specified imaging | photography target object. That is, for example, in the feature specifying information, features are classified into a plurality of types based on a specific size (for example, a large type such as a mountain or a building is classified as a first type, a size of a copper image or the like as a second type) The processing unit 40 is configured to separate the feature to be searched when the distance to the shooting target is within a specific distance and the feature to be searched when the shooting target is farther than the specific distance. Can reduce the load required for the search. In addition, when the shooting target is within a specific distance, the feature specifying information may not be searched, but may be searched for information related to a thing having a smaller scale than the feature such as an article stored in advance. In this case, a configuration may be adopted in which the search condition for the feature specifying information is set according to the focal length in the imaging unit 20 instead of the distance to the imaging object.

なお、上述した実施の形態では特に言及していないが、画面表示手段10が、検索された地物特定情報が示す地物が、カメラにより撮影された画像として表示画面に表示される表示可能性を算出し、算出された表示可能性に基づいて地物特定情報を表示する構成としてもよい。すなわち、例えば画像表示装置10が、表示画面に表示されている地物であるか否かを判定できない場合に、撮影地点と地物特定情報が有する情報を含む画像表示装置10が取得可能な各種の情報(例えば、各地物の大きさや位置関係)をパラメータとして、表示画面に表示されている可能性を算出し、例えば算出された可能性を数値にして地物の名称とともに表示画面に表示する構成とすることで、ユーザに対して有用性のある情報を提供することができるようになる。この場合、地物特定情報に各地物の属するジャンルを対応付けて記憶しておき、ユーザの好みのジャンルを登録可能として、登録されたジャンルに属する地物の表示可能性を高く設定する構成としてもよい。   Although not particularly mentioned in the above-described embodiment, the screen display unit 10 may display the feature indicated by the searched feature specifying information as an image captured by the camera on the display screen. The feature specifying information may be displayed based on the calculated display possibility. That is, for example, when the image display device 10 cannot determine whether or not it is a feature displayed on the display screen, the image display device 10 including information included in the shooting point and the feature specifying information can be acquired. The possibility of being displayed on the display screen is calculated using the information (for example, the size and positional relationship of each feature) as a parameter, and for example, the calculated possibility is displayed as a numerical value on the display screen together with the name of the feature. With the configuration, it is possible to provide useful information to the user. In this case, the genre to which each feature belongs is stored in association with the feature specifying information, the user's favorite genre can be registered, and the display possibility of the feature belonging to the registered genre is set high. Also good.

なお、上述した実施の形態では特に言及していないが、方位情報取得部が集光レンズ21の向いている方向(カメラ視線の方向)を示す撮影方位情報として、集光レンズ21の仰角を取得することができない場合や、地物特定情報として高さ情報が記憶されていない場合には、3次元の撮影空間ではなく、2次元の平面範囲を地物の検索範囲とする構成としてもよい。この場合、図10に示すように、撮影地点を頂点とし、所定の角度と高さが設定された三角形状の平面範囲91内に位置する地物として地物A〜Dを検索することとなる。なお、三角形状以外にも、例えば扇形の平面範囲を地物の検索範囲とする構成としてもよい。平面範囲は、原理的には0m〜∞mまでの距離範囲をとるが、一般的な撮影においては、数100m〜数10kmとすると好適である。   Although not particularly mentioned in the above-described embodiment, the azimuth information acquisition unit acquires the elevation angle of the condensing lens 21 as photographing azimuth information indicating the direction in which the condensing lens 21 is facing (the direction of the camera line of sight). When the height information is not stored as the feature specifying information, the configuration may be such that the feature search range is not a three-dimensional shooting space but a two-dimensional plane range. In this case, as shown in FIG. 10, the features A to D are searched for as features located in a triangular plane range 91 having a photographing point as a vertex and a predetermined angle and height set. . In addition to the triangular shape, for example, a sector-shaped plane range may be used as the feature search range. In principle, the plane range is a distance range from 0 m to ∞ m, but in general photographing, it is preferably set to several hundreds m to several tens km.

なお、上述した実施の形態では特に言及していないが、複数の地物の候補が検索された場合に撮影地点に近い地物の名称を表示する構成としてもよい。   Although not particularly mentioned in the above-described embodiment, the name of the feature close to the shooting point may be displayed when a plurality of feature candidates are searched.

なお、上述した実施の形態では特に言及していないが、予め所定の地点(例えば、東京タワー展望台、大阪城天守閣、清水寺大舞台など)から撮影可能な地物を記憶しておき、特定された撮影地点が所定の地点であるか否かを判定し、所定の地点であると判定されたことに応じて地物名称を表示する構成としてもよい。   Although not particularly mentioned in the above-described embodiment, features that can be photographed from a predetermined point (for example, Tokyo Tower Observatory, Osaka Castle Tenshukaku, Kiyomizu-dera Grand Stage) are stored and specified in advance. It is good also as a structure which determines whether the image | photographing spot is a predetermined point, and displays a feature name according to having been determined that it is a predetermined point.

また、地物特定情報の検索において、特定された位置情報から地物特定情報を検索する方法について説明したが、この検索方法は、地物情報記憶部81に予め記憶された施設の代表的画像情報に基づいて、撮影された画像を、画像認識技術を用いて判別する構成としてもよい。また、ユーザが予め撮影対象とする地物を把握している場合には、撮影対象を指定しておき、方位情報取得部62による方位の測定のみで地物名称を表示する構成としてもよい。   Further, in the search for the feature specifying information, the method for searching for the feature specifying information from the specified position information has been described. This search method is a representative image of a facility stored in advance in the feature information storage unit 81. A configuration may be adopted in which a captured image is discriminated using image recognition technology based on the information. In addition, when the user knows the feature to be photographed in advance, the photographing target may be designated and the feature name may be displayed only by measuring the orientation by the orientation information acquisition unit 62.

また、上記実施形態においては、本発明をデジタルカメラの表示部に適用した場合について説明したが、本発明はハンディータイプのナビゲーションシステムに適用しても構わない。   Moreover, although the case where the present invention is applied to the display unit of a digital camera has been described in the above embodiment, the present invention may be applied to a handy type navigation system.

本発明は、撮影装置に使用される画像表示装置に有用である。   The present invention is useful for an image display device used in a photographing apparatus.

F1 検索部
F2 表示態様決定部
10 画像表示装置
20 撮影部
30 記憶部
40 処理部
50 表示部
60 撮影空間特定部
71 シャッターボタン
80 地図情報記憶部
81 地物特定情報記憶部
82 表示態様情報記憶部
100 デジタルカメラ
F1 search unit F2 display mode determination unit 10 image display device 20 imaging unit 30 storage unit 40 processing unit 50 display unit 60 imaging space identification unit 71 shutter button 80 map information storage unit 81 feature identification information storage unit 82 display mode information storage unit 100 digital camera

Claims (11)

カメラにより撮影された画像を表示装置の表示画面に表示する画像表示装置であって、
位置や名称などにより地物を特定するための地物特定情報を記憶する地物特定情報記憶手段と、
前記カメラにより撮影された画像に応じた前記地物特定情報を検索する地物特定情報検索手段と、
該地物特定情報検索手段により検索された地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示する地物特定情報表示手段とを含む
ことを特徴とする画像表示装置。
An image display device that displays an image captured by a camera on a display screen of a display device,
Feature specifying information storage means for storing feature specifying information for specifying a feature by position, name, etc .;
Feature specifying information search means for searching for the feature specifying information according to an image photographed by the camera;
An image display apparatus comprising: feature specification information display means for displaying the feature specification information searched by the feature specification information search means and the photographed image on the display screen in a superimposed manner.
前記カメラにより撮影される撮影空間を特定する撮影空間特定手段を含み、
前記地物特定情報検索手段は、前記撮影空間特定手段により特定された撮影空間内に存在する地物の前記地物特定情報を検索する
請求項1記載の画像表示装置。
Including a shooting space specifying means for specifying a shooting space shot by the camera;
The image display device according to claim 1, wherein the feature specifying information search unit searches for the feature specifying information of a feature existing in the shooting space specified by the shooting space specifying unit.
撮影地点を特定する撮影地点特定手段と、
前記カメラの撮影方位を検出する方位検出手段と、
前記カメラの3次元姿勢を検出する3次元姿勢検出手段とを含み、
前記撮影空間特定手段は、前記撮影地点と前記撮影方位と前記3次元姿勢とから前記撮影空間を特定する
請求項2記載の画像表示装置。
A shooting point specifying means for specifying a shooting point;
Direction detection means for detecting the shooting direction of the camera;
Three-dimensional posture detection means for detecting the three-dimensional posture of the camera,
The image display device according to claim 2, wherein the shooting space specifying unit specifies the shooting space from the shooting point, the shooting direction, and the three-dimensional posture.
前記撮影空間特定手段は、前記カメラの焦点を頂点とし、前記カメラの画角を頂角とする所定の高さの四角錘型の空間を前記撮影空間として特定する
請求項2または請求項3に記載の画像表示装置。
The shooting space specifying means specifies a quadrangular pyramid-shaped space having a predetermined height with the focal point of the camera as an apex and the angle of view of the camera as the apex angle as the shooting space. The image display device described.
前記地物特定情報は、各地物の代表点を示す代表点情報と、前記各地物の存在範囲を示す情報とを有し、
地物特定情報表示手段は、前記地物特定情報検索手段により複数の地物特定情報が検索されたことに応じて、前記撮影空間特定手段により特定された撮影空間における前記各地物の代表点と存在範囲とに基づいて前記地物特定情報を表示する
請求項2から請求項4のうちいずれかに記載の画像表示装置。
The feature specifying information includes representative point information indicating a representative point of each feature, and information indicating an existence range of the feature,
The feature specifying information display means includes a representative point of each feature in the shooting space specified by the shooting space specifying means in response to a plurality of feature specifying information being searched by the feature specifying information searching means. The image display device according to any one of claims 2 to 4, wherein the feature specifying information is displayed based on a presence range.
前記カメラにより撮影された画像の焦点を合わせる合焦手段を含み、
前記地物特定情報表示手段は、前記撮影空間のうち前記合焦手段により焦点が合っている部分に存在する地物の前記地物特定情報とその他の地物特定情報とを識別可能に表示する
請求項2から請求項5のうちいずれかに記載の画像表示装置。
Focusing means for focusing an image taken by the camera;
The feature specifying information display means displays the feature specifying information of the feature existing in a portion focused on by the focusing means in the photographing space and other feature specifying information in an identifiable manner. The image display device according to claim 2.
前記地物特定情報検索手段により検索された前記地物特定情報のうち、前記表示画面上に表示する地物特定情報の選択を受け付ける表示情報受付手段を含み、
前記地物特定情報表示手段は、前記表示情報受付手段により選択を受け付けた地物特定情報を表示する
請求項1から請求項6のうちいずれかに記載の画像表示装置。
A display information receiving means for receiving selection of feature specifying information to be displayed on the display screen among the feature specifying information searched by the feature specifying information searching means;
The image display device according to any one of claims 1 to 6, wherein the feature specifying information display unit displays the feature specifying information received by the display information receiving unit.
前記カメラにより撮影された画像における撮影対象物までの距離を特定する撮影対象物距離特定手段を含み、
前記地物情報検索手段は、前記撮影対象物距離特定手段により特定された撮影対象物までの距離に応じて前記地物特定情報の検索条件を設定する
請求項1から請求項7のうちいずれかに記載の画像表示装置。
A shooting object distance specifying means for specifying a distance to the shooting object in an image shot by the camera;
The feature information search means sets a search condition for the feature specification information according to the distance to the shooting target specified by the shooting target distance specification means. The image display device described in 1.
前記地物特定情報検索手段により検索された地物特定情報が示す地物が、前記カメラにより撮影された画像として表示画面に表示される表示可能性を算出する表示可能性算出手段を含み、
前記地物特定情報表示手段は、前記表示可能性算出手段により算出された表示可能性に基づいて前記地物特定情報を表示する
請求項1から請求項8のうちいずれかに記載の画像表示装置。
A display possibility calculating means for calculating a display possibility that the feature indicated by the feature specifying information searched by the feature specifying information searching means is displayed on a display screen as an image photographed by the camera;
The image display device according to any one of claims 1 to 8, wherein the feature specifying information display unit displays the feature specifying information based on the display possibility calculated by the display possibility calculating unit. .
カメラにより撮影された画像を表示装置の表示画面に表示する画像表示方法であって、
位置や名称などにより地物を特定するための地物特定情報を記憶する地物特定情報記憶手段に記憶された地物特定情報の中から、前記カメラにより撮影された画像に応じた地物特定情報を検索する地物特定情報検索処理と、
該地物特定情報検索処理にて検索した地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示する地物特定情報表示処理とを含む
ことを特徴とする画像表示方法。
An image display method for displaying an image captured by a camera on a display screen of a display device,
Feature identification according to the image photographed by the camera from the feature identification information stored in the feature identification information storage means for storing the feature identification information for identifying the feature by position, name, etc. A feature identification information search process for searching for information;
An image display method, comprising: a feature specification information display process in which the feature specification information searched in the feature specification information search process and the photographed image are superimposed and displayed on the display screen.
カメラにより撮影された画像を表示装置の表示画面に表示する画像表示装置に動作制御させるための画像表示プログラムであって、
前記画像表示装置に、
位置や名称などにより地物を特定するための地物特定情報を記憶する地物特定情報記憶手段に記憶された地物特定情報の中から、前記カメラにより撮影された画像に応じた地物特定情報を検索する地物特定情報検索処理と、
該地物特定情報検索処理にて検索した地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示する地物特定情報表示処理とを
実行させるための画像表示プログラム。
An image display program for controlling an operation of an image display device that displays an image captured by a camera on a display screen of a display device,
In the image display device,
Feature identification according to the image photographed by the camera from the feature identification information stored in the feature identification information storage means for storing the feature identification information for identifying the feature by position, name, etc. A feature identification information search process for searching for information;
An image display program for executing a feature specifying information display process in which the feature specifying information searched in the feature specifying information search process and the photographed image are superimposed and displayed on the display screen.
JP2009188594A 2009-08-17 2009-08-17 Image display device, image display method, and image display program Expired - Fee Related JP5155266B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009188594A JP5155266B2 (en) 2009-08-17 2009-08-17 Image display device, image display method, and image display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009188594A JP5155266B2 (en) 2009-08-17 2009-08-17 Image display device, image display method, and image display program

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2012076087A Division JP2012157048A (en) 2012-03-29 2012-03-29 Image display device, image display method and computer program
JP2012076085A Division JP2012170100A (en) 2012-03-29 2012-03-29 Image display unit, image display method and computer program
JP2012076086A Division JP5247909B2 (en) 2012-03-29 2012-03-29 Image display device, image display method, and computer program

Publications (2)

Publication Number Publication Date
JP2011041145A true JP2011041145A (en) 2011-02-24
JP5155266B2 JP5155266B2 (en) 2013-03-06

Family

ID=43768424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009188594A Expired - Fee Related JP5155266B2 (en) 2009-08-17 2009-08-17 Image display device, image display method, and image display program

Country Status (1)

Country Link
JP (1) JP5155266B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012170100A (en) * 2012-03-29 2012-09-06 Canvas Mapple Co Ltd Image display unit, image display method and computer program
JP2013085200A (en) * 2011-10-12 2013-05-09 Canon Inc Image processing device, image processing method, and program
JP2013239815A (en) * 2012-05-14 2013-11-28 Canvas Mapple Co Ltd Image display device and computer program
JP2016178390A (en) * 2015-03-19 2016-10-06 三菱電機株式会社 Facility name superposing device
CN111698496A (en) * 2019-03-11 2020-09-22 株式会社三丰 Measurement result display device and storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10267671A (en) * 1997-03-27 1998-10-09 Nippon Telegr & Teleph Corp <Ntt> Landscape labeling device and system
JP2005286747A (en) * 2004-03-30 2005-10-13 Hitachi Software Eng Co Ltd Text information providing apparatus and text information providing method
JP2008158583A (en) * 2006-12-20 2008-07-10 Hitachi Software Eng Co Ltd Image-related information display system
JP2009060337A (en) * 2007-08-31 2009-03-19 Nikon Corp Electronic camera and display device
JP2009135597A (en) * 2007-11-28 2009-06-18 Nikon Corp Electronic camera, information processing apparatus, and information processing method and program
JP2009176262A (en) * 2007-12-28 2009-08-06 National Institute Of Information & Communication Technology Method and system for mapping photography, program, and recording medium
JP2010118019A (en) * 2008-11-14 2010-05-27 Sharp Corp Terminal device, distribution device, control method of terminal device, control method of distribution device, control program, and recording medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10267671A (en) * 1997-03-27 1998-10-09 Nippon Telegr & Teleph Corp <Ntt> Landscape labeling device and system
JP2005286747A (en) * 2004-03-30 2005-10-13 Hitachi Software Eng Co Ltd Text information providing apparatus and text information providing method
JP2008158583A (en) * 2006-12-20 2008-07-10 Hitachi Software Eng Co Ltd Image-related information display system
JP2009060337A (en) * 2007-08-31 2009-03-19 Nikon Corp Electronic camera and display device
JP2009135597A (en) * 2007-11-28 2009-06-18 Nikon Corp Electronic camera, information processing apparatus, and information processing method and program
JP2009176262A (en) * 2007-12-28 2009-08-06 National Institute Of Information & Communication Technology Method and system for mapping photography, program, and recording medium
JP2010118019A (en) * 2008-11-14 2010-05-27 Sharp Corp Terminal device, distribution device, control method of terminal device, control method of distribution device, control program, and recording medium

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013085200A (en) * 2011-10-12 2013-05-09 Canon Inc Image processing device, image processing method, and program
JP2012170100A (en) * 2012-03-29 2012-09-06 Canvas Mapple Co Ltd Image display unit, image display method and computer program
JP2013239815A (en) * 2012-05-14 2013-11-28 Canvas Mapple Co Ltd Image display device and computer program
JP2016178390A (en) * 2015-03-19 2016-10-06 三菱電機株式会社 Facility name superposing device
CN111698496A (en) * 2019-03-11 2020-09-22 株式会社三丰 Measurement result display device and storage medium

Also Published As

Publication number Publication date
JP5155266B2 (en) 2013-03-06

Similar Documents

Publication Publication Date Title
US10378913B2 (en) Navigation apparatus and navigation method
JP5532026B2 (en) Display device, display method, and program
US8339477B2 (en) Digital camera capable of detecting name of captured landmark and method thereof
KR20090019184A (en) Image reproducing apparatus which uses the image files comprised in the electronic map, image reproducing method for the same, and recording medium which records the program for carrying the same method
JP5047764B2 (en) Microscope imaging device
JP5155266B2 (en) Image display device, image display method, and image display program
CN107193820B (en) Position information acquisition method, device and equipment
CN106254755B (en) Photographic device, camera shooting control method and recording medium
JP5753514B2 (en) Image display device and computer program
JP5428821B2 (en) Analysis device, imaging device, server device, analysis method, program, and analysis system
JP6210807B2 (en) Display control device and control method of display control device
JP4468794B2 (en) Display control apparatus, camera, and display control method
JP6639832B2 (en) Imaging device, imaging method, imaging program
KR101663226B1 (en) Digital image processing apparatus and digital image processing method
JP5543870B2 (en) Camera, camera control method, and program
JP6444981B2 (en) Image processing apparatus, image processing method, and image processing program
JP5247909B2 (en) Image display device, image display method, and computer program
JP2012170100A (en) Image display unit, image display method and computer program
JP5868776B2 (en) Image display device and computer program
JP5484129B2 (en) Imaging device
JP2012157048A (en) Image display device, image display method and computer program
JP2009177611A (en) Digital camera
JP2010021934A (en) Image display device, and electronic camera
JP2014007619A (en) Photograph support device and program
JP2012227717A (en) Display device, display program, and display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120329

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20120329

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20120601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees