JP2002245071A - Device and method for managing image, image database unit and storage medium - Google Patents

Device and method for managing image, image database unit and storage medium

Info

Publication number
JP2002245071A
JP2002245071A JP2001037910A JP2001037910A JP2002245071A JP 2002245071 A JP2002245071 A JP 2002245071A JP 2001037910 A JP2001037910 A JP 2001037910A JP 2001037910 A JP2001037910 A JP 2001037910A JP 2002245071 A JP2002245071 A JP 2002245071A
Authority
JP
Japan
Prior art keywords
image
information
image information
database
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001037910A
Other languages
Japanese (ja)
Inventor
Tadashi Ezaki
正 江▲崎▼
Mototsugu Abe
素嗣 安部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001037910A priority Critical patent/JP2002245071A/en
Publication of JP2002245071A publication Critical patent/JP2002245071A/en
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a configuration for directly specifying a photographing image place based on two pieces of information, i.e., position information and image information in the case of photographing. SOLUTION: The database of images from the whole angles of the whole country is constructed, the database and image information are respectively referred to and, then, the name of the place is specified. Since the amount of image information of each place in the whole country are large, whereby burden to a computer and long arithmetic time is required, position information is combined with image information so as to attain easy reference. Besides, the featured values of the images are extracted and reference is performed by the featured values so that a transmission data amount and a retrieval time are reduced.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、カムコーダやその
他の撮像装置を介して取得された画像データを管理する
ための画像管理装置及び画像管理方法に係り、特に、デ
ジタル化又は電子ファイル化されてコンピュータ上で処
理可能な形式の撮像画像データを管理するための画像管
理装置及び画像管理方法に関する。
[0001] 1. Field of the Invention [0002] The present invention relates to an image management apparatus and an image management method for managing image data obtained via a camcorder or other imaging devices, and more particularly, to a digital or electronic file. The present invention relates to an image management apparatus and an image management method for managing captured image data in a format that can be processed on a computer.

【0002】更に詳しくは、本発明は、撮像装置から取
得・収集した多数の画像データを撮影場所や撮影状況に
基づいて編集・整理・検索するための画像管理装置及び
画像管理方法に係り、特に、撮影時の位置情報と映像情
報を基に撮影した場所や建物を特定したり、さらに画像
のタイトルを自動生成する画像管理装置及び画像管理方
法に関する。
More specifically, the present invention relates to an image management apparatus and an image management method for editing, organizing, and retrieving a large number of image data obtained and collected from an imaging apparatus based on a shooting place and a shooting situation. More specifically, the present invention relates to an image management apparatus and an image management method for specifying a place or a building where a photograph was taken based on positional information and video information at the time of photographing, and for automatically generating a title of an image.

【0003】[0003]

【従来の技術】近年、VTR一体型のカメラすなわち
「カムコーダ」が広汎に普及してきている。カムコーダ
上で撮像された画像データは、例えば、ビデオ・テープ
に記録される。あるいは、画像データをコンピュータラ
イズして、ハード・ディスク装置(HDD)などの計算
機システムの周辺機器に蓄積することもできる。さら
に、撮像画像をコンピュータ上で編集処理を施したり、
コンピュータ・ファイルとしてネットワーク上で配信す
ることも可能である。
2. Description of the Related Art In recent years, a VTR-integrated camera, that is, a "camcorder" has become widespread. Image data captured on the camcorder is recorded on, for example, a video tape. Alternatively, the image data can be computerized and stored in a peripheral device of the computer system such as a hard disk drive (HDD). Furthermore, the captured image can be edited on a computer,
It can also be distributed over a network as a computer file.

【0004】カムコーダを始めとするこの種の製品に置
いて使い勝手に問題があるのが、撮影後の画像データの
検索である。蓄積された画像データ数が増大するにつ
れ、これら情報資源の死蔵を防止し有効に活用するため
には、各画像データに対するタイトル付けや、編集、分
類整理、検索などの手法が重要になってくる。
[0004] A problem with usability of this type of product, such as a camcorder, is retrieval of image data after photographing. As the number of stored image data increases, in order to prevent and effectively utilize these information resources, techniques such as titles, editing, sorting, and searching for each image data become important. .

【0005】カムコーダで画像を撮影したとき、撮影し
た日時は自動的に記録されるので、後からの検索が可能
である。但し、日時だけではどこで何を撮影したものか
をすぐ理解することができない。ユーザは、日にちから
思い出すか、画像を再生して風景などその内容から判断
するしかない。また、同じ日付であっても、撮影場所は
時々刻々と移っていくこともあり、そのような場合は撮
影場所の特定はますます困難になってくる。
When an image is shot by a camcorder, the date and time of shooting is automatically recorded, so that it is possible to search later. However, it is not possible to immediately understand where and what was photographed only by the date and time. The user has no choice but to remember from the date or to play back the image and judge it from the content such as landscape. In addition, even if the date is the same, the shooting location may change every moment, and in such a case, it becomes more difficult to specify the shooting location.

【0006】例えば、山岳風景を撮影した写真のよう
に、被写体を特定できる情報をほとんど含まない画像で
は、ユーザがはっきりと記憶しておくか、メモに記録し
ておかなければ、時間の経過とともに撮影場所や撮影状
況などの画像に付随する情報は判らなくなってしまうで
あろう。
[0006] For example, in an image such as a photograph of a mountain scenery that hardly contains information that can identify a subject, if the user does not memorize it clearly or record it in a memo, it will elapse over time. Information associated with the image, such as the shooting location and the shooting situation, will be lost.

【0007】これは、カムコーダのみならず、デジタル
・スチル・カメラを始めとする静止画カメラにおいて
も、まったく同じ問題である。たくさんの画像ファイル
を整理してアルバムにしようとしても、日時だけではど
うにもならない。
This is the same problem not only in a camcorder but also in a still image camera such as a digital still camera. Even if you try to organize a lot of image files into an album, the date and time alone will not help.

【0008】例えば、GPS(Global Positioning Sys
tem)すなわち全地球測位システムに基づく位置測定機
能(上空を周回する3個以上のGPS衛星から発信され
るGPS信号に基づいて位置を測定する)や、PHS
(Personal Handyphone System)における現登録基地局
からの識別情報(CS−ID)によって得られる位置情
報を画像とともに記録しておくというアイデアもある。
しかしながら、GPSやPHSから得られる位置情報
は、東経XX度、北緯XX度といった物理的な情報であ
り、撮影場所や建物、撮影状況を直接的に類推すること
はできないので無意味である。
For example, GPS (Global Positioning Sys
tem), that is, a position measurement function based on the global positioning system (measuring position based on GPS signals transmitted from three or more GPS satellites orbiting the sky), PHS
There is also an idea to record position information obtained by identification information (CS-ID) from a currently registered base station in (Personal Handyphone System) together with an image.
However, the position information obtained from GPS or PHS is physical information such as XX degrees east longitude and XX degrees north latitude, and is meaningless because it is not possible to directly analogize the shooting location, building, and shooting situation.

【0009】例えば、特開平11−122638号公報
には、撮影に応じて生成される画像データ並びに画像デ
ータの撮影位置や撮影方向を表す撮影データを含む第1
のデータを入力する入力手段と、3次元データと第1の
データとを記憶する記憶手段と、3次元データの表す立
体画像を表示装置上に表示させる処理手段とを備え、表
示される立体画像に応じた撮影位置の画像データを読み
出して撮影データにしたがって画像データの表す画像を
立体画像上に合成表示する画像処理装置について開示さ
れている。したがって、撮影した空間的に位置に対応す
る3次元地図上で、撮影方向に対応して地図を表示さ
せ、その方向に画像を配置表示させることができるの
で、位置関係を明確に表現することができ、視点を移動
することで他の位置や方向の画像を順次見せて、仮想3
次元地図上で現実と同じ光景を再現することができる。
For example, Japanese Patent Application Laid-Open No. 11-122638 discloses a first image data including image data generated in accordance with photographing and photographing data indicating the photographing position and photographing direction of the image data.
Input means for inputting three-dimensional data, first storage means for storing three-dimensional data, and processing means for displaying a three-dimensional image represented by the three-dimensional data on a display device. There is disclosed an image processing apparatus that reads out image data at a shooting position corresponding to the image data and combines and displays an image represented by the image data on a stereoscopic image according to the shooting data. Therefore, on the three-dimensional map corresponding to the spatial position where the image was taken, the map can be displayed corresponding to the shooting direction, and the image can be arranged and displayed in that direction, so that the positional relationship can be clearly expressed. By moving the viewpoint, images of other positions and directions are sequentially shown, and virtual 3
The same scene as reality can be reproduced on a three-dimensional map.

【0010】しかしながら、同公報に記載の画像処理装
置は、撮影画像と撮影位置との関係を参照するものでは
ない。
[0010] However, the image processing apparatus described in the publication does not refer to the relationship between a photographed image and a photographed position.

【0011】撮影時、あるいは撮影した後からでも、そ
の撮影地の名称(例えば、東京ディズニーランド内のお
城とか、本栖湖から撮った富士山とか)がわかる仕組み
が、従来より求められている。撮影地の名称を自動取得
することができれば、これに基づいて画像ファイルにタ
イトルやキーワードを自動生成することができるので、
データベース化した際などには所望の画像ファイルを素
早く検索することができるようになる。
[0011] There has been a demand for a mechanism that allows the name of a shooting location (eg, a castle in Tokyo Disneyland or Mt. Fuji taken from Lake Motosu) to be known at the time of shooting or even after shooting. If the name of the shooting location can be obtained automatically, the title and keyword can be automatically generated in the image file based on this,
When a database is created, a desired image file can be quickly searched.

【0012】[0012]

【発明が解決しようとする課題】本発明の目的は、デジ
タル化又は電子ファイル化されてコンピュータ上で処理
可能な形式の撮像画像データを管理することができる、
優れた画像管理装置及び画像管理方法を提供することに
ある。
SUMMARY OF THE INVENTION An object of the present invention is to manage captured image data in a format that can be processed on a computer by being digitized or converted into an electronic file.
An object of the present invention is to provide an excellent image management device and an excellent image management method.

【0013】本発明の更なる目的は、撮像装置から取得
・収集した多数の画像データを撮影場所や撮影状況に基
づいて編集・整理・検索することができる、優れた画像
管理装置及び画像管理方法を提供することにある。
A further object of the present invention is to provide an excellent image management apparatus and image management method capable of editing, organizing, and retrieving a large number of image data obtained and collected from an image pickup apparatus based on a shooting place and a shooting situation. Is to provide.

【0014】本発明の更なる目的は、撮影時の位置情報
と映像情報を基に撮影した場所や建物を特定したり、さ
らに画像のタイトルを自動生成することができる、優れ
た画像管理装置及び画像管理方法を提供することにあ
る。
It is a further object of the present invention to provide an excellent image management apparatus capable of specifying a place or a building where a photograph was taken based on positional information and video information at the time of photographing and automatically generating a title of an image. An image management method is provided.

【0015】[0015]

【課題を解決するための手段及び作用】本発明は、上記
課題を参酌してなされたものであり、その第1の側面
は、撮影した画像を管理する画像管理装置又は方法であ
って、画像情報を取得する画像取得手段又はステップ
と、画像情報の撮影時の位置情報を取得する位置情報取
得手段又はステップと、画像情報をその撮影した場所名
とを関連付けて登録する画像データベース又はステップ
と、画像情報及びその位置情報を基に前記画像データベ
ースを参照して、該データベース中で最も類似する画像
情報の場所名を撮影時の場所名又は画像情報のタイトル
として特定する場所名特定手段又はステップと、を具備
することを特徴とする画像管理装置又は方法である。
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and a first aspect of the present invention is an image management apparatus or method for managing a captured image, comprising: Image acquisition means or step for acquiring information, position information acquisition means or step for acquiring position information at the time of imaging of image information, and image database or step for registering image information in association with the name of the place where the image was taken, Referring to the image database based on image information and its position information, and a place name specifying means or step for specifying a place name of the most similar image information in the database as a place name at the time of shooting or a title of the image information; and And an image management apparatus or method.

【0016】本発明の第1の側面に係る画像管理装置及
び方法によれば、全国のあらゆるアングルからの画像の
データベースを構築しておくことで、この画像データベ
ースと画像情報をそれぞれ参照することにより、撮影時
における場所名を特定することができる。
According to the image management apparatus and method according to the first aspect of the present invention, by constructing a database of images from all angles in the whole country, it is possible to refer to the image database and the image information, respectively. The location name at the time of shooting can be specified.

【0017】場所名は、例えば画像情報のタイトルとし
て、画像再生並びに編集時に利用することができる。全
国各地の画像情報となると、膨大な情報量で、非常な計
算機負荷と演算時間を要するが、画像情報に位置情報を
組み合わせることにより、簡単に参照することができ
る。
The place name can be used at the time of image reproduction and editing, for example, as a title of image information. The image information in various parts of the country requires an enormous amount of information and requires a great deal of computer load and computation time. However, the image information can be easily referred to by combining the image information with the position information.

【0018】また、前記画像データベースは、所定範囲
の位置情報毎に分類してデータ管理してもよい。このよ
うな場合、前記場所名特定手段又はステップは、検索対
象となる画像情報が持つ位置情報を含む範囲に限定して
前記画像データベースを検索することで、検索時間を削
減することができる。
Further, the image database may be classified and managed for each position information within a predetermined range. In such a case, the place name specifying means or step can reduce the search time by searching the image database limited to a range including the position information of the image information to be searched.

【0019】また、画像情報からその特徴値を抽出する
特徴抽出手段又はステップをさらに備えていてもよい。
このような場合、特徴量で参照を行うことにより、伝送
データ量や検索時間を節約することができる。
The image processing apparatus may further comprise a feature extracting means or step for extracting the feature value from the image information.
In such a case, by referring to the feature amount, the amount of transmission data and the search time can be saved.

【0020】また、本発明の第2の側面は、画像情報を
管理する画像データベース装置であって、画像情報をそ
の撮影した場所名とを関連付けて登録するデータ登録手
段と、画像情報とその位置情報を含んだ要求に応答し
て、前記データ登録手段によって登録されたデータを検
索して該当する画像情報の場所名を返すデータ検索手段
と、を具備することを特徴とする画像データベース装置
である。
According to a second aspect of the present invention, there is provided an image database device for managing image information, wherein the data registration means registers the image information in association with the name of the place where the image was taken, And a data search means for searching data registered by the data registration means and returning a location name of the corresponding image information in response to a request including information. .

【0021】本発明の第2の側面に係る画像データベー
ス装置によれば、全国のあらゆるアングルからの画像の
データベースをあらかじめ構築しておくことで、カムコ
ーダやパーソナル・コンピュータなど撮影画像を取り扱
う装置ユーザにおいては、この画像データベースと画像
情報をそれぞれ参照することによって、撮影時における
場所名をいつでも特定することができる。
According to the image database device according to the second aspect of the present invention, by constructing a database of images from all angles in the whole country in advance, it becomes possible for an apparatus user such as a camcorder or a personal computer to handle photographed images. By referring to the image database and the image information, the user can always specify the place name at the time of shooting.

【0022】場所名は、例えば画像情報のタイトルとし
て、画像再生並びに編集時に利用することができる。全
国各地の画像情報となると、膨大な情報量で、非常な計
算機負荷と演算時間を要するが、画像情報に位置情報を
組み合わせることにより、簡単に参照することができ
る。
The place name can be used at the time of reproducing and editing an image, for example, as a title of image information. The image information in various parts of the country requires an enormous amount of information and requires a great deal of computer load and computation time. However, the image information can be easily referred to by combining the image information with the position information.

【0023】また、本発明の第3の側面は、撮影した画
像を管理する処理をコンピュータ・システム上で実行す
るように記述されたコンピュータ・ソフトウェアをコン
ピュータ可読形式で物理的に格納した記憶媒体であっ
て、前記コンピュータ・ソフトウェアは、画像情報を取
得する画像取得ステップと、画像情報の撮影時の位置情
報を取得する位置情報取得ステップと、画像情報をその
撮影した場所名とを関連付けて画像データベースに登録
するステップと、画像情報及びその位置情報を基に前記
画像データベースを参照して、該データベース中で最も
類似する画像情報の場所名を撮影時の場所名又は画像情
報のタイトルとして特定する場所名特定ステップと、を
具備することを特徴とする記憶媒体である。
According to a third aspect of the present invention, there is provided a storage medium in which computer software written to execute a process for managing a captured image on a computer system is physically stored in a computer-readable format. The computer software includes an image acquisition step of acquiring image information, a position information acquisition step of acquiring position information at the time of photographing of the image information, and an image database that associates the image information with a place name of the photographed place. And a location that specifies the location name of the most similar image information in the database as the location name at the time of shooting or the title of the image information by referring to the image database based on the image information and its location information. And a name specifying step.

【0024】本発明の第3の側面に係る記憶媒体は、例
えば、様々なプログラム・コードを実行可能な汎用コン
ピュータ・システムに対して、コンピュータ・ソフトウ
ェアをコンピュータ可読な形式で提供する媒体である。
このような媒体は、例えば、CD(Compact Disc)やF
D(Floppy Disc)、MO(Magneto-Optical disc)な
どの着脱自在で可搬性の記憶媒体である。あるいは、ネ
ットワーク(ネットワークは無線、有線の区別を問わな
い)などの伝送媒体などを経由してコンピュータ・ソフ
トウェアを特定のコンピュータ・システムに提供するこ
とも技術的に可能である。
The storage medium according to the third aspect of the present invention is a medium that provides computer software in a computer-readable format to a general-purpose computer system that can execute various program codes.
Such a medium is, for example, a CD (Compact Disc) or F
It is a removable and portable storage medium such as D (Floppy Disc) and MO (Magneto-Optical disc). Alternatively, it is technically possible to provide computer software to a specific computer system via a transmission medium such as a network (a network may be either wireless or wired).

【0025】このような記憶媒体は、コンピュータ・シ
ステム上で所定のコンピュータ・ソフトウェアの機能を
実現するための、コンピュータ・ソフトウェアと記憶媒
体との構造上又は機能上の協働的関係を定義したもので
ある。換言すれば、本発明の第3の側面に係る記憶媒体
を介して所定のコンピュータ・ソフトウェアをコンピュ
ータ・システムにインストールすることによって、コン
ピュータ・システム上では協働的作用が発揮され、本発
明の第1の側面に係る画像管理装置及び方法と同様の作
用効果を得ることができる。
Such a storage medium defines a structural or functional cooperative relationship between the computer software and the storage medium in order to realize predetermined computer software functions on a computer system. It is. In other words, by installing predetermined computer software into the computer system via the storage medium according to the third aspect of the present invention, a cooperative action is exhibited on the computer system, and the third aspect of the present invention is realized. The same operation and effect as those of the image management apparatus and method according to the first aspect can be obtained.

【0026】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。
Still other objects, features and advantages of the present invention are:
It will become apparent from the following more detailed description based on the embodiments of the present invention and the accompanying drawings.

【0027】[0027]

【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を詳解する。
Embodiments of the present invention will be described below in detail with reference to the drawings.

【0028】本発明は、カムコーダなどの撮影装置によ
る撮影時における位置情報と画像情報という2種類の情
報を基に、撮影画像の場所を直接的に特定する仕組みを
提案するものである。基本的には、全国のあらゆるアン
グルからの画像のデータベースを構築しておき、このデ
ータベースと画像情報をそれぞれ参照することにより、
その場所名(あるいは建物名)を特定するものである。
(実際には、観光地など主要な場所のみの画像データベ
ースを蓄積しておくだけでもよい。)全国各地の画像情
報となると、膨大な情報量となり、検索するには非常な
計算機負荷と演算時間を必要とする。そこで、本発明で
は、画像情報に位置情報を組み合わせることにより、簡
単に参照できるようにした。また、画像情報としても、
画像そのものを参照することもできるが、さらに画像の
特徴量を抽出して、データ量が少なくて済む特徴量で参
照を行うことにより、伝送データ量や検索時間を節約す
ることができる。
The present invention proposes a mechanism for directly specifying the location of a photographed image based on two types of information, ie, position information and image information at the time of photographing by a photographing device such as a camcorder. Basically, a database of images from all angles nationwide has been built, and by referring to this database and image information,
It specifies the place name (or building name).
(Actually, it is only necessary to store an image database of only major places such as sightseeing spots.) When it comes to image information all over the country, the amount of information becomes enormous. Need. Therefore, in the present invention, it is possible to easily refer to the image information by combining the position information with the image information. Also, as image information,
Although the image itself can be referred to, the amount of transmission data and the search time can be saved by extracting the feature amount of the image and referring to the feature amount requiring a small data amount.

【0029】図1には、本発明の1つの実施形態に係
る、画像記録・再生システム10の全体構成を模式的に
示している。同図に示すように、画像記録・再生システ
ム10は、撮影装置11と、受信装置12と、記録・再
生装置13と、画像データベース14と、特徴抽出装置
15とで構成される。
FIG. 1 schematically shows the entire configuration of an image recording / reproducing system 10 according to one embodiment of the present invention. As shown in FIG. 1, the image recording / reproducing system 10 includes a photographing device 11, a receiving device 12, a recording / reproducing device 13, an image database 14, and a feature extracting device 15.

【0030】撮影装置11は、記録・再生装置13に対
して撮影画像を供給するための装置であり、例えば、カ
ムコーダやデジタル・スチル・カメラなどがこれに相当
する。
The photographing device 11 is a device for supplying a photographed image to the recording / reproducing device 13, and corresponds to, for example, a camcorder or a digital still camera.

【0031】受信装置12は、外部からの受信信号に基
づいて位置情報を取得して、記録・再生装置13に対し
て位置情報を提供するための装置であり、例えば、GP
S(Global Positioning System)やPHS(Personal
Handyphone System)などの装置をベースに構成するこ
とができる。GPSすなわち全地球測位システムは、上
空を周回する3個以上のGPS衛星から発信されるGP
S信号に基づいて位置を測定する位置測定システムであ
り、例えば数十メートル程度の精度を持つ。また、PH
Sによれば、現登録基地局から送信される識別情報(C
S−ID)によって位置情報を取得することができ、例
えば100メートル程度の精度で位置を特定することが
できる。
The receiving device 12 is a device for acquiring position information based on an externally received signal and providing the recording / reproducing device 13 with the position information.
S (Global Positioning System) and PHS (Personal
It can be configured based on devices such as Handyphone System). GPS, or Global Positioning System, is a GPS system that is transmitted from three or more GPS satellites orbiting the sky.
This is a position measurement system that measures the position based on the S signal, and has an accuracy of, for example, about several tens of meters. Also, PH
According to S, the identification information (C
The position information can be obtained by the S-ID), and the position can be specified with an accuracy of, for example, about 100 meters.

【0032】記録・再生装置13は、撮影装置11から
入力される画像情報を、特定された位置情報と組み合わ
せて、位置情報を基に参照可能な形式で画像情報を記録
したり、再生するための装置である。
The recording / reproducing device 13 combines the image information input from the photographing device 11 with the specified position information to record or reproduce the image information in a format that can be referred to based on the position information. Device.

【0033】画像データベース14は、全国のあらゆる
アングルからの画像を蓄積したデータベースである(実
際には、観光地など主要な場所のみの画像データベース
を蓄積しておくだけでもよい)。全国各地の画像情報と
なると膨大な情報量となり、検索するには多大な計算能
力と演算時間を要するが、記録・再生装置13は位置情
報を組み合わせることにより、簡単に画像データベース
14を参照することができる。
The image database 14 is a database that stores images from all angles in the whole country (actually, it is only necessary to store an image database of only major places such as sightseeing spots). Image information in various parts of the country requires an enormous amount of information and requires a great deal of computational power and computation time to search. However, the recording / reproducing device 13 can easily refer to the image database 14 by combining position information. Can be.

【0034】特徴抽出装置15は、記録・再生装置13
上に蓄積されている各画像情報に所定の演算処理を施し
て、その特徴量を抽出する装置である。画像情報はデー
タ・サイズが大きいので、記録・再生装置13は画像情
報の代わりに特徴量を扱うことによって、伝送データ量
や検索時間を節約することができる。
The feature extracting device 15 includes a recording / reproducing device 13
This is a device that performs a predetermined arithmetic process on each piece of image information stored above and extracts a feature amount thereof. Since the image information has a large data size, the recording / reproducing device 13 can save the transmission data amount and the search time by using the feature amount instead of the image information.

【0035】この画像記録・再生システム10におい
て、画像再生時にタイトルを付けたい場面を再生し、そ
の部分の位置情報と再生画像を得る。再生画像はそのま
までもよいが、データ量を減らすために圧縮又は特徴抽
出の処理を行う。そして、画像情報(又は、圧縮された
画像情報若しくは特徴量)と位置情報を画像データベー
ス14に送信して検索を行う。
In this image recording / reproducing system 10, a scene to which a title is to be added at the time of reproducing an image is reproduced, and positional information of the portion and a reproduced image are obtained. The reproduced image may be left as it is, but compression or feature extraction processing is performed to reduce the amount of data. Then, the image information (or the compressed image information or feature amount) and the position information are transmitted to the image database 14 to perform a search.

【0036】画像データベース14は、まず位置情報か
ら、その場所周辺の画像データベースに範囲を限定し
て、送られてきた画像情報と一致(又は類似)する画像
をデータベースの中から探す。データベース上には、画
像そのものの情報あるいは圧縮値又は特徴量と、それに
対応する場所名(あるいは建物名)が収納されており、
送られてきた画像に最も近いものを選んで、これに該当
する場所の名称を出力し、これを記録・再生装置13側
に返信する。
The image database 14 first searches the database for an image that matches (or is similar to) the transmitted image information by limiting the range from the position information to the image database around the place. In the database, information of the image itself or the compression value or feature amount and the corresponding place name (or building name) are stored.
An image closest to the transmitted image is selected, the name of the corresponding location is output, and this is returned to the recording / reproducing device 13 side.

【0037】記録・再生装置13は、この場所名情報
を、タイトルや付加情報として記録メディア上に上書き
する(又は、編集時には新たな記録部分に記録する)。
The recording / reproducing apparatus 13 overwrites this place name information on a recording medium as a title or additional information (or records it on a new recording part at the time of editing).

【0038】画像データベース14上を検索する際、場
所名(あるいは建物名)を特定することができない事態
も想定される。このような場合には、特徴値により近い
幾つかの候補を挙げて、ユーザに候補の中から取捨選択
させるようにしてもよい。
At the time of searching the image database 14, there may be a case where a place name (or a building name) cannot be specified. In such a case, some candidates closer to the feature value may be listed, and the user may be allowed to select from the candidates.

【0039】本実施形態に係る画像記録・再生システム
10によれば、位置情報と画像情報を得て、データベー
スに問い合わせを行うので、必ずしも再生時だけとは限
らず、記録と同時、あるいは、記録する前にあらかじめ
場所名(あるいは建物名)を取得することも可能であ
る。
According to the image recording / reproducing system 10 according to the present embodiment, the position information and the image information are obtained, and the database is queried. It is also possible to obtain a place name (or a building name) beforehand.

【0040】なお、撮影装置11がカムコーダであれ
ば、記録・再生装置13は例えばテープなどの順アクセ
ス方式の記録メディアを用いて撮影画像を記録する。ま
た、撮影装置11がデジタル・スチル・カメラであれ
ば、記録・再生装置13は例えば半導体メモリなどラン
ダム・アクセス可能な記録メディアを用いて撮影画像を
記録する。いずれの記録メディアを使用する場合であっ
ても、画像の記録エリアあるいは画像データとともに付
加情報(サブコード)を記録するフォーマットは当業界
において既に一般的になっているので、その部分を用い
て記録することができる。
If the photographing device 11 is a camcorder, the recording / reproducing device 13 records the photographed image using a sequential access recording medium such as a tape. If the photographing device 11 is a digital still camera, the recording / reproducing device 13 records a photographed image using a randomly accessible recording medium such as a semiconductor memory. Regardless of which recording medium is used, the format for recording the additional information (subcode) together with the image recording area or image data is already common in the art, and the recording is performed using that part. can do.

【0041】図2には、記録メディアとしてビデオ・テ
ープを採用した場合の記録・再生システム10における
画像記録メカニズムを模式的に示している。
FIG. 2 schematically shows an image recording mechanism in the recording / reproducing system 10 when a video tape is adopted as a recording medium.

【0042】撮影装置11は、被写体からの受光量を電
気信号に変換するCCD(Charge Coupled Device:電
荷結合素子)などからなる撮像素子11Aと、この電気
的な受光信号を処理して所定フォーマットの画像情報を
生成するカメラ画像処理部11Bと、画像情報を記録信
号に変換するビデオ記録信号処理部11Cとで構成され
る。
The photographing device 11 has an image pickup device 11A such as a CCD (Charge Coupled Device) for converting the amount of light received from a subject into an electric signal, and processes the electric light received signal to form a predetermined format. It comprises a camera image processing unit 11B for generating image information and a video recording signal processing unit 11C for converting image information into a recording signal.

【0043】記録・再生装置13は、撮影装置11から
入力される画像データを、GPSなどの受信装置12か
ら入力される位置情報とともに、記録メディアとしての
ビデオ・テープの記録面上に、読出し可能な形式で記録
する(位置情報は、例えば対応する画像データのサブコ
ード・エリアに記録される)。
The recording / reproducing device 13 can read out image data inputted from the photographing device 11 together with position information inputted from the receiving device 12 such as GPS onto a recording surface of a video tape as a recording medium. (Position information is recorded, for example, in a subcode area of the corresponding image data).

【0044】また、図3には、記録メディアとして半導
体メモリを採用した場合の記録・再生システム10にお
ける画像記録メカニズムを模式的に示している。
FIG. 3 schematically shows an image recording mechanism in the recording / reproducing system 10 when a semiconductor memory is employed as a recording medium.

【0045】撮影装置11は、CCDなどからなる撮像
素子11Aと、この電気的な受光信号を処理して所定フ
ォーマットの画像情報を生成するカメラ画像処理部11
Bと、画像情報を記録信号に変換するビデオ記録信号処
理部11Cとで構成される。
The photographing device 11 includes an image pickup device 11A such as a CCD and a camera image processing unit 11 which processes the electric light receiving signal to generate image information of a predetermined format.
B and a video recording signal processing unit 11C for converting image information into a recording signal.

【0046】記録・再生装置13は、撮影装置11から
入力される画像データを、GPSなどの受信装置12か
ら入力される位置情報とともに、記録メディアとしての
半導体メモリ上に、読出し可能な形式で記録する。
The recording / reproducing device 13 records the image data input from the photographing device 11 together with the position information input from the receiving device 12 such as a GPS on a semiconductor memory as a recording medium in a readable format. I do.

【0047】この他、記録・再生装置13が、ハード・
ディスクやCD−R(Compact Disc- Recordable)、D
VD(Digital Versatile Disc)を画像情報及び位置情
報の記録メディアとして採用した場合であっても、上記
と同様の構成であることを理解されたい。
In addition, the recording / reproducing device 13 is a hardware
Disc, CD-R (Compact Disc-Recordable), D
It should be understood that the configuration is the same as described above even when a VD (Digital Versatile Disc) is adopted as a recording medium for image information and position information.

【0048】また、上述した記録・再生装置13及び/
又は特徴抽出装置15は、特定のコンピュータ・システ
ム上で本発明に特化されたアプリケーションを実行する
という形態で実装することができる。
The recording / reproducing apparatus 13 and / or
Alternatively, the feature extracting device 15 can be implemented in a form of executing an application specialized in the present invention on a specific computer system.

【0049】図4には、記録・再生装置13及び/又は
特徴抽出装置14の機能を実現することができるコンピ
ュータ・システム500の構成を模式的に示している。
以下、同図を参照しながら説明する。
FIG. 4 schematically shows the configuration of a computer system 500 capable of realizing the functions of the recording / reproducing device 13 and / or the feature extracting device 14.
Hereinafter, description will be made with reference to FIG.

【0050】システム100のメイン・コントローラで
あるCPU(Central Processing Unit)101は、オ
ペレーティング・システム(OS)の制御下で、各種の
アプリケーションを実行する。図示の通り、CPU10
1は、バス108によって他の機器類(後述)と相互接
続されている。
A CPU (Central Processing Unit) 101 which is a main controller of the system 100 executes various applications under the control of an operating system (OS). As shown, the CPU 10
1 is interconnected with other devices (described later) by a bus 108.

【0051】メモリ102は、CPU101において実
行されるプログラム・コードを格納したり、実行中の作
業データを一時保管するために使用される記憶装置であ
る。同図に示すメモリ102は、不揮発及び揮発メモリ
双方を含むものと理解されたい。また、メモリ102
は、システム100が入力する画像情報及び位置情報を
記録する半導体メモリとして機能することができる。
The memory 102 is a storage device used to store program codes to be executed by the CPU 101 and temporarily store work data being executed. It should be understood that the memory 102 shown in the figure includes both non-volatile and volatile memories. Also, the memory 102
Can function as a semiconductor memory that records image information and position information input by the system 100.

【0052】ディスプレイ・コントローラ103は、C
PU101が発行する描画命令を実際に処理するための
専用コントローラである。ディスプレイ・コントローラ
103において処理された描画データは、例えばフレー
ム・バッファ(図示しない)に一旦書き込まれた後、デ
ィスプレイ111によって画面出力される。
The display controller 103 uses C
This is a dedicated controller for actually processing a drawing command issued by the PU 101. The drawing data processed by the display controller 103 is once written in, for example, a frame buffer (not shown) and then output to the screen by the display 111.

【0053】ユーザ入力インターフェース104は、キ
ーボード(KBD)112やマウス113などのユーザ
入力機器をコンピュータ・システム100に接続するた
めの装置である。例えば、ディスプレイ111の画面上
で提供されるGUI(Graphical User Interface)とこ
れらユーザ入力装置112,113との組み合わせによ
り、対話型のユーザ入力環境が提供される。
The user input interface 104 is a device for connecting user input devices such as a keyboard (KBD) 112 and a mouse 113 to the computer system 100. For example, a combination of a GUI (Graphical User Interface) provided on the screen of the display 111 and these user input devices 112 and 113 provides an interactive user input environment.

【0054】ネットワーク・インターフェース105
は、Ethernetなどの所定の通信プロトコルに従
って、システム100をLAN(Local Area Network)
などの局所的ネットワーク、さらにはインターネットの
ような広域ネットワークに接続することができる。
Network interface 105
Connects the system 100 to a LAN (Local Area Network) according to a predetermined communication protocol such as Ethernet.
Etc., and even a wide area network such as the Internet.

【0055】ネットワーク上では、コンテンツ受信装置
などの複数のホスト端末がトランスペアレントな状態で
接続され、分散コンピューティング環境が構築されてい
る。例えば、画像データベース14とはネットワーク経
由で接続されており、コンピュータ・システム100は
画像情報(又はその圧縮値若しくは特徴値)を転送する
ことによって画像データベース14を検索することがで
きるとともに、検索結果としての位置情報をネットワー
ク経由で受信することができる。
On a network, a plurality of host terminals such as a content receiving device are connected in a transparent state, and a distributed computing environment is constructed. For example, the image database 14 is connected to the image database 14 via a network, and the computer system 100 can search the image database 14 by transferring image information (or a compression value or a characteristic value thereof). Can be received via a network.

【0056】また、ネットワーク上では、ソフトウェア
・プログラムやデータ・コンテンツなどの配信が行うこ
とができる。例えば、本発明の各実施形態に係る画像管
理を行うアプリケーションをネットワーク経由でダウン
ロードすることができる。また、コンピュータ・システ
ム100上で保管されている位置情報付きの画像情報を
ネットワーク経由で配信サービスすることができる。
On the network, distribution of software programs, data contents, and the like can be performed. For example, an application for performing image management according to each embodiment of the present invention can be downloaded via a network. In addition, image information with position information stored on the computer system 100 can be distributed via a network.

【0057】情報入力インターフェース106は、前述
した撮影装置11や受信装置12などを接続して、画像
情報や位置情報を外部から入力するための装置であり、
例えば、IEEE1394やUSB(Universal Serial
Bus)などの汎用インターフェース仕様に準拠する。
The information input interface 106 is a device for connecting the photographing device 11 and the receiving device 12 described above and inputting image information and position information from outside.
For example, IEEE1394 or USB (Universal Serial
Bus) and other general-purpose interface specifications.

【0058】外部機器インターフェース107は、ハー
ド・ディスク・ドライブ(HDD)114やメディア・ド
ライブ115、あるいはビデオ・テープ・レコーダ(図
示しない)などの外部装置を本コンピュータ・システム
100に接続するための装置である。
The external device interface 107 is a device for connecting an external device such as a hard disk drive (HDD) 114, a media drive 115, or a video tape recorder (not shown) to the computer system 100. It is.

【0059】HDD114は、記憶担体としての磁気デ
ィスクを固定的に搭載した外部記憶装置であり(周
知)、記憶容量やデータ転送速度などの点で他の外部記
憶装置よりも優れている。ソフトウェア・プログラムを
実行可能な状態でHDD114上に置くことをプログラ
ムのシステムへの「インストール」と呼ぶ。通常、HD
D114には、CPU101が実行すべきプログラム・
コードが不揮発的に格納されている。例えば、本発明の
実施形態に係る画像管理を行うアプリケーションをHD
D114上にインストールすることができる。また、位
置情報付きの画像情報をHDD114上に蓄積すること
ができる。
The HDD 114 is an external storage device on which a magnetic disk as a storage carrier is fixedly mounted (well-known), and is superior to other external storage devices in terms of storage capacity and data transfer speed. Placing a software program on the HDD 114 in an executable state is called “installing” the program in the system. Usually HD
D114 includes programs to be executed by the CPU 101.
The code is stored in a nonvolatile manner. For example, the application for performing image management according to the embodiment of the present invention is an HD application.
It can be installed on D114. Further, image information with position information can be stored on the HDD 114.

【0060】メディア・ドライブ115は、CD(Compa
ct Disc)やMO(Magneto-Opticaldisc)、DVD(Di
gital Versatile Disc)、メモリ・カード、あるいはビ
デオ・テープなどの交換可能な可搬型メディアを装填し
て、そのデータ記録面にアクセスするための装置であ
る。可搬型メディアは、主として、ソフトウェア・プロ
グラムやデータ・ファイルなどをコンピュータ可読形式
のデータとしてバックアップすることや、これらをシス
テム間で移動(すなわち販売・流通・配布を含む)する目
的で使用される。例えば、本発明の実施形態に係る画像
管理を行うアプリケーションを、これら可搬型メディア
を利用して複数の機器間で物理的に流通・配布すること
ができる。また、位置情報付きの画像情報を、これら可
搬型メデアを利用して機器間で物理的に流通・配布する
ことができる。
The media drive 115 has a CD (Compa
ct Disc), MO (Magneto-Opticaldisc), DVD (Di
It is a device for loading a replaceable portable medium such as a digital versatile disc, a memory card, or a video tape, and accessing a data recording surface thereof. The portable media is mainly used for backing up software programs, data files, and the like as computer-readable data, and for transferring them between systems (that is, including sales, distribution, and distribution). For example, an application for performing image management according to the embodiment of the present invention can be physically distributed and distributed between a plurality of devices using these portable media. Further, image information with position information can be physically distributed / distributed between devices using these portable media.

【0061】なお、図4に示すようなコンピュータ・シ
ステム100の一例は、米IBM社のパーソナル・コン
ピュータ"PC/AT(Personal Computer/Advanced Te
chnology)"の互換機又は後継機である。勿論、他のア
ーキテクチャを備えたコンピュータを、本実施形態に係
るコンピュータ・システム100として適用することも
可能である。
An example of the computer system 100 as shown in FIG. 4 is a personal computer “PC / AT (Personal Computer / Advanced Tesla) of IBM Corporation.
A compatible computer or a successor thereof. Of course, a computer having another architecture can be applied as the computer system 100 according to the present embodiment.

【0062】図5には、本発明の他の実施形態に係る、
画像の再生・編集システム20の全体構成を模式的に示
している。同図に示すように画像再生・編集システム2
0は、再生装置21と、編集・記録装置22と、特徴抽
出装置23と、画像データベース14とで構成される。
FIG. 5 shows another embodiment of the present invention.
1 schematically shows the overall configuration of an image reproduction / editing system 20. As shown in FIG.
0 is composed of a reproducing device 21, an editing / recording device 22, a feature extracting device 23, and an image database 14.

【0063】編集・記録装置22は、撮影装置(前述)
から入力される画像情報を、特定された位置情報と組み
合わせて、位置情報を基に参照可能な形式で画像情報を
蓄積するための装置であり、編集中の画像の保管場所と
しても使用される。
The editing / recording device 22 is a photographing device (described above).
Is a device for storing image information in a format that can be referred to based on the position information by combining the image information input from the device with the specified position information, and is also used as a storage location of the image being edited. .

【0064】再生装置21は、編集・記録装置22に蓄
積されている画像を再生するための装置であり、編集・
記録装置22から読み出された画像情報を、付随する位
置情報とともに再生する。
The reproducing device 21 is a device for reproducing the image stored in the editing / recording device 22.
The image information read from the recording device 22 is reproduced together with the accompanying position information.

【0065】画像データベース14は、全国のあらゆる
アングルからの画像を蓄積したデータベースである。全
国各地の画像情報となると膨大な情報量となり、検索す
るには多大な計算能力と演算時間を要するが、記録・再
生装置13は位置情報を組み合わせることにより、簡単
に画像データベース14を参照することができる(同
上)。
The image database 14 is a database that stores images from all angles in the whole country. Image information in various parts of the country requires an enormous amount of information and requires a great deal of computational power and computation time to search. However, the recording / reproducing device 13 can easily refer to the image database 14 by combining position information. (Same as above).

【0066】特徴抽出装置23は、編集・記録装置22
から読み出された画像情報に所定の演算処理を施して、
その特徴量を抽出する装置である。画像情報はデータ・
サイズが大きいので、画像情報の代わりに特徴量を扱う
ことによって、伝送データ量や検索時間を節約すること
ができる。
The feature extracting device 23 includes an editing / recording device 22
Performs predetermined arithmetic processing on the image information read from
This is a device for extracting the feature amount. Image information is data
Since the size is large, the amount of transmission data and the search time can be saved by using the feature amount instead of the image information.

【0067】この画像編集・記録システム20におい
て、再生装置21で画像を再生する際にタイトルを付け
たい場面を再生し、その部分の位置情報と再生画像を得
る。再生画像はそのままでもよいが、データ量を減らす
ために圧縮又は特徴抽出の処理を行う。そして、画像情
報(又は、圧縮された画像情報若しくは特徴量)と位置
情報を画像データベース14に送信して検索を行う。
In the image editing / recording system 20, a scene to which a title is to be added when an image is reproduced by the reproducing device 21 is reproduced, and positional information of the portion and a reproduced image are obtained. The reproduced image may be left as it is, but compression or feature extraction processing is performed to reduce the amount of data. Then, the image information (or the compressed image information or feature amount) and the position information are transmitted to the image database 14 to perform a search.

【0068】画像データベース14は、まず位置情報か
ら、その場所周辺の画像データベースに範囲を限定し
て、送られてきた画像情報と一致(又は類似)する画像
をデータベースの中から探す。データベース上には、画
像そのものの情報あるいは圧縮地又は特徴量と、それに
対応する場所名(あるいは建物名)が収納されており、
送られてきた画像に最も近いものを選んで、これに該当
する場所の名称を出力し、これを編集・記録装置22側
に返信する。
The image database 14 first searches the database for an image that matches (or is similar to) the transmitted image information by limiting the range from the position information to the image database around the place. In the database, information of the image itself or the compressed place or feature amount and the corresponding place name (or building name) are stored.
An image closest to the transmitted image is selected, the name of the corresponding location is output, and this is returned to the editing / recording device 22 side.

【0069】編集・記録装置22は、この場所名情報
を、タイトルや付加情報として記録メディア上に上書き
する(又は、編集時には新たな記録部分に記録する)。
The editing / recording device 22 overwrites the place name information on the recording medium as a title or additional information (or records the information in a new recording portion at the time of editing).

【0070】画像データベース14上を検索する際、場
所名(あるいは建物名)を特定することができない事態
も想定される。このような場合には、特徴地により近い
幾つかの候補を挙げて、ユーザに候補の中から取捨選択
させるようにしてもよい。
At the time of searching the image database 14, it is assumed that a place name (or a building name) cannot be specified. In such a case, some candidates closer to the characteristic location may be listed, and the user may be allowed to select from the candidates.

【0071】本実施形態に係る画像編集・記録システム
20によれば、位置情報と画像情報を得て、データベー
スに問い合わせを行うので、必ずしも再生時だけとは限
らず、記録と同時、あるいは、記録する前にあらかじめ
場所名(あるいは建物名)を取得することも可能であ
る。
According to the image editing / recording system 20 according to the present embodiment, the position information and the image information are obtained and the database is queried. It is also possible to obtain a place name (or a building name) beforehand.

【0072】なお、上述した再生装置21、編集・記録
装置22、及び/又は、特徴抽出装置23の機能は、図
4に示すようなコンピュータ・システム100上で本発
明に特化されたアプリケーションを実行するという形態
で実装することも可能である(同上)。
The functions of the reproducing device 21, the editing / recording device 22, and / or the feature extracting device 23 described above are implemented by an application specialized in the present invention on a computer system 100 as shown in FIG. It is also possible to implement it in the form of execution (same as above).

【0073】図6には、画像データベースを参照しなが
ら画像情報に場所名(あるいは建物名)などの位置情報
を付加するための処理手順をフローチャートの形式で示
している。このような処理は、実際には、図1に示す記
録・再生装置13、あるいは図5に示す編集・記録装置
22、若しくはこれらの装置の機能を実装したコンピュ
ータ・システム100上で実行される。以下、このフロ
ーチャートに従って、画像情報に対する場所名(あるい
は建物名)などの位置情報の付加処理について説明す
る。
FIG. 6 is a flowchart showing a processing procedure for adding location information such as a place name (or building name) to image information while referring to an image database. Such processing is actually executed on the recording / reproducing device 13 shown in FIG. 1, the editing / recording device 22 shown in FIG. 5, or the computer system 100 having the functions of these devices. Hereinafter, a process of adding position information such as a place name (or a building name) to image information will be described with reference to this flowchart.

【0074】まず、画像再生して、場所名(あるいは建
物名)を入れたい画面を表示して画面指定する(ステッ
プS1)。
First, an image is reproduced, a screen on which a place name (or building name) is to be entered is displayed, and the screen is designated (step S1).

【0075】次いで、指定した画面の記憶領域のサブコ
ードから、該画面に対応する位置情報を取得する(ステ
ップS2)。
Next, position information corresponding to the designated screen is obtained from the subcode of the storage area of the designated screen (step S2).

【0076】次いで、指定した画面からその特徴量を抽
出する(ステップS3)。
Next, the feature is extracted from the designated screen (step S3).

【0077】次いで、ネットワークなどの通信媒体を介
して画像データベース14に接続して(ステップS
4)、画像データベースに対して位置情報と画像特徴値
情報を送信して、データベース検索を要求する(ステッ
プS5)。
Next, it is connected to the image database 14 via a communication medium such as a network (Step S).
4) The position information and the image feature value information are transmitted to the image database, and a database search is requested (step S5).

【0078】画像データベース14は、受信した位置情
報から、その周辺のデータベースを選択して(ステップ
S6)、該選択したデータベースの範囲から、画像特徴
量が一致した画像を検索する(ステップS7)。
The image database 14 selects a surrounding database from the received position information (step S6), and searches for an image whose image feature amount matches from the range of the selected database (step S7).

【0079】そして、画像データベース14は、探し出
した画像の場所名(あるいは建物名)を取得してセット
に返す(ステップS8)。
Then, the image database 14 acquires the location name (or building name) of the found image and returns it to the set (step S8).

【0080】場所名(あるいは建物名)を受信した画像
再生装置や編集・記録装置は、画像の場所名(あるいは
建物名)をサブコードに記録して、画像情報に関連付け
る(ステップS9)。
The image reproducing device or the editing / recording device that has received the place name (or the building name) records the place name (or the building name) of the image in the subcode and associates the image with the image information (step S9).

【0081】なお、上述したように、データ量削減のた
めに、画像情報そのものではなく画像の特徴量を扱うこ
とにしている。画像の特徴量としては、RGB(Red Gr
eenBule)の各色コンポーネントのヒストグラムなどを
用いることができる。
As described above, in order to reduce the data amount, not the image information itself but the feature amount of the image is used. RGB (Red Gr.
eenBule) can be used.

【0082】例えば、図7に示すように、画像を幾つか
のエリアに分割して、各々のエリアについて、いろ情
報、輝度情報などの特徴量を取り出す。そして、RGB
の各コンポーネントがそれぞれのエリアでどのくらいの
レベルで存在するかを特徴値ととして抽出して、ヒスト
グラムとして表現する。
For example, as shown in FIG. 7, an image is divided into several areas, and feature amounts such as color information and luminance information are extracted for each area. And RGB
The level at which each component exists in each area is extracted as a feature value, and is expressed as a histogram.

【0083】各色コンポーネントが存在するレベルのパ
ターンにより、被写体の性質を推定することができる。
例えば、被写体画像の背景に青成分が多ければ、空や海
であることが想定される。また、画像の中央が白っぽけ
れば何らかの建物であることが想定される。あるいは、
高周波成分(例えば細かい模様)などによる特徴値を用
いることができる。いずれにしても、場所の検索が容易
になる特徴量を採用することが好ましい。
The nature of the subject can be estimated from the pattern at the level where each color component exists.
For example, if the background of the subject image has many blue components, it is assumed that the subject image is the sky or the sea. If the center of the image is whitish, it is assumed that the building is some kind of building. Or,
A feature value based on a high frequency component (for example, a fine pattern) can be used. In any case, it is preferable to use a feature amount that makes it easy to search for a place.

【0084】最後に、本発明に係る画像管理に従い、カ
ムコーダやデジタル・スチル・カメラなどで撮像された
画像をデータベース管理する様子について、図面を参照
しながら説明する。
Finally, the manner in which images captured by a camcorder, digital still camera, or the like are managed in a database in accordance with the image management according to the present invention will be described with reference to the drawings.

【0085】例えば、あるユーザがカムコードを携行し
ながら、東京ディズニーランドのような遊園地内におい
て、被写体を撮影しながら散策しているものとする。
For example, it is assumed that a user is taking a walk while photographing a subject in an amusement park such as Tokyo Disneyland while carrying a cam code.

【0086】このような場合、撮影装置本来の機能によ
り画像を捕捉することができるとともに、GPSなどの
位置測定機能により撮影時の位置情報を取得することが
できる。但し、撮影時点での位置情報は、北緯xx度x
x分、東経yy度yy分のように、物理的な指示値に過
ぎず、場所名(あるいは建物名)や被写体を特定できる
情報ではない。撮影時の画像情報や原初的な位置情報
は、半導体メモリやビデオ・テープなどのような記録メ
ディア上に保管される(図8を参照のこと)。
In such a case, the image can be captured by the original function of the photographing apparatus, and the position information at the time of photographing can be obtained by the position measuring function such as GPS. However, the position information at the time of shooting is north latitude xx degrees x
It is only a physical indication value, such as x minutes, east longitude yy degrees yy minutes, and is not information that can specify a place name (or building name) or a subject. The image information and the original position information at the time of shooting are stored on a recording medium such as a semiconductor memory or a video tape (see FIG. 8).

【0087】次いで、撮影した画像情報をディスプレイ
上で画面表示して、場所名(あるいは建物名)を入れた
い画像を指定する。そして、画像データベース14に接
続して、画像情報またはその特徴値情報と、その位置情
報を転送して、場所名(あるいは建物名)、あるいは画
像のタイトルに相当する情報を要求する(図9を参照の
こと)。
Next, the photographed image information is displayed on a screen on a display, and an image in which a place name (or a building name) is to be inserted is designated. Then, it connects to the image database 14 and transfers the image information or its characteristic value information and its position information, and requests a place name (or a building name) or information corresponding to the title of the image (see FIG. 9). See).

【0088】画像データベース14上では、画像情報
(又はその特徴値情報)と場所名情報(あるいは画像の
タイトルに相当するその他の情報)の組み合わせからな
る多数のレコードがデータベース管理されている。画像
データベース14は、受信した画像情報と位置情報を基
にデータベース照合する。このとき、要求元から送られ
る北緯xx度xx分、東経yy度yy分といった物理的
な位置情報を基に、データベース内での検索範囲を限定
することができる。そして、該当するレコードを取り出
して、位置情報を要求元に返す。
On the image database 14, a large number of records composed of a combination of image information (or its characteristic value information) and place name information (or other information corresponding to the title of the image) are managed in a database. The image database 14 performs database collation based on the received image information and position information. At this time, the search range in the database can be limited based on physical location information such as xx degrees xx north latitude and yy degrees yy longitude east sent from the request source. Then, the corresponding record is taken out and the position information is returned to the request source.

【0089】要求元では、場所名(あるいは建物名)や
タイトルなどからなる新たな位置情報を取得すると、該
当する位置情報を記録したサブコードに上書きする(又
は、編集時には新たな記録部分に記録する)。
When the request source obtains new location information including a place name (or building name) and a title, it overwrites the corresponding location information with the recorded subcode (or records it in a new recording portion when editing). Do).

【0090】[追補]以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。すなわち、例示とい
う形態で本発明を開示してきたのであり、限定的に解釈
されるべきではない。本発明の要旨を判断するために
は、冒頭に記載した特許請求の範囲の欄を参酌すべきで
ある。
[Supplement] The present invention has been described in detail with reference to the specific embodiments. However, it is obvious that those skilled in the art can modify or substitute the embodiment without departing from the spirit of the present invention. That is, the present invention has been disclosed by way of example, and should not be construed as limiting. In order to determine the gist of the present invention, the claims described at the beginning should be considered.

【0091】[0091]

【発明の効果】以上詳記したように、本発明によれば、
デジタル化又は電子ファイル化されてコンピュータ上で
処理可能な形式の撮像画像データを管理することができ
る、優れた画像管理装置及び画像管理方法を提供するこ
とができる。
As described above in detail, according to the present invention,
It is possible to provide an excellent image management device and an excellent image management method that can manage captured image data in a format that can be processed on a computer by being digitized or converted to an electronic file.

【0092】また、本発明によれば、撮像装置から取得
・収集した多数の画像データを撮影場所や撮影状況に基
づいて編集・整理・検索することができる、優れた画像
管理装置及び画像管理方法を提供することができる。
Further, according to the present invention, an excellent image management apparatus and image management method capable of editing, organizing, and retrieving a large number of image data obtained / collected from an imaging apparatus based on a shooting location and a shooting situation. Can be provided.

【0093】また、本発明によれば、撮影時の位置情報
と映像情報を基に撮影した場所や建物を特定したり、さ
らに画像のタイトルを自動生成することができる、優れ
た画像管理装置及び画像管理方法を提供することができ
る。
Further, according to the present invention, there is provided an excellent image management apparatus capable of specifying a place or a building where a photograph was taken based on positional information and video information at the time of photographing, and automatically generating a title of an image. An image management method can be provided.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の1つの実施形態に係る画像記録・再生
システム10の全体構成を模式的に示した図である。
FIG. 1 is a diagram schematically showing an overall configuration of an image recording / reproducing system 10 according to one embodiment of the present invention.

【図2】記録メディアとしてビデオ・テープを採用した
場合の記録・再生システム10における画像記録メカニ
ズムを模式的に示した図である。
FIG. 2 is a diagram schematically showing an image recording mechanism in the recording / reproducing system 10 when a video tape is adopted as a recording medium.

【図3】記録メディアとして半導体メモリを採用した場
合の記録・再生システム10における画像記録メカニズ
ムを模式的に示した図である。
FIG. 3 is a diagram schematically showing an image recording mechanism in the recording / reproducing system 10 when a semiconductor memory is employed as a recording medium.

【図4】記録・再生装置13及び/又は特徴抽出装置1
4の機能を実現することができるコンピュータ・システ
ム500の構成を模式的に示した図である。
FIG. 4 shows a recording / reproducing device 13 and / or a feature extracting device 1.
FIG. 9 is a diagram schematically illustrating a configuration of a computer system 500 capable of realizing the function of No. 4;

【図5】本発明の他の実施形態に係る画像の再生・編集
システム20の全体構成を模式的に示した図である。
FIG. 5 is a diagram schematically showing an overall configuration of an image reproduction / editing system 20 according to another embodiment of the present invention.

【図6】画像データベースを参照しながら画像情報に位
置情報を付加するための処理手順を示したフローチャー
トである。
FIG. 6 is a flowchart showing a processing procedure for adding position information to image information while referring to an image database.

【図7】画像の特徴量を抽出する例を示した図である。FIG. 7 is a diagram illustrating an example of extracting a feature amount of an image.

【図8】本発明に係る画像管理に従い、カムコーダやデ
ジタル・スチル・カメラなどで撮像された画像をデータ
ベース管理する様子を示した図である。
FIG. 8 is a diagram illustrating a state in which images captured by a camcorder, a digital still camera, or the like are managed in a database according to the image management according to the present invention.

【図9】画像データベース14が画像の場所名(あるい
は建物名)やタイトルなどの情報を提供する様子を示し
た図である。
FIG. 9 is a diagram illustrating a state in which the image database provides information such as a place name (or a building name) and a title of an image.

【符号の説明】[Explanation of symbols]

10…画像記録・再生システム 11…撮影装置 12…受信装置 13…記録・再生装置 14…画像データベース 20…画像再生・編集システム 100…コンピュータ・システム 101…CPU,102…メモリ 103…ディスプレイ・コントローラ 104…ユーザ入力インターフェース 105…ネットワーク・インターフェース 106…情報入力インターフェース 107…外部機器インターフェース,108…バス 111…ディスプレイ,112…キーボード,113…
マウス 114…ハード・ディスク装置,115…メディア・ド
ライブ
DESCRIPTION OF SYMBOLS 10 ... Image recording / playback system 11 ... Photographing device 12 ... Receiving device 13 ... Recording / playback device 14 ... Image database 20 ... Image playback / editing system 100 ... Computer system 101 ... CPU, 102 ... Memory 103 ... Display controller 104 ... user input interface 105 ... network interface 106 ... information input interface 107 ... external device interface, 108 ... bus 111 ... display, 112 ... keyboard, 113 ...
Mouse 114: Hard disk drive, 115: Media drive

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/765 H04N 5/91 L 5/92 5/92 H Fターム(参考) 5B075 ND12 ND34 NK02 NK43 PP02 PP12 PP22 PQ10 UU14 5C022 AA11 AC42 5C053 FA21 FA27 GB21 HA29 JA30 LA01 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 5/765 H04N 5/91 L 5/92 5/92 HF Term (Reference) 5B075 ND12 ND34 NK02 NK43 PP02 PP12 PP22 PQ10 UU14 5C022 AA11 AC42 5C053 FA21 FA27 GB21 HA29 JA30 LA01

Claims (11)

【特許請求の範囲】[Claims] 【請求項1】撮影した画像を管理する画像管理装置であ
って、 画像情報を取得する画像取得手段と、 画像情報の撮影時の位置情報を取得する位置情報取得手
段と、 画像情報をその撮影した場所名とを関連付けて登録する
画像データベースと、 画像情報及びその位置情報を基に前記画像データベース
を参照して、該データベース中で最も類似する画像情報
の場所名を撮影時の場所名又は画像情報のタイトルとし
て特定する場所名特定手段と、を具備することを特徴と
する画像管理装置。
An image management apparatus for managing a photographed image, comprising: an image acquisition unit for acquiring image information; a position information acquisition unit for acquiring position information at the time of photographing the image information; An image database for registering in association with the place name obtained, and referring to the image database based on the image information and its position information, to determine the place name of the most similar image information in the database at the place name or image at the time of shooting. An image management apparatus comprising: a place name specifying unit that specifies a title of information.
【請求項2】前記場所名特定手段によって特定された場
所名を画像情報とともに保存する画像記録/再生/編集
手段をさらに備えることを特徴とする請求項1に記載の
画像管理装置。
2. The image management apparatus according to claim 1, further comprising image recording / reproducing / editing means for storing the place name specified by said place name specifying means together with image information.
【請求項3】前記画像データベースは、所定範囲の位置
情報毎に分類されており、 前記場所名特定手段は、検索対象となる画像情報が持つ
位置情報を含む範囲に限定して前記画像データベースを
検索する、ことを特徴とする請求項1に記載の画像管理
装置。
3. The image database is classified according to a predetermined range of position information, and the place name specifying means restricts the image database to a range including the position information of the image information to be searched. The image management apparatus according to claim 1, wherein a search is performed.
【請求項4】画像情報からその特徴値を抽出する特徴抽
出手段をさらに備え、 前記場所名特定手段は画像情報の特徴値を基に前記画像
データベースを検索する、ことを特徴とする請求項1に
記載の画像管理装置。
4. The apparatus according to claim 1, further comprising a feature extracting unit for extracting a feature value from the image information, wherein the place name specifying unit searches the image database based on the feature value of the image information. An image management device according to claim 1.
【請求項5】撮影した画像を管理する画像管理方法であ
って、 画像情報を取得する画像取得ステップと、 画像情報の撮影時の位置情報を取得する位置情報取得ス
テップと、 画像情報をその撮影した場所名とを関連付けて画像デー
タベースに登録するステップと、 画像情報及びその位置情報を基に前記画像データベース
を参照して、該データベース中で最も類似する画像情報
の場所名を撮影時の場所名又は画像情報のタイトルとし
て特定する場所名特定ステップと、を具備することを特
徴とする画像管理方法。
5. An image management method for managing a photographed image, comprising: an image acquisition step of acquiring image information; a position information acquisition step of acquiring position information of the image information at the time of photographing; Registering the location name of the most similar image information in the database with reference to the image database based on the image information and its position information. Or a place name specifying step of specifying the title as the title of the image information.
【請求項6】前記場所名特定ステップによって特定され
た場所名を画像情報とともに保存する画像記録/再生/
編集ステップをさらに備えることを特徴とする請求項6
に記載の画像管理方法。
6. An image recording / reproducing / storing method for storing a place name specified in the place name specifying step together with image information.
7. The method according to claim 6, further comprising an editing step.
The image management method described in 1.
【請求項7】前記画像データベースは、所定範囲の位置
情報毎に分類されており、 前記場所名特定ステップでは、検索対象となる画像情報
が持つ位置情報を含む範囲に限定して前記画像データベ
ースを検索する、ことを特徴とする請求項6に記載の画
像管理方法。
7. The image database is classified according to a predetermined range of position information. In the place name specifying step, the image database is limited to a range including position information of image information to be searched. 7. The image management method according to claim 6, wherein a search is performed.
【請求項8】画像情報からその特徴値を抽出する特徴抽
出ステップをさらに備え、 前記場所名特定ステップでは画像情報の特徴値を基に前
記画像データベースを検索する、ことを特徴とする請求
項6に記載の画像管理方法。
8. The method according to claim 6, further comprising a feature extracting step of extracting a feature value from the image information, wherein in the place name specifying step, the image database is searched based on the feature value of the image information. The image management method described in 1.
【請求項9】画像情報を管理する画像データベース装置
であって、 画像情報をその撮影した場所名とを関連付けて登録する
データ登録手段と、 画像情報とその位置情報を含んだ要求に応答して、前記
データ登録手段によって登録されたデータを検索して該
当する画像情報の場所名を返すデータ検索手段と、を具
備することを特徴とする画像データベース装置。
9. An image database apparatus for managing image information, comprising: a data registration unit for registering image information in association with a place name where the image was taken; and a response to a request including the image information and the position information. And a data search unit for searching data registered by the data registration unit and returning a location name of the corresponding image information.
【請求項10】前記データ登録手段は、所定範囲の位置
情報毎に画像情報を補間しており、 前記データ検索手段は、検索対象となる画像情報が持つ
位置情報を含む範囲に限定してデータを検索する、こと
を特徴とする請求項9に記載の画像データベース装置。
10. The data registering means interpolates image information for each predetermined range of position information, and the data search means restricts data to a range including position information of the image information to be searched. 10. The image database device according to claim 9, wherein the image database is searched.
【請求項11】撮影した画像を管理する処理をコンピュ
ータ・システム上で実行するように記述されたコンピュ
ータ・ソフトウェアをコンピュータ可読形式で物理的に
格納した記憶媒体であって、前記コンピュータ・ソフト
ウェアは、 画像情報を取得する画像取得ステップと、 画像情報の撮影時の位置情報を取得する位置情報取得ス
テップと、 画像情報をその撮影した場所名とを関連付けて画像デー
タベースに登録するステップと、 画像情報及びその位置情報を基に前記画像データベース
を参照して、該データベース中で最も類似する画像情報
の場所名を撮影時の場所名又は画像情報のタイトルとし
て特定する場所名特定ステップと、を具備することを特
徴とする記憶媒体。
11. A storage medium in which computer software written to execute a process of managing a captured image on a computer system is physically stored in a computer-readable format, wherein the computer software comprises: An image acquisition step of acquiring image information; a position information acquisition step of acquiring position information at the time of photographing of the image information; a step of registering the image information in an image database in association with a place name of the photographed place; Referring to the image database based on the position information, and specifying a place name of the most similar image information in the database as a place name at the time of shooting or a title of the image information. A storage medium characterized by the above-mentioned.
JP2001037910A 2001-02-15 2001-02-15 Device and method for managing image, image database unit and storage medium Pending JP2002245071A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001037910A JP2002245071A (en) 2001-02-15 2001-02-15 Device and method for managing image, image database unit and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001037910A JP2002245071A (en) 2001-02-15 2001-02-15 Device and method for managing image, image database unit and storage medium

Publications (1)

Publication Number Publication Date
JP2002245071A true JP2002245071A (en) 2002-08-30

Family

ID=18900978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001037910A Pending JP2002245071A (en) 2001-02-15 2001-02-15 Device and method for managing image, image database unit and storage medium

Country Status (1)

Country Link
JP (1) JP2002245071A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120497A (en) * 2002-09-27 2004-04-15 Ricoh Co Ltd Device and method for detecting scene change, image processor, program and recording medium
JP2004289825A (en) * 2003-03-20 2004-10-14 Eastman Kodak Co Production of enhanced photographic product from image captured at known picture site
JP2012230714A (en) * 2012-07-31 2012-11-22 Olympus Corp Virtual scenery display device
CN109615309A (en) * 2018-09-25 2019-04-12 阿里巴巴集团控股有限公司 A kind of data recording method and device, a kind of calculating equipment and storage medium
CN110503123A (en) * 2018-05-17 2019-11-26 奥迪股份公司 Image position method, device, computer equipment and storage medium
JP2022000995A (en) * 2008-08-08 2022-01-04 株式会社ニコン Portable information apparatus

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120497A (en) * 2002-09-27 2004-04-15 Ricoh Co Ltd Device and method for detecting scene change, image processor, program and recording medium
JP2004289825A (en) * 2003-03-20 2004-10-14 Eastman Kodak Co Production of enhanced photographic product from image captured at known picture site
JP2022000995A (en) * 2008-08-08 2022-01-04 株式会社ニコン Portable information apparatus
US11647276B2 (en) 2008-08-08 2023-05-09 Nikon Corporation Portable information device having real-time display with relevant information
JP7302638B2 (en) 2008-08-08 2023-07-04 株式会社ニコン mobile information equipment
US11979654B2 (en) 2008-08-08 2024-05-07 Nikon Corporation Portable information device having real-time display with relevant information
JP2012230714A (en) * 2012-07-31 2012-11-22 Olympus Corp Virtual scenery display device
CN110503123A (en) * 2018-05-17 2019-11-26 奥迪股份公司 Image position method, device, computer equipment and storage medium
CN110503123B (en) * 2018-05-17 2023-07-25 奥迪股份公司 Image positioning method, device, computer equipment and storage medium
CN109615309A (en) * 2018-09-25 2019-04-12 阿里巴巴集团控股有限公司 A kind of data recording method and device, a kind of calculating equipment and storage medium

Similar Documents

Publication Publication Date Title
JP3906938B2 (en) Image reproduction method and image data management method
JP3982605B2 (en) Captured image management apparatus, captured image management method, and captured image management program
US7103232B2 (en) Storing and processing partial images obtained from a panoramic image
US8698903B2 (en) Customizing digital image transfer
US7499918B2 (en) Information processing apparatus and method, program, and recording medium
JPH11122638A (en) Image processor, image processing method, and computer-readable information recording medium recorded with image processing program
US20040126038A1 (en) Method and system for automated annotation and retrieval of remote digital content
CN101527804B (en) Multi-image file editing device and multi-image file editing method
CN101815193A (en) Transcriber and reproducting method
JPH03183091A (en) Recording and reproducing method for picture filing system
JP2002245071A (en) Device and method for managing image, image database unit and storage medium
JP2003099434A (en) Electronic album device
JP2001036840A (en) Photographed image managing method, photographed image reproducing method using electronic map and device for the same
JP2004297171A (en) Information acquisition method, information processing method, information processing apparatus, image recording apparatus, and program
JP5480495B2 (en) Information processing apparatus, information processing method, and information processing system
JP5478960B2 (en) Video search server and video search method
US20070168376A1 (en) Method of automatically including context related links
JPH09252454A (en) Image recording and reproducing device
JPH07143426A (en) Electronic still camera
JPH08147952A (en) Recording and reproducing device
JP2005086265A (en) Mobile terminal, image data file management system, and image data file management method
JP6394729B2 (en) Information processing apparatus, music data extraction method in information processing apparatus, program, and information processing system
CN101202865B (en) Data transfer apparatus, image capturing apparatus, and data transfer system
JP4521669B2 (en) Video editing support system
JP4102933B2 (en) Captured image management apparatus, captured image management method, and captured image management program