JP2002259973A - Method and device for extracting feature area, and method and device for providing information - Google Patents
Method and device for extracting feature area, and method and device for providing informationInfo
- Publication number
- JP2002259973A JP2002259973A JP2001053034A JP2001053034A JP2002259973A JP 2002259973 A JP2002259973 A JP 2002259973A JP 2001053034 A JP2001053034 A JP 2001053034A JP 2001053034 A JP2001053034 A JP 2001053034A JP 2002259973 A JP2002259973 A JP 2002259973A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- region
- advertisement
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、特徴領域抽出方法
およびその装置ならびに情報提供方法およびその装置に
関し、より詳細には、特定の画像の画像特徴量を算出す
るための特徴領域を求める特徴領域抽出方法およびその
装置、ならびに、移動機から送られた画像情報に関連す
る情報を画像特徴量から選択して提供する情報提供方法
およびその装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and an apparatus for extracting a characteristic region and a method and an apparatus for providing information, and more particularly, to a characteristic region for obtaining a characteristic region for calculating an image characteristic amount of a specific image. The present invention relates to an extraction method and an apparatus therefor, and an information providing method and an apparatus for selecting and providing information related to image information sent from a mobile device from image feature amounts.
【０００２】[0002]
【従来の技術】近年、移動端末を使用してインターネッ
トに接続し、外出先で様々な情報を、ＷＷＷ（World Wi
de Web）などの情報提供システムから入手することがで
きる。一方、ＧＰＳ（Global Positioning System）を
利用して、位置情報を取得することのできる機器が普及
している。そこで、移動端末から情報提供システムに対
して、移動端末の位置情報を通知することにより、位置
情報に関連付けられた情報を迅速に入手することができ
る。2. Description of the Related Art In recent years, a mobile terminal has been used to connect to the Internet, and various information can be stored on the go.
de Web) and other information providing systems. On the other hand, devices that can acquire position information using a GPS (Global Positioning System) have become widespread. Then, by notifying the information providing system of the position information of the mobile terminal from the mobile terminal, information associated with the position information can be quickly obtained.
【０００３】また、ＣＣＤ（Charge Coupled Device）
カメラの普及により、移動端末のような小型の機器に
も、画像情報を取りこみ、記憶することが可能となっ
た。さらに、デジタル画像処理によって、取りこんだ画
像を画像データとして、通信ネットワークを介して送る
ことが容易に行える。Further, a CCD (Charge Coupled Device)
With the spread of cameras, it has become possible to capture and store image information even in small devices such as mobile terminals. Further, by digital image processing, the captured image can be easily transmitted as image data via a communication network.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、移動端
末の位置情報に関連付けられた情報を入手することがで
きても、ユーザが必要とする目標の情報、例えば、移動
端末の位置から見える店舗の情報などの限定された情報
を入手するには、さらに、情報の選定または目標の設定
といった操作が必要であるという問題があった。However, even if the information associated with the location information of the mobile terminal can be obtained, the target information required by the user, for example, the information of the store seen from the location of the mobile terminal In order to obtain limited information such as the above, there is a problem that an operation such as selecting information or setting a target is required.
【０００５】特に、目標の設定においては、具体的な店
舗の名称が不明で、抽象的な施設名称、例えば広告物な
どによって特定する場合には、情報の関連付けが難し
い。移動機から送られた画像情報の中から特定の画像を
抽出するのみでは、情報を選択することが難しいという
問題もあった。[0005] In particular, in setting a target, it is difficult to associate information when a specific store name is unknown and an abstract facility name, for example, an advertisement is specified. There is also a problem that it is difficult to select information only by extracting a specific image from the image information sent from the mobile device.
【０００６】本発明は、このような問題に鑑みてなされ
たもので、その目的とするところは、特定の画像の画像
特徴量を算出するための特徴領域を求める特徴領域抽出
方法およびその装置、ならびに、移動機から送られた画
像情報に関連する情報を画像特徴量から選択して提供す
る情報提供方法およびその装置を提供することにある。The present invention has been made in view of such a problem, and an object of the present invention is to provide a method and an apparatus for extracting a characteristic region for calculating a characteristic region for calculating an image characteristic amount of a specific image. Another object of the present invention is to provide an information providing method and an information providing method for selecting and providing information related to image information transmitted from a mobile device from image feature amounts.
【０００７】[0007]
【課題を解決するための手段】本発明は、このような目
的を達成するために、請求項１に記載の発明は、画像情
報の中から特定画像を抽出して、画像特徴量を算出する
ための特徴領域を求める特徴領域抽出方法において、前
記特定画像の領域を平滑化して雑音を除去し、かつ各画
素値の濃度を正規化した正規化画像を得るステップと、
前記正規化画像を均等知覚空間に写像してクラスタリン
グを行い領域分割画像を得るステップと、前記領域分割
画像全体の中から前記特定画像の領域の中心付近が属す
るクラスを選択するステップと、前記領域分割画像の各
領域についてラベリングを行うステップと、ラベリング
された前記各領域について、前記特定画像の領域面積比
により微小領域を削除し、かつ前記特定画像の領域の周
辺領域を削除して有効領域を抽出するステップと、前記
有効領域を含む最小外接凸多角形を求めることにより、
前記特徴領域を求めるステップとを備えることを特徴と
する。In order to achieve the above object, according to the present invention, a specific image is extracted from image information and an image feature amount is calculated. A feature region extracting method for determining a feature region for removing a noise by smoothing the region of the specific image, and obtaining a normalized image in which the density of each pixel value is normalized;
Mapping the normalized image to the uniform perception space to perform clustering to obtain a region-divided image; selecting a class to which the vicinity of the center of the region of the specific image belongs from the entire region-divided image; Performing a labeling process for each region of the divided image, and, for each of the labeled regions, deleting a minute region according to a region area ratio of the specific image, and deleting a peripheral region of the specific image region to form an effective region. Extracting, and obtaining a minimum circumscribed convex polygon including the effective area,
Obtaining the characteristic region.
【０００８】請求項２に記載の発明は、請求項１におい
て、移動端末のズーム機能を用いて切り出された特定画
像から、前記特徴領域を求めることを特徴とする。According to a second aspect of the present invention, in the first aspect, the characteristic region is obtained from a specific image cut out using a zoom function of the mobile terminal.
【０００９】請求項３に記載の発明は、請求項１におい
て、移動端末の表示装置において形状を指定することに
より切り出された特定画像から、前記特徴領域を求める
ことを特徴とする。According to a third aspect of the present invention, in the first aspect, the characteristic region is obtained from a specific image cut out by specifying a shape on a display device of the mobile terminal.
【００１０】請求項４に記載の発明は、請求項１におい
て、身体装着型の移動端末の表示装置において、仮想的
な視界の中で切り出された特定画像から、前記特徴領域
を求めることを特徴とする。[0010] According to a fourth aspect of the present invention, in the first aspect, in the display device of the body-mounted mobile terminal, the characteristic region is obtained from a specific image cut out in a virtual field of view. And
【００１１】請求項５に記載の発明は、移動端末から受
信した画像情報の中から広告物を抽出して、該広告物に
関連する提供情報を、情報提供サーバがデータベースか
ら検索して提供する情報提供方法において、前記画像情
報の中から切り出された前記広告物の領域において、画
像特徴量を算出するための広告物特徴領域を求める特徴
領域算出ステップと、該特徴領域算出ステップで求めら
れた前記広告物特徴領域から、前記広告物に関連する提
供情報を検索するための、前記画像特徴量を算出する特
徴量算出ステップと、該特徴量算出ステップで算出され
た前記画像特徴量に基づいて、前記広告物に関連する提
供情報を前記データベースから検索する検索ステップ
と、該検索ステップで検索された前記広告物に関連する
提供情報を、前記移動端末に送信する送信ステップとを
備えることを特徴とする。[0011] According to a fifth aspect of the present invention, an advertisement is extracted from the image information received from the mobile terminal, and the information providing server retrieves the provided information related to the advertisement from the database and provides the provided information. In the information providing method, in a region of the advertisement cut out from the image information, a characteristic region calculation step of obtaining an advertisement characteristic region for calculating an image characteristic amount, and the characteristic region calculation step is performed. From the advertisement feature region, a feature amount calculation step of calculating the image feature amount for searching for provided information related to the advertisement, and based on the image feature amount calculated in the feature amount calculation step A search step of searching the database for provided information related to the advertisement, and providing the provided information related to the advertisement searched for in the search step. Characterized in that it comprises a transmission step of transmitting to the terminal.
【００１２】請求項６に記載の発明は、請求項５に記載
の前記広告物の領域は、前記移動端末のズーム機能を用
いて切り出されたことを特徴とする。The invention according to claim 6 is characterized in that the area of the advertisement described in claim 5 is cut out using a zoom function of the mobile terminal.
【００１３】請求項７に記載の発明は、請求項５に記載
の前記広告物の領域は、前記移動端末の表示装置におい
て形状を指定することにより切り出されたことを特徴と
する。[0013] The invention according to claim 7 is characterized in that the area of the advertisement described in claim 5 is cut out by designating a shape on a display device of the mobile terminal.
【００１４】請求項８に記載の発明は、請求項５に記載
の前記広告物の領域は、身体装着型の前記移動端末の表
示装置において、仮想的な視界の中で切り出されたこと
を特徴とする。According to an eighth aspect of the present invention, the area of the advertising matter according to the fifth aspect is cut out in a virtual field of view on a display device of the body-mounted mobile terminal. And
【００１５】請求項９に記載の発明は、請求項５ないし
８のいずれかに記載の前記特徴領域算出ステップは、前
記広告物の領域を平滑化して雑音を除去し、かつ各画素
値の濃度を正規化した正規化画像を得るステップと、前
記正規化画像を均等知覚空間に写像してクラスタリング
を行い領域分割画像を得るステップと、前記領域分割画
像全体の中から前記広告物の領域の中心付近が属するク
ラスを選択するステップと、前記領域分割画像の各領域
についてラベリングを行うステップと、ラベリングされ
た前記各領域について、前記広告物の領域面積比により
微小領域を削除し、かつ前記広告物の領域の周辺領域を
削除して有効領域を抽出するステップと、前記有効領域
を含む最小外接凸多角形を求めることにより、前記広告
物特徴領域を求めるステップとを含むことを特徴とす
る。According to a ninth aspect of the present invention, in the characteristic region calculating step according to any one of the fifth to eighth aspects, the area of the advertisement is smoothed to remove noise, and the density of each pixel value is reduced. Obtaining a normalized image obtained by normalizing the image, and step of mapping the normalized image to a uniform perceptual space to perform clustering to obtain a region-divided image. Selecting a class to which a neighborhood belongs; performing a labeling for each region of the region-divided image; removing, for each of the labeled regions, a minute region according to a region area ratio of the advertisement; Extracting the effective area by deleting the peripheral area of the area of the area; and obtaining the advertising object characteristic area by obtaining a minimum circumscribed convex polygon including the effective area. Characterized in that it comprises a step.
【００１６】請求項１０に記載の発明は、請求項５ない
し９のいずれかに記載の前記検索ステップは、前記画像
特徴量に基づいて、前記データベースの各特徴空間にお
いて、予め定めた評価関数の小さな提供情報を検索する
ことを特徴とする。According to a tenth aspect of the present invention, the search step according to any one of the fifth to ninth aspects comprises the step of: searching for a predetermined evaluation function in each feature space of the database based on the image feature amount. It is characterized by searching for small provided information.
【００１７】請求項１１に記載の発明は、請求項１ない
し１０のいずれかに記載の前記画像特徴量は、色に関す
る高彩色領域比と色相平均値と、外形に関する領域アス
ペクト比のいずれかであることを特徴とする。According to an eleventh aspect of the present invention, the image feature quantity according to any one of the first to tenth aspects is characterized in that the image feature amount is one of a high chromatic area ratio and a hue average value relating to a color, and a region aspect ratio relating to an outer shape. There is a feature.
【００１８】請求項１２に記載の発明は、画像情報の中
から特定画像を抽出して、画像特徴量を算出するための
特徴領域を求める特徴領域抽出装置において、前記特定
画像の領域を平滑化して雑音を除去し、かつ各画素値の
濃度を正規化した正規化画像を得る手段と、前記正規化
画像を均等知覚空間に写像してクラスタリングを行い領
域分割画像を得る手段と、前記領域分割画像全体の中か
ら前記特定画像の領域の中心付近が属するクラスを選択
する手段と、前記領域分割画像の各領域についてラベリ
ングを行う手段と、ラベリングされた前記各領域につい
て、前記特定画像の領域面積比により微小領域を削除
し、かつ前記特定画像の領域の周辺領域を削除して有効
領域を抽出する手段と、前記有効領域を含む最小外接凸
多角形を求めることにより、前記特徴領域を求める手段
とを備えたことを特徴とする。According to a twelfth aspect of the present invention, in a characteristic region extracting apparatus for extracting a specific image from image information and calculating a characteristic region for calculating an image characteristic amount, the region of the specific image is smoothed. Means for obtaining a normalized image in which noise is removed and the density of each pixel value is normalized, means for mapping the normalized image to a uniform perceptual space and performing clustering to obtain an area-divided image, and Means for selecting a class to which the vicinity of the center of the area of the specific image belongs from among the entire image; means for labeling each area of the area divided image; and area area of the specific image for each of the labeled areas. Means for extracting a minute area according to a ratio and removing an area surrounding the area of the specific image to extract an effective area; and finding a minimum circumscribed convex polygon including the effective area. More, characterized by comprising a means for determining the characteristic region.
【００１９】請求項１３に記載の発明は、請求項１２に
おいて、移動端末のズーム機能を用いて切り出された特
定画像から、前記特徴領域を求めることを特徴とする。According to a thirteenth aspect of the present invention, in the twelfth aspect, the characteristic region is obtained from a specific image cut out using a zoom function of the mobile terminal.
【００２０】請求項１４に記載の発明は、請求項１２に
おいて、移動端末の表示装置において形状を指定するこ
とにより切り出された特定画像から、前記特徴領域を求
めることを特徴とする。According to a fourteenth aspect of the present invention, in the twelfth aspect, the characteristic region is obtained from a specific image cut out by specifying a shape on a display device of the mobile terminal.
【００２１】請求項１５に記載の発明は、請求項１２に
おいて、身体装着型の移動端末の表示装置において、仮
想的な視界の中で切り出された特定画像から、前記特徴
領域を求めることを特徴とする。According to a fifteenth aspect, in the twelfth aspect, in the display device of the body-worn mobile terminal, the characteristic region is obtained from a specific image cut out in a virtual field of view. And
【００２２】請求項１６に記載の発明は、移動端末から
受信した画像情報の中から広告物を抽出して、該広告物
に関連する提供情報を、データベースから検索して提供
する情報提供装置において、前記画像情報の中から切り
出された前記広告物の領域において、画像特徴量を算出
するための広告物特徴領域を求める特徴領域算出手段
と、該特徴領域算出手段で求められた前記広告物特徴領
域から、前記広告物に関連する提供情報を検索するため
の、前記画像特徴量を算出する特徴量算出手段と、該特
徴量算出手段で算出された前記画像特徴量に基づいて、
前記広告物に関連する提供情報を前記データベースから
検索する検索手段と、該検索手段で検索された前記広告
物に関連する提供情報を、前記移動端末に送信する送信
手段とを備えたことを特徴とする。An invention according to claim 16 is an information providing apparatus for extracting an advertisement from image information received from a mobile terminal, and searching for and providing provided information related to the advertisement from a database. A feature area calculation unit that calculates an advertisement feature area for calculating an image feature amount in an area of the advertisement cut out from the image information; and the advertisement feature obtained by the feature area calculation unit. From the region, for searching for the provision information related to the advertising matter, a feature amount calculation unit that calculates the image feature amount, and based on the image feature amount calculated by the feature amount calculation unit,
A search unit for searching the database for provided information related to the advertisement, and a transmission unit for transmitting the provided information related to the advertisement searched for by the search unit to the mobile terminal. And
【００２３】請求項１７に記載の発明は、請求項１６に
記載の前記広告物の領域は、前記移動端末のズーム機能
を用いて切り出されたことを特徴とする。The invention according to claim 17 is characterized in that the area of the advertisement described in claim 16 is cut out by using a zoom function of the mobile terminal.
【００２４】請求項１８に記載の発明は、請求項１６に
記載の前記広告物の領域は、前記移動端末の表示装置に
おいて形状を指定することにより切り出されたことを特
徴とする。The invention according to claim 18 is characterized in that the area of the advertisement described in claim 16 is cut out by specifying a shape on a display device of the mobile terminal.
【００２５】請求項１９に記載の発明は、請求項１６に
記載の前記広告物の領域は、身体装着型の前記移動端末
の表示装置において、仮想的な視界の中で切り出された
ことを特徴とする。According to a nineteenth aspect of the present invention, the area of the advertising matter according to the sixteenth aspect is cut out in a virtual field of view on the display device of the body-mounted mobile terminal. And
【００２６】請求項２０に記載の発明は、請求項１６な
いし１９のいずれかに記載の前記特徴領域算出手段は、
前記広告物の領域を平滑化して雑音を除去し、かつ各画
素値の濃度を正規化した正規化画像を得る手段と、前記
正規化画像を均等知覚空間に写像してクラスタリングを
行い領域分割画像を得る手段と、前記領域分割画像全体
の中から前記広告物の領域の中心付近が属するクラスを
選択する手段と、前記領域分割画像の各領域についてラ
ベリングを行う手段と、ラベリングされた前記各領域に
ついて、前記広告物の領域面積比により微小領域を削除
し、かつ前記広告物の領域の周辺領域を削除して有効領
域を抽出する手段と、前記有効領域を含む最小外接凸多
角形を求めることにより、前記広告物特徴領域を求める
手段とを含むことを特徴とする。According to a twentieth aspect of the present invention, the characteristic region calculating means according to any one of the sixteenth to nineteenth aspects comprises:
Means for smoothing the area of the advertising matter to remove noise, and obtaining a normalized image in which the density of each pixel value is normalized; and mapping the normalized image to a uniform perceptual space and performing clustering to obtain a divided area image. Means for selecting a class to which the vicinity of the center of the area of the advertising object belongs from the whole area-divided image, means for labeling each area of the area-divided image, and each of the labeled areas Means for extracting a minute area according to the area ratio of the advertising matter, and removing an area around the area of the advertising matter to extract an effective area; and finding a minimum circumscribed convex polygon including the effective area. Means for obtaining the advertisement feature region.
【００２７】請求項２１に記載の発明は、請求項１６な
いし２０のいずれかに記載の前記検索手段は、前記画像
特徴量に基づいて、前記データベースの各特徴空間にお
いて、予め定めた評価関数が所定の値より小さい提供情
報を検索することを特徴とする。According to a twenty-first aspect of the present invention, the retrieval means according to any one of the sixteenth to twentieth aspects is characterized in that a predetermined evaluation function is set in each feature space of the database based on the image feature amount. It is characterized in that provided information smaller than a predetermined value is searched.
【００２８】請求項２２に記載の発明は、請求項１６な
いし２１のいずれかに記載の前記送信手段は、前記移動
端末から受信した位置情報に基づいて、前記広告物に関
連する提供情報を、前記移動端末に近い位置情報を有す
る前記提供情報から順番に並び替えて送信することを特
徴とする。[0028] According to a twenty-second aspect of the present invention, the transmitting means according to any one of the sixteenth to twenty-first aspects further comprises: providing, based on the position information received from the mobile terminal, providing information related to the advertisement. The transmission information is rearranged in order from the provided information having position information close to the mobile terminal and transmitted.
【００２９】請求項２３に記載の発明は、請求項１６な
いし２２のいずれかにおいて、前記移動端末から受信し
た前記画像情報を、前記画像特徴量とともに、前記デー
タベースに格納する格納手段を備えたことを特徴とす
る。According to a twenty-third aspect of the present invention, in any one of the sixteenth to twenty-second aspects, there is provided storage means for storing the image information received from the mobile terminal together with the image feature amount in the database. It is characterized by.
【００３０】請求項２４に記載の発明は、請求項１２な
いし２３のいずれかに記載の前記画像特徴量は、色に関
する高彩色領域比と色相平均値と、外形に関する領域ア
スペクト比のいずれかであることを特徴とする。According to a twenty-fourth aspect of the present invention, the image feature quantity according to any one of the twelfth to twenty-third aspects is characterized in that the image characteristic amount is one of a high chromatic area ratio and a hue average value relating to a color, and a region aspect ratio relating to an outer shape. There is a feature.
【００３１】請求項２５に記載の発明は、画像情報の中
から特定画像を抽出して、画像特徴量を算出するための
特徴領域を求める特徴領域抽出装置を制御するプログラ
ムを記録した記録媒体であって、前記特定画像の領域を
平滑化して雑音を除去し、かつ各画素値の濃度を正規化
した正規化画像を得るステップと、前記正規化画像を均
等知覚空間に写像してクラスタリングを行い領域分割画
像を得るステップと、前記領域分割画像全体の中から前
記特定画像の領域の中心付近が属するクラスを選択する
ステップと、前記領域分割画像の各領域についてラベリ
ングを行うステップと、ラベリングされた前記各領域に
ついて、前記特定画像の領域面積比により微小領域を削
除し、かつ前記特定画像の領域の周辺領域を削除して有
効領域を抽出するステップと、前記有効領域を含む最小
外接凸多角形を求めることにより、前記特徴領域を求め
るステップとをコンピュータに実行させるためのプログ
ラムを記録したコンピュータ読み取り可能な記録媒体で
あることを特徴とする。According to a twenty-fifth aspect of the present invention, there is provided a recording medium storing a program for controlling a characteristic region extracting apparatus for extracting a specific image from image information and calculating a characteristic region for calculating an image characteristic amount. There is a step of smoothing the area of the specific image to remove noise, and obtaining a normalized image in which the density of each pixel value is normalized, and performing clustering by mapping the normalized image to a uniform perception space. Obtaining a region-divided image; selecting a class to which the vicinity of the center of the region of the specific image belongs from the entire region-divided image; performing labeling for each region of the region-divided image; For each of the regions, a minute region is deleted according to a region area ratio of the specific image, and an effective region is extracted by deleting a peripheral region of the region of the specific image. And step by obtaining the minimum circumscribed convex polygon containing the effective area, characterized in that it is a computer-readable recording medium recording a program for executing the steps of obtaining the feature region on the computer.
【００３２】請求項２６に記載の発明は、移動端末から
受信した画像情報の中から広告物を抽出して、該広告物
に関連する提供情報を、データベースから検索して提供
する情報提供装置を制御するプログラムを記録した記録
媒体であって、前記画像情報の中から切り出された前記
広告物の領域において、画像特徴量を算出するための広
告物特徴領域を求める特徴領域算出ステップと、該特徴
領域算出ステップで求められた前記広告物特徴領域か
ら、前記広告物に関連する提供情報を検索するための、
前記画像特徴量を算出する特徴量算出ステップと、該特
徴量算出ステップで算出された前記画像特徴量に基づい
て、前記広告物に関連する提供情報を前記データベース
から検索する検索ステップと、該検索ステップで検索さ
れた前記広告物に関連する提供情報を、前記移動端末に
送信する送信ステップとをコンピュータに実行させるた
めのプログラムを記録したコンピュータ読み取り可能な
記録媒体であることを特徴とする。According to a twenty-sixth aspect of the present invention, there is provided an information providing apparatus for extracting an advertisement from image information received from a mobile terminal, and searching for and providing information related to the advertisement from a database. A recording medium storing a program to be controlled, wherein, in an area of the advertisement cut out from the image information, a feature area calculating step of obtaining an advertisement feature area for calculating an image feature amount; From the advertisement feature region determined in the region calculation step, to search for provided information related to the advertisement,
A feature amount calculating step of calculating the image feature amount; a search step of searching the database for providing information related to the advertisement based on the image feature amount calculated in the feature amount calculating step; A transmitting step of transmitting, to the mobile terminal, the provided information related to the advertisement searched for in the step, a computer-readable recording medium storing a program for causing a computer to execute the transmitting step.
【００３３】請求項２７に記載の発明は、画像情報の中
から特定画像を抽出して、画像特徴量を算出するための
特徴領域を求める特徴領域抽出装置を制御するプログラ
ムであって、前記特定画像の領域を平滑化して雑音を除
去し、かつ各画素値の濃度を正規化した正規化画像を得
るステップと、前記正規化画像を均等知覚空間に写像し
てクラスタリングを行い領域分割画像を得るステップ
と、前記領域分割画像全体の中から前記特定画像の領域
の中心付近が属するクラスを選択するステップと、前記
領域分割画像の各領域についてラベリングを行うステッ
プと、ラベリングされた前記各領域について、前記特定
画像の領域面積比により微小領域を削除し、かつ前記特
定画像の領域の周辺領域を削除して有効領域を抽出する
ステップと、前記有効領域を含む最小外接凸多角形を求
めることにより、前記特徴領域を求めるステップとをコ
ンピュータに実行させるためのプログラムであることを
特徴とする。The invention according to claim 27 is a program for controlling a characteristic region extracting apparatus for extracting a specific image from image information and obtaining a characteristic region for calculating an image characteristic amount. Obtaining a normalized image in which the image area is smoothed to remove noise and the density of each pixel value is normalized; and the normalized image is mapped to a uniform perceptual space to perform clustering to obtain a region divided image. Step, selecting a class to which the vicinity of the center of the area of the specific image belongs from the entire area divided image, performing a labeling for each area of the area divided image, and for each of the labeled areas, Removing a minute area based on the area ratio of the specific image, and deleting an effective area by deleting a peripheral area of the area of the specific image; By obtaining the minimum circumscribed convex polygon containing region, characterized in that it is a program for executing the steps of obtaining the feature region on the computer.
【００３４】請求項２８に記載の発明は、移動端末から
受信した画像情報の中から広告物を抽出して、該広告物
に関連する提供情報を、データベースから検索して提供
する情報提供装置プログラムであって、前記画像情報の
中から切り出された前記広告物の領域において、画像特
徴量を算出するための広告物特徴領域を求める特徴領域
算出ステップと、該特徴領域算出ステップで求められた
前記広告物特徴領域から、前記広告物に関連する提供情
報を検索するための、前記画像特徴量を算出する特徴量
算出ステップと、該特徴量算出ステップで算出された前
記画像特徴量に基づいて、前記広告物に関連する提供情
報を前記データベースから検索する検索ステップと、該
検索ステップで検索された前記広告物に関連する提供情
報を、前記移動端末に送信する送信ステップとをコンピ
ュータに実行させるためのプログラムであることを特徴
とする。According to a twenty-eighth aspect of the present invention, there is provided an information providing apparatus program for extracting an advertisement from image information received from a mobile terminal, and retrieving and providing provided information related to the advertisement from a database. In the area of the advertising matter cut out from the image information, a feature area calculating step of calculating an advertising matter feature area for calculating an image feature amount, and the feature area calculated in the feature area calculating step From the advertisement feature region, for searching for provided information related to the advertisement, a feature amount calculation step of calculating the image feature amount, and based on the image feature amount calculated in the feature amount calculation step, A search step of searching the database for provided information related to the advertisement, and providing the provided information related to the advertisement searched for in the search step to the mobile terminal; Characterized in that it is a program for executing a transmission step of transmitting to the computer.
【００３５】[0035]
【発明の実施の形態】以下、図面を参照しながら本発明
の実施形態について詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００３６】図１は、本発明の一実施形態にかかる情報
提供システムの構成を示したブロック図である。情報提
供システムは、移動機２０と処理センタ３０とを接続す
る無線通信網１０と、処理センタ３０と無線通信網１０
とを接続するデータ中継装置１１とから構成されてい
る。無線通信網１０は、例えば、ＰＤＣ（Personal Dig
ital Cellular）網、無線パケット交換網またはIMT-200
0（International Mobile Telecommunication - 2000）
などの呼称で知られる通信網である。FIG. 1 is a block diagram showing a configuration of an information providing system according to an embodiment of the present invention. The information providing system includes a wireless communication network 10 for connecting the mobile device 20 and the processing center 30,
And a data relay device 11 for connecting the The wireless communication network 10 is, for example, a PDC (Personal Dig).
ital Cellular) network, wireless packet switching network or IMT-200
0 (International Mobile Telecommunication-2000)
It is a communication network known by such a name.
【００３７】移動機２０は、無線通信網１０と接続さ
れ、無線リンクの確立を行う無線通信部２９と、画像な
どのデータの送受信を行うためのデータ送受信部２１
が、無線通信部２９に接続されている。データ送受信部
２１には、画像を送信するための撮像部２４および画像
変換部２３と、受信した画像を表示する表示部２８とが
接続されている。さらに、位置情報を取得する測位部２
５が、データ送受信部２１と無線通信部２９とに接続さ
れている。The mobile unit 20 is connected to the wireless communication network 10 and establishes a wireless link, and a data transmitting and receiving unit 21 for transmitting and receiving data such as images.
Are connected to the wireless communication unit 29. The data transmission / reception unit 21 is connected to an imaging unit 24 and an image conversion unit 23 for transmitting an image, and a display unit 28 for displaying the received image. Further, a positioning unit 2 for acquiring position information
5 is connected to the data transmitting / receiving unit 21 and the wireless communication unit 29.
【００３８】本実施形態では、移動機２０の内部に撮像
部２４を有するが、移動機２０と撮像部２４とを別の筐
体とし、撮像部２４として移動機２０の画像変換部２３
と通信可能なカメラを用いた構成としてもよい。In the present embodiment, the imaging unit 24 is provided inside the mobile unit 20. However, the mobile unit 20 and the imaging unit 24 are provided in separate housings, and the image conversion unit 23 of the mobile unit 20 is used as the imaging unit 24.
It may be configured to use a camera that can communicate with the camera.
【００３９】このような構成により、撮像部２４で撮影
された画像は、画像変換部２３で伝送に適したフォーマ
ットに変換される。変換された画像データは、データ送
受信部２１と、無線通信部２９と、データ中継装置１１
とを介して処理センタ３０に送られる。With such a configuration, the image photographed by the imaging unit 24 is converted by the image conversion unit 23 into a format suitable for transmission. The converted image data is transmitted to the data transmitting / receiving unit 21, the wireless communication unit 29, and the data relay device 11
And sent to the processing center 30 via
【００４０】一方、処理センタ３０は、データ中継装置
１１を介して無線通信網１０と接続され、画像などのデ
ータの送受信を行うためのデータ送受信部３１を有して
いる。また、受信した画像データの変換を行う画像変換
部３３と、変換された画像から広告物データの照合を行
う広告物データ照合部３５と、受信したデータから、広
告物データの検索を行う広告物データ検索部３４とを有
している。On the other hand, the processing center 30 is connected to the wireless communication network 10 via the data relay device 11, and has a data transmitting / receiving unit 31 for transmitting and receiving data such as images. Also, an image conversion unit 33 that converts the received image data, an advertisement object data matching unit 35 that compares the advertisement object data from the converted image, and an advertisement object that searches for the advertisement object data from the received data. A data search unit 34.
【００４１】また、処理センタ３０は、広告物データが
格納された広告物データベース３６と、広告物データベ
ース３６に広告物を登録する広告物データ登録部３７と
を備えている。The processing center 30 includes an advertisement database 36 in which advertisement data is stored, and an advertisement data registration unit 37 for registering advertisements in the advertisement database 36.
【００４２】このような構成により、移動機２０で取得
された画像データは、無線通信網１０とデータ中継装置
１１とを介して、データ送受信部３１により受信し、画
像変換部３３で元のフォーマットに変換される。変換さ
れた画像データは、広告物データ照合部３５において、
広告物データ検索部３４で検索された広告物データと照
合される。With such a configuration, the image data acquired by the mobile device 20 is received by the data transmission / reception unit 31 via the wireless communication network 10 and the data relay device 11, and the original format is transmitted by the image conversion unit 33. Is converted to The converted image data is sent to the
The advertisement data is searched for by the advertisement data search unit 34.
【００４３】また、移動機２０によって取得された測位
データを、データ送受信部３１により受信する。広告物
データ検索部３４は、測位データに基づいて、広告物デ
ータベース３６から移動機２０の位置に近辺の広告物デ
ータを検索する。移動機２０より、目標データが入力さ
れている場合には、目標データに基づいて、広告物デー
タベース３６を検索する。The positioning data acquired by the mobile device 20 is received by the data transmission / reception unit 31. The advertisement data search unit 34 searches for advertisement data near the position of the mobile device 20 from the advertisement database 36 based on the positioning data. When target data is input from the mobile device 20, the advertisement database 36 is searched based on the target data.
【００４４】さらに、広告物データ登録部３７は、移動
機２０によって撮影された画像を、無線通信網１０を介
して、広告物データベース３６に格納することもでき
る。このようにして、ユーザから提供される画像データ
を登録し、さらにユーザから入力される文字や音声の情
報を付加情報として活用することもできる。Further, the advertisement data registering section 37 can store the image photographed by the mobile device 20 in the advertisement data database 36 via the wireless communication network 10. In this way, image data provided by the user can be registered, and character and voice information input by the user can be used as additional information.
【００４５】広告物データベース３６には、画像データ
のほか位置情報と付加情報とを格納する。位置情報は、
画像データを取得した位置を、ＧＰＳなどで測位したデ
ータや住所として、広告物データベース３６に入力され
る。付加情報は、利用者のほか広告主などが提供する情
報である。The advertisement database 36 stores position information and additional information in addition to image data. Location information is
The position at which the image data is obtained is input to the advertisement database 36 as data or an address measured by GPS or the like. The additional information is information provided by a user, an advertiser, and the like.
【００４６】ここで、広告物とは、常時または一定の期
間継続し、かつ、公衆に表示されるものである。本発明
における広告は、宣伝以外の目的で掲示されている標識
や名称表示も含めて考えることができる。Here, the advertising material is one that is displayed constantly or continuously for a certain period and displayed to the public. The advertisement in the present invention can be considered to include a sign or a name displayed for a purpose other than the advertisement.
【００４７】図２は、本発明の一実施形態にかかる情報
提供方法を示したフローチャートである。ユーザが移動
機の位置と撮影した広告物から情報を得る場合について
説明する。最初に、移動機２０は、測位部２５で測位処
理を行って位置情報を得て（Ｓ２１）、処理センタ３０
へ送信する（Ｓ２６）。測位処理は、例えば、ＧＰＳを
利用する方法、IMT-2000において基地局から送信される
時刻コードを利用する方法、または、ＰＨＳ（Personal
Handy-phone System）における位置情報サービスを利
用する方法などを利用することができる。FIG. 2 is a flowchart showing an information providing method according to an embodiment of the present invention. A case where the user obtains information from the position of the mobile device and the photographed advertisement is described. First, the mobile device 20 obtains position information by performing positioning processing in the positioning unit 25 (S21), and the processing center 30
(S26). The positioning process may be performed by using, for example, a method using GPS, a method using a time code transmitted from a base station in IMT-2000, or a PHS (Personal).
A method using a location information service in the Handy-phone System) can be used.
【００４８】また、移動機２０は、撮像部２４で撮影さ
れた（Ｓ２２）画像を、画像変換部２３で伝送に適した
フォーマットに変換し（Ｓ２３）、処理センタ３０へ送
信する（Ｓ２６）。画像は、動画であっても静止画であ
ってもよく、例えば、ＪＰＥＧ（Joint Photographic E
xperts Group）やＭＰＥＧ（Moving Picture ExpertsGr
oup）などのデジタル画像圧縮技術を利用して変換され
る。なお、測位と画像取込みの順序は問わず、移動機２
０により実行される。Further, the mobile device 20 converts the image photographed by the imaging unit 24 (S22) into a format suitable for transmission by the image conversion unit 23 (S23), and transmits it to the processing center 30 (S26). The image may be a moving image or a still image. For example, JPEG (Joint Photographic E
xperts Group) or MPEG (Moving Picture Experts Gr)
oup) and other digital image compression techniques. Note that, regardless of the order of positioning and image capturing, the mobile device 2
Performed by 0.
【００４９】処理センタ３０は、移動機２０から画像デ
ータを受信すると（Ｓ２７）、画像変換部３３で元のフ
ォーマットに変換する（Ｓ２８）。移動機２０から測位
データを受信すると（Ｓ２７）、広告物データ検索部３
４における広告物の検索に用いられる。When the processing center 30 receives the image data from the mobile device 20 (S27), the image data is converted into the original format by the image conversion unit 33 (S28). Upon receiving the positioning data from the mobile device 20 (S27), the advertisement data search unit 3
4 is used to search for advertisements.
【００５０】処理センタ３０は、測位データを用いるこ
とにより、広告物データベース３６から、移動機２０付
近の、ユーザが求める情報や目標に沿う広告物を検索す
る（Ｓ２９）。処理センタ３０は、検索された広告物
と、ユーザが撮影した画像データとを照合する（Ｓ３
３）。Using the positioning data, the processing center 30 searches the advertisement database 36 for advertisement information in the vicinity of the mobile device 20 that meets the information and goals desired by the user (S29). The processing center 30 collates the searched advertisement with the image data captured by the user (S3).
3).
【００５１】最初に、移動機２０の撮像部２４で撮影さ
れた画像から、広告物の領域を切り出す方法について説
明する。First, a method of cutting out the area of the advertisement from the image captured by the imaging unit 24 of the mobile device 20 will be described.
【００５２】図３は、本発明の一実施形態にかかる対象
判別方法におけるズームによる広告物の指定方法を示し
た図である。図３（ａ）は、ユーザ３０１が移動機３０
２のファインダにおいて、検索対象となる広告物３０３
を捉える様子を示している。図３（ｂ）は、ファインダ
３０４上で広告物３０３の画像の中心を捉えながら、ズ
ームの比率を変化させている様子を示している。ズーム
は、例えば、カメラのレンズを駆動させて、焦点距離を
変化させることによる光学ズームや、画像処理のスケー
リング処理によるデジタルズームなどのいずれを用いて
もよい。また、ユーザ３０１自身が検索対象となる広告
物３０３に対して遠近方向に移動してもよい。FIG. 3 is a diagram showing a method of designating an advertisement by zooming in the object identification method according to one embodiment of the present invention. FIG. 3A shows that the user 301 is
In the finder 2, the advertisement 303 to be searched
It shows how to capture. FIG. 3B illustrates a state in which the zoom ratio is changed while capturing the center of the image of the advertisement 303 on the finder 304. As the zoom, for example, any of an optical zoom by driving a lens of a camera to change a focal length and a digital zoom by scaling processing of image processing may be used. Further, the user 301 may move in the distance direction with respect to the advertisement 303 to be searched.
【００５３】ユーザ３０１が、移動機３０２のファイン
ダ３０４のフレーム一杯に、目標となる広告物を収める
ようにして、広告物を含む領域を切り出す。移動機のフ
ァインダ３０４は、光学的に実現されていたり、ディス
プレイ画面であっても良い。The user 301 cuts out the area including the advertisement so that the target advertisement is contained in the entire frame of the finder 304 of the mobile device 302. The finder 304 of the mobile device may be realized optically or may be a display screen.
【００５４】図４は、本発明の一実施形態にかかる対象
判別方法における形状指定による広告物の指定方法を示
した図である。検索対象となる広告物を含む領域を数点
指示することにより、広告物を含むおよその領域を切り
出す。FIG. 4 is a diagram showing a method of designating an advertisement by designating a shape in the object identification method according to one embodiment of the present invention. By designating several areas including the advertisement to be searched, an approximate area including the advertisement is cut out.
【００５５】図４（ａ）は、四辺形の形状で切り出す方
法を示している。このとき、カーソル４０１をファイン
ダ３０４の中央に位置したまま、フレームを移動させて
いるが、カーソル４０１を移動させてもよい。本実施形
態では、フレームの左上と右下を指示することにより、
広告物の領域を切り出している。FIG. 4A shows a method of cutting out in a quadrilateral shape. At this time, the frame is moved while the cursor 401 is located at the center of the finder 304. However, the cursor 401 may be moved. In the present embodiment, by instructing the upper left and lower right of the frame,
The area of the advertising material is cut out.
【００５６】図４（ｂ）は、円形の形状で切り出す方法
を示している。このとき、フレームをファインダ３０４
の中央に位置したまま、カーソル４０１を移動させてい
るが、フレームを移動させてもよい。本実施形態では、
フレームの中心と半径を指示することにより、広告物の
領域を切り出している。FIG. 4B shows a method of cutting out a circular shape. At this time, the frame is placed in the viewfinder 304.
Although the cursor 401 is moved while being positioned at the center of the frame, the frame may be moved. In this embodiment,
By specifying the center and radius of the frame, the area of the advertisement is cut out.
【００５７】図５は、ＨＭＤを使用した移動機における
広告物の指定方法を示した図である。ＨＭＤ（Head Mou
nted Display）など、ユーザ３０１の身体に装着する形
態の移動機を使用して、仮想的な視界の中で広告物を指
定する方法について述べる。図５（ａ）は、ユーザ３０
１がＨＭＤ５０１を使用した移動機により、検索対象と
なる広告物３０３を捉える様子を示している。図５
（ｂ）は、ＨＭＤ５０１の中の仮想的な視界の中で、ユ
ーザ３０１が仮想的なカッター５０３を操作して広告物
３０３を切り出す方法を示している。また、実空間上
で、ユーザ３０１が小型のレーザポインタ５０２を操作
して、広告物を輪郭を囲む軌跡を描くことによって、切
り出す方法を適用することもできる。FIG. 5 is a diagram showing a method of designating an advertisement in a mobile device using an HMD. HMD (Head Mou
A method of designating an advertisement in a virtual field of view using a mobile device worn on the body of the user 301, such as an nted display, will be described. FIG. 5 (a) shows the user 30
1 illustrates a state in which a mobile device using the HMD 501 captures an advertisement 303 to be searched. FIG.
(B) shows a method in which the user 301 operates the virtual cutter 503 to cut out the advertisement 303 in a virtual field of view in the HMD 501. In addition, a method in which the user 301 operates the small laser pointer 502 in the real space to draw a locus surrounding the outline of the advertisement and cut out the advertisement may be applied.
【００５８】図５（ｃ）は、ユーザ３０１が広告物３０
３の領域内の数点を、仮想的なブラシ５０４で指示する
ことにより、塗り絵を行うように切り出す方法を示して
いる。このとき、塗り絵の基となる輪郭画像は、画像の
領域分割処理やエッジ抽出処理によって作成することが
できる。FIG. 5 (c) shows that the user 301
A method is shown in which several points in the area No. 3 are cut out so as to perform coloring by designating them with a virtual brush 504. At this time, the contour image serving as the basis for the coloring can be created by image region division processing and edge extraction processing.
【００５９】このようにして、切り出す広告物の領域
は、１つのみならず複数であっても良く、広告物以外の
特定の画像であっても構わない。また、ユーザが実地で
行う例を示したが、遠隔地のコンピュータ上で行っても
構わない。In this manner, the area of the advertisement to be cut out is not limited to one, but may be a plurality of areas, and may be a specific image other than the advertisement. In addition, although the example in which the user performs the operation on the field has been described, the operation may be performed on a remote computer.
【００６０】次に、上述した方法によって切り出した広
告物の領域から、後述する画像特徴量を算出するための
広告物特徴領域を求める方法について順次説明する。な
お、この方法により、任意の画像情報から特定画像を抽
出して、画像特徴量を算出するための特徴領域を求める
ことができることは言うまでもない。Next, a method of obtaining an advertisement feature region for calculating an image feature amount described later from the advertisement material region cut out by the above-described method will be sequentially described. It is needless to say that this method can extract a specific image from arbitrary image information and determine a characteristic region for calculating an image characteristic amount.
【００６１】（１）雑音除去および濃度正規化 適当なパラメータのガウシアンフィルタを用いて画像を
平滑化し、画像の各画素値の濃度を正規化する。(1) Noise Removal and Density Normalization The image is smoothed using a Gaussian filter having appropriate parameters, and the density of each pixel value of the image is normalized.
【００６２】（２）均等知覚空間におけるクラスタリン
グ 撮像部から得られるＲＧＢ信号を、人間の色知覚が均等
な修正マンセル色空間（以下、ＨＶＣ空間という。）に
写像する。その後、ＨＶＣ空間をクラスタリングして領
域分割画像を得る。クラスタリングの手法は、既知のfu
zzy c-meansクラスタリング法またはk-meansクラスタリ
ング法を用いることができる。(2) Clustering in Uniform Perception Space The RGB signals obtained from the imaging unit are mapped to a modified Munsell color space (hereinafter, referred to as HVC space) in which human color perception is uniform. After that, the HVC space is clustered to obtain a region divided image. The clustering method uses a known fu
The zzy c-means clustering method or the k-means clustering method can be used.
【００６３】（３）画像中心付近が属するクラスの選択 適当なパラメータCx,Cy（１以上の整数）で、W は画像
の横サイズ、H は画像の縦サイズとすると、 W(1-1/Cx)/2 ≦ x ≦ W(1+1/Cx)/2 H(1-1/Cy)/2 ≦ y ≦ H(1+1/Cy)/2 を満たす (x,y) の画像領域は、画像の縦横をCx,Cyで各
々等分割したサイズを有する中心部分の領域に当たる
が、これに含まれるクラスを、画像全体の中から選択す
る。画像中心領域およびそれ以外の領域でも、同じクラ
スに属する領域が選択される。(3) Selection of a class to which the vicinity of the center of the image belongs With appropriate parameters Cx and Cy (an integer of 1 or more), W is the horizontal size of the image, and H is the vertical size of the image. (X, y) image area that satisfies (Cx) / 2 ≤ x ≤ W (1 + 1 / Cx) / 2 H (1-1 / Cy) / 2 ≤ y ≤ H (1 + 1 / Cy) / 2 Corresponds to an area of a central portion having a size obtained by equally dividing the vertical and horizontal directions of the image by Cx and Cy, and selects a class included therein from the entire image. In the image center area and other areas, areas belonging to the same class are selected.
【００６４】（４）空間的ラベリング処理 画像全体の各々の領域についてラベルを振る。(4) Spatial Labeling Processing Labels are assigned to each area of the entire image.
【００６５】（５）領域面積比による画像周辺および微
小領域の削除 ラベリングされた各領域において、画像全面積からみ
て、画像が非常に微小な領域を除去する。適当なパラメ
ータbx,by（１以上の整数）で、W は画像の横サイズ、H
は画像の縦サイズとすると、 0 ≦ x ＜ W/bx or W(1-1/bx) ＜ x ＜ W 0 ≦ y ＜ H/by or H(1-1/by) ＜ x ＜ H を満たす (x,y) の画像領域は、画像の縦横をbx,byで各
々等分割した周辺部分の領域に当たるが、これを含む領
域を削除する。(5) Deletion of Image Periphery and Small Region Based on Region Area Ratio In each of the labeled regions, a region where the image is very small in view of the entire image area is removed. W is the horizontal size of the image, H is an appropriate parameter bx, by (an integer of 1 or more)
Satisfies 0 ≦ x <W / bx or W (1-1 / bx) <x <W0 ≦ y <H / by or H (1-1 / by) <x <H The (x, y) image area corresponds to a peripheral area obtained by equally dividing the vertical and horizontal directions of the image by bx and by, and the area including this is deleted.
【００６６】（６）外接多角形計算による単一領域抽出 残った全ての領域を含む最小外接凸多角形を求める。こ
れは、２次元凸包問題で解くことが可能である。(6) Extraction of a single region by circumscribed polygon calculation A minimum circumscribed convex polygon including all remaining regions is obtained. This can be solved by a two-dimensional convex hull problem.
【００６７】次に、自動的に切り出した広告物特徴領域
から、画像特徴量を算出するための処理について説明す
る。処理センタ３０の広告物データベース３６には、取
得した画像データとともに、上述した画像特徴量を求め
た結果も合わせて格納されている。Next, a process for calculating an image feature amount from an automatically extracted advertisement feature region will be described. The advertising matter database 36 of the processing center 30 stores the obtained image data as well as the result of obtaining the above-mentioned image feature amount.
【００６８】（１）色に関する画像特徴量 色に関する画像特徴量は、高彩色領域比と色相平均値と
がある。ＨＶＣ空間において、色みの量を明度と彩度の
積で定義し、色みの量が適当なしきい値を超えた領域を
高彩色領域とする。すなわち、明度または彩度が高く、
色相の値が十分な意味をなす領域を示す。高彩色領域
が、すべての単一領域内に占める比率を高彩色領域比と
する。また、色相平均値は、単一領域内すべての高彩色
領域における色相の平均値である。(1) Image Feature Amount for Color The image feature amount for color includes a high chromatic area ratio and a hue average value. In the HVC space, the amount of tint is defined by the product of lightness and chroma, and a region where the amount of tint exceeds an appropriate threshold is defined as a high color region. That is, the brightness or saturation is high,
Indicates an area where the hue value is sufficient. The ratio of the high chromatic area in all the single areas is defined as the high chromatic area ratio. The hue average value is the average value of the hues in all the high chromatic regions in the single region.
【００６９】図６は、撮影位置ごとにプロットされた高
彩色領域比と色相平均値の分布の例を示した図である。
撮影位置は、Ｌ１からＬ５の５箇所であり、各撮影位置
での画像の色に関する画像特徴量の分布を表している。
ｒ軸を高彩色領域比とし、θ軸を色相平均値として、英
小文字で示した各画像ごとにプロットしている。Ａｌｌ
は、５箇所の画像特徴量を重畳した結果を示している。FIG. 6 is a diagram showing an example of the distribution of the high chromatic area ratio and the average hue value plotted for each photographing position.
There are five shooting positions L1 to L5, and the distribution of the image feature amount related to the color of the image at each shooting position is shown.
The plot is plotted for each image shown in lowercase letters, with the r-axis as the high chromatic area ratio and the θ-axis as the hue average. All
Shows the result of superimposing five image feature values.
【００７０】各円グラフの左下の数値は、特徴空間にお
ける各標本点で最近接点までの平均距離を表している。
各撮影位置における特徴量分布が全体よりも広がりを有
していることが分かり、判別率の向上が見込まれる。The numerical value at the lower left of each pie graph represents the average distance to the closest point at each sample point in the feature space.
It can be seen that the feature amount distribution at each shooting position is wider than the whole, and an improvement in the discrimination rate is expected.
【００７１】（２）外形に関する画像特徴量 外形に関する画像特徴量は、領域アスペクト比がある。
外接凸多角形に外接する最小の外接四辺形を求める。簡
易な方法として、最小外接凸多角形の輪郭で、座標値
(x,y) から最大値と最小値とを求めることで、外接四辺
形を求めることもできる。求められた外接四辺形におい
て、領域アスペクト比（ＡＲ）は、 ＡＲ＝(横幅)２／(面積) で表される。(2) Image feature amount related to outer shape The image feature amount related to the outer shape has an area aspect ratio.
Find the smallest circumscribed quadrilateral circumscribing the circumscribed convex polygon. As a simple method, the coordinates of the minimum circumscribed convex polygon
By finding the maximum value and the minimum value from (x, y), a circumscribed quadrilateral can also be obtained. In the obtained circumscribed quadrilateral, the area aspect ratio (AR) is represented by AR = (width) 2 / (area).
【００７２】図７は、撮影位置ごとにプロットされた領
域アスペクト比の分布の例を示した図である。撮影位置
は、Ｌ１からＬ５の５箇所であり、各撮影位置での領域
アスペクト比の分布を表している。横軸を領域アスペク
ト比として、英小文字で示した各画像ごとにプロットし
ている。Ａｌｌは、５箇所の領域アスペクト比を重畳し
た結果を示している。FIG. 7 is a diagram showing an example of the distribution of the area aspect ratio plotted for each photographing position. There are five shooting positions, L1 to L5, which represent the distribution of the area aspect ratio at each shooting position. The horizontal axis represents the area aspect ratio and is plotted for each image shown in lowercase English. All shows the result of superimposing the five region aspect ratios.
【００７３】特徴空間において、任意の画像間の距離が
最も小さな最近接点同士における距離を最近接点距離と
いう。図６に示した特徴量を用いて、最近接点距離の平
均を求めた場合には、平均値以下であった画像であって
も、図７に示した特徴量を用いて、最近接点距離の平均
を求めた場合には、平均値以上の場合があり、色情報だ
けでは判別が難しい場合でも、外形情報では判別できる
場合がある。In the feature space, the distance between the closest points where the distance between arbitrary images is the smallest is called the closest point distance. In the case where the average of the closest contact distance is obtained using the feature amount shown in FIG. 6, even if the image is smaller than the average value, the image of the closest contact distance is obtained using the feature amount shown in FIG. When the average is obtained, the average may be equal to or more than the average value. Even when it is difficult to determine only by the color information, the external information may be able to determine the average.
【００７４】次に、図２に示したフローチャートにおけ
る取得画像と広告物データとの照合（Ｓ３３）について
説明する。Next, the comparison (S33) between the acquired image and the advertisement data in the flowchart shown in FIG. 2 will be described.
【００７５】処理センタ３０では、取得した画像につい
ても、上述した方法で画像特徴量を求める。広告物デー
タベース３６の各特徴空間において、取得画像の画像特
徴量から広告物データベース３６に登録された画像デー
タの特徴点までの距離を、Dfi とする。ここで、1 ≦ f
≦ N で、N は特徴空間の数であり、1 ≦ i ≦ Fnで、
Fn は特徴空間 f における登録画像の数とする。このと
き、評価関数The processing center 30 obtains the image feature amount of the acquired image by the above-described method. In each feature space of the advertisement database 36, the distance from the image feature amount of the acquired image to the feature point of the image data registered in the advertisement database 36 is Dfi. Where 1 ≤ f
≦ N, where N is the number of feature spaces, 1 ≦ i ≦ Fn,
Fn is the number of registered images in the feature space f. At this time, the evaluation function
【００７６】[0076]
【数１】 (Equation 1)
【００７７】の小さな画像データが類似広告物として移
動機２０の表示部２８に提示される。または、The small image data is presented on the display unit 28 of the mobile device 20 as a similar advertisement. Or
【００７８】[0078]
【数２】 (Equation 2)
【００７９】のように、全ての特徴空間において、近隣
の特徴点を有する画像を類似広告物として扱うことも考
えられる。As described above, in all feature spaces, it is conceivable to treat images having neighboring feature points as similar advertisements.
【００８０】図８は、本発明の一実施形態にかかる情報
提供システムの利用方法を説明するための図である。ユ
ーザが街角の情景を撮影することによって得られる画像
データと、広告物データベース３６に格納された情報と
を照合して、その情景に含まれる広告物を検出し、検出
した広告に関する情報を広告物データベース３６から移
動機２０に送信する。移動機２０の表示部２８に表示さ
れている画像データには、検出した広告に関する情報が
重畳して表示され、ユーザは、容易に店舗や場所の情報
を確認することができる。FIG. 8 is a diagram for explaining a method of using the information providing system according to one embodiment of the present invention. The image data obtained by photographing the scene of the street corner is compared with the information stored in the advertisement database 36 to detect the advertisement included in the scene, and the information on the detected advertisement is converted to the advertisement. The data is transmitted from the database 36 to the mobile device 20. Information related to the detected advertisement is superimposed and displayed on the image data displayed on the display unit 28 of the mobile device 20, so that the user can easily check the information on the store and the location.
【００８１】[0081]
【発明の効果】以上説明したように、本発明によれば、
移動機から送られた画像情報に関連する情報を画像特徴
量から選択して提供することにより、ユーザが必要とす
る目標の情報を容易に得ることが可能となる。As described above, according to the present invention,
By selecting and providing information related to the image information sent from the mobile device from the image feature amount, it is possible to easily obtain target information required by the user.
【図１】本発明の一実施形態にかかる情報提供システム
の構成を示したブロック図である。FIG. 1 is a block diagram showing a configuration of an information providing system according to an embodiment of the present invention.
【図２】本発明の一実施形態にかかる情報提供方法を示
したフローチャートである。FIG. 2 is a flowchart illustrating an information providing method according to an embodiment of the present invention.
【図３】本発明の一実施形態にかかる対象判別方法にお
けるズームによる広告物の指定方法を示した図である。FIG. 3 is a diagram showing a method of designating an advertisement by zooming in the object determination method according to one embodiment of the present invention;
【図４】本発明の一実施形態にかかる対象判別方法にお
ける形状指定による広告物の指定方法を示した図であ
る。FIG. 4 is a diagram showing a method of designating an advertisement by shape designation in the object identification method according to one embodiment of the present invention;
【図５】ＨＭＤを使用した移動機における広告物の指定
方法を示した図である。FIG. 5 is a diagram illustrating a method of designating an advertisement in a mobile device using an HMD.
【図６】撮影位置ごとにプロットされた高彩色領域比と
色相平均値の分布の例を示した図である。FIG. 6 is a diagram illustrating an example of a distribution of a high chromatic area ratio and a hue average value plotted for each photographing position.
【図７】撮影位置ごとにプロットされた領域アスペクト
比の分布の例を示した図である。FIG. 7 is a diagram illustrating an example of a distribution of an area aspect ratio plotted for each photographing position.
【図８】本発明の一実施形態にかかる情報提供システム
の利用方法を説明するための図である。FIG. 8 is a diagram illustrating a method of using the information providing system according to the embodiment of the present invention.
１０ 無線通信網 １１ データ中継装置 ２０，３０２ 移動機 ２１，３１ データ送受信部 ２２ 音声送信部 ２３，３３ 画像変換部 ２４ 撮像部 ２５ 測位部 ２８ 表示部 ２９ 無線通信部 ３０ 処理センタ ３４ 広告物データ検索部 ３５ 広告物データ照合部 ３６ 広告物データベース ３７ 広告物データ登録部 ３０１ ユーザ ３０３ 広告物 ３０４ ファインダ ４０１ カーソル ５０１ ＨＭＤ（Head Mounted Display） ５０２ レーザポインタ ５０３ 仮想的なカッター ５０４ 仮想的なブラシ Reference Signs List 10 wireless communication network 11 data relay device 20, 302 mobile device 21, 31 data transmission / reception unit 22 voice transmission unit 23, 33 image conversion unit 24 imaging unit 25 positioning unit 28 display unit 29 wireless communication unit 30 processing center 34 advertising object data search Unit 35 advertising object data collating unit 36 advertising object database 37 advertising object data registering unit 301 user 303 advertising object 304 finder 401 cursor 501 HMD (Head Mounted Display) 502 laser pointer 503 virtual cutter 504 virtual brush
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 17/60 ５０２ Ｇ０６Ｆ 17/60 ５０２ Ｇ０６Ｔ 1/00 ２８０ Ｇ０６Ｔ 1/00 ２８０ 7/60 １１０ 7/60 １１０ Ｆターム(参考） 5B057 BA02 CA01 CA12 CA16 CE02 CE05 CE09 CE16 DA11 DB02 DB06 DC14 DC25 5B075 ND08 NK06 NK37 PP03 PP10 PQ02 PQ05 PQ32 5L096 AA02 CA02 EA06 EA12 FA18 GA34 GA40 GA41 MA07 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06F 17/60 502 G06F 17/60 502 G06T 1/00 280 G06T 1/00 280 7/60 110 7/60 110 F term (reference) 5B057 BA02 CA01 CA12 CA16 CE02 CE05 CE09 CE16 DA11 DB02 DB06 DC14 DC25 5B075 ND08 NK06 NK37 PP03 PP10 PQ02 PQ05 PQ32 5L096 AA02 CA02 EA06 EA12 FA18 GA34 GA40 GA41 MA07
Claims (28)
画像特徴量を算出するための特徴領域を求める特徴領域
抽出方法において、 前記特定画像の領域を平滑化して雑音を除去し、かつ各
画素値の濃度を正規化した正規化画像を得るステップ
と、 前記正規化画像を均等知覚空間に写像してクラスタリン
グを行い領域分割画像を得るステップと、 前記領域分割画像全体の中から前記特定画像の領域の中
心付近が属するクラスを選択するステップと、 前記領域分割画像の各領域についてラベリングを行うス
テップと、 ラベリングされた前記各領域について、前記特定画像の
領域面積比により微小領域を削除し、かつ前記特定画像
の領域の周辺領域を削除して有効領域を抽出するステッ
プと、 前記有効領域を含む最小外接凸多角形を求めることによ
り、前記特徴領域を求めるステップとを備えることを特
徴とする特徴領域抽出方法。1. Extracting a specific image from image information,
In a feature region extraction method for obtaining a feature region for calculating an image feature amount, a step of smoothing a region of the specific image to remove noise, and obtaining a normalized image in which the density of each pixel value is normalized, Mapping the normalized image to the uniform perception space and performing clustering to obtain a region-divided image; selecting a class to which the vicinity of the center of the region of the specific image belongs from among the entire region-divided images; Performing labeling for each area of the divided image, and for each of the labeled areas, deleting a minute area according to an area area ratio of the specific image, and deleting a peripheral area of the area of the specific image to form an effective area. Extracting, and obtaining the characteristic region by obtaining a minimum circumscribed convex polygon including the effective region. Feature region extraction method characterized.
れた特定画像から、前記特徴領域を求めることを特徴と
する請求項１に記載の特徴領域抽出方法。2. The characteristic region extracting method according to claim 1, wherein the characteristic region is obtained from a specific image cut out using a zoom function of the mobile terminal.
することにより切り出された特定画像から、前記特徴領
域を求めることを特徴とする請求項１に記載の特徴領域
抽出方法。3. The characteristic region extracting method according to claim 1, wherein the characteristic region is obtained from a specific image cut out by specifying a shape on a display device of the mobile terminal.
て、仮想的な視界の中で切り出された特定画像から、前
記特徴領域を求めることを特徴とする請求項１に記載の
特徴領域抽出方法。4. The characteristic region extracting method according to claim 1, wherein the characteristic region is obtained from a specific image cut out in a virtual field of view on the display device of the body-mounted mobile terminal. .
広告物を抽出して、該広告物に関連する提供情報を、情
報提供サーバがデータベースから検索して提供する情報
提供方法において、 前記画像情報の中から切り出された前記広告物の領域に
おいて、画像特徴量を算出するための広告物特徴領域を
求める特徴領域算出ステップと、 該特徴領域算出ステップで求められた前記広告物特徴領
域から、前記広告物に関連する提供情報を検索するため
の、前記画像特徴量を算出する特徴量算出ステップと、 該特徴量算出ステップで算出された前記画像特徴量に基
づいて、前記広告物に関連する提供情報を前記データベ
ースから検索する検索ステップと、 該検索ステップで検索された前記広告物に関連する提供
情報を、前記移動端末に送信する送信ステップとを備え
ることを特徴とする情報提供方法。5. An information providing method in which an advertisement is extracted from image information received from a mobile terminal, and information providing server retrieves and provides provided information related to the advertisement from a database. In the area of the advertisement cut out from the information, a feature area calculation step of obtaining an advertisement feature area for calculating an image feature amount, from the advertisement feature area obtained in the feature area calculation step, A feature amount calculating step of calculating the image feature amount for searching for the provided information related to the advertisement, and a feature amount related to the advertisement based on the image feature amount calculated in the feature amount calculating step. A search step of searching for provided information from the database; and transmitting the provided information related to the advertisement searched for in the search step to the mobile terminal. Information providing method characterized by comprising the steps.
ーム機能を用いて切り出されたことを特徴とする請求項
５に記載の情報提供方法。6. The information providing method according to claim 5, wherein the area of the advertisement is cut out using a zoom function of the mobile terminal.
示装置において形状を指定することにより切り出された
ことを特徴とする請求項５に記載の情報提供方法。7. The information providing method according to claim 5, wherein the area of the advertisement is cut out by specifying a shape on a display device of the mobile terminal.
移動端末の表示装置において、仮想的な視界の中で切り
出されたことを特徴とする請求項５に記載の情報提供方
法。8. The information providing method according to claim 5, wherein the area of the advertisement is cut out in a virtual field of view on a display device of the body-mounted mobile terminal.
素値の濃度を正規化した正規化画像を得るステップと、 前記正規化画像を均等知覚空間に写像してクラスタリン
グを行い領域分割画像を得るステップと、 前記領域分割画像全体の中から前記広告物の領域の中心
付近が属するクラスを選択するステップと、 前記領域分割画像の各領域についてラベリングを行うス
テップと、 ラベリングされた前記各領域について、前記広告物の領
域面積比により微小領域を削除し、かつ前記広告物の領
域の周辺領域を削除して有効領域を抽出するステップ
と、 前記有効領域を含む最小外接凸多角形を求めることによ
り、前記広告物特徴領域を求めるステップとを含むこと
を特徴とする請求項５ないし８のいずれかに記載の情報
提供方法。9. The feature area calculating step includes: smoothing the area of the advertising matter to remove noise, and obtaining a normalized image in which the density of each pixel value is normalized, and equalizing the normalized image. Obtaining a region-divided image by performing clustering by mapping onto the perceptual space; selecting a class to which the vicinity of the center of the region of the advertising object belongs from the entire region-divided image; and for each region of the region-divided image. Performing labeling, for each of the labeled areas, deleting a minute area according to the area ratio of the advertisement, and extracting an effective area by deleting a peripheral area of the area of the advertisement, Obtaining the advertisement feature region by obtaining a minimum circumscribed convex polygon including an effective area. Information provision method described in somewhere.
に基づいて、前記データベースの各特徴空間において、
予め定めた評価関数の小さな提供情報を検索することを
特徴とする請求項５ないし９のいずれかに記載の情報提
供方法。10. The search step includes: in each feature space of the database, based on the image feature amount,
The information providing method according to any one of claims 5 to 9, wherein information provided with a small evaluation function is retrieved.
領域比と色相平均値と、外形に関する領域アスペクト比
のいずれかであることを特徴とする請求項１ないし１０
のいずれかに記載の情報提供方法。11. The image feature value according to claim 1, wherein the image characteristic amount is one of a high chromatic area ratio, a hue average value, and an area aspect ratio of an outer shape.
Information provision method according to any of the above.
て、画像特徴量を算出するための特徴領域を求める特徴
領域抽出装置において、 前記特定画像の領域を平滑化して雑音を除去し、かつ各
画素値の濃度を正規化した正規化画像を得る手段と、 前記正規化画像を均等知覚空間に写像してクラスタリン
グを行い領域分割画像を得る手段と、 前記領域分割画像全体の中から前記特定画像の領域の中
心付近が属するクラスを選択する手段と、 前記領域分割画像の各領域についてラベリングを行う手
段と、 ラベリングされた前記各領域について、前記特定画像の
領域面積比により微小領域を削除し、かつ前記特定画像
の領域の周辺領域を削除して有効領域を抽出する手段
と、 前記有効領域を含む最小外接凸多角形を求めることによ
り、前記特徴領域を求める手段とを備えたことを特徴と
する特徴領域抽出装置。12. A feature region extracting apparatus for extracting a specific image from image information and calculating a feature region for calculating an image feature amount, wherein the specific image region is smoothed to remove noise, and Means for obtaining a normalized image in which the density of each pixel value is normalized; means for mapping the normalized image to a uniform perceptual space to perform clustering to obtain a region-divided image; Means for selecting a class to which the vicinity of the center of the region of the image belongs; means for labeling each region of the region-divided image; and for each of the labeled regions, removing a minute region by a region area ratio of the specific image. Means for extracting an effective area by deleting a peripheral area of the area of the specific image; and obtaining a minimum circumscribed convex polygon including the effective area, thereby obtaining the characteristic area. And a means for obtaining a characteristic region.
された特定画像から、前記特徴領域を求めることを特徴
とする請求項１２に記載の特徴領域抽出装置。13. The characteristic region extracting apparatus according to claim 12, wherein the characteristic region is obtained from a specific image cut out using a zoom function of the mobile terminal.
定することにより切り出された特定画像から、前記特徴
領域を求めることを特徴とする請求項１２に記載の特徴
領域抽出装置。14. The characteristic region extracting apparatus according to claim 12, wherein the characteristic region is obtained from a specific image cut out by specifying a shape on a display device of the mobile terminal.
いて、仮想的な視界の中で切り出された特定画像から、
前記特徴領域を求めることを特徴とする請求項１２に記
載の特徴領域抽出装置。15. A display device of a body-worn mobile terminal, comprising: a specific image cut out in a virtual field of view;
13. The characteristic region extracting apparatus according to claim 12, wherein the characteristic region is obtained.
ら広告物を抽出して、該広告物に関連する提供情報を、
データベースから検索して提供する情報提供装置におい
て、 前記画像情報の中から切り出された前記広告物の領域に
おいて、画像特徴量を算出するための広告物特徴領域を
求める特徴領域算出手段と、 該特徴領域算出手段で求められた前記広告物特徴領域か
ら、前記広告物に関連する提供情報を検索するための、
前記画像特徴量を算出する特徴量算出手段と、該特徴量
算出手段で算出された前記画像特徴量に基づいて、前記
広告物に関連する提供情報を前記データベースから検索
する検索手段と、 該検索手段で検索された前記広告物に関連する提供情報
を、前記移動端末に送信する送信手段とを備えたことを
特徴とする情報提供装置。16. An advertisement is extracted from image information received from a mobile terminal, and provided information related to the advertisement is
In an information providing apparatus that searches and provides from a database, in a region of the advertisement cut out from the image information, a characteristic region calculation unit that calculates an advertisement characteristic region for calculating an image characteristic amount; From the advertisement feature region obtained by the area calculation means, to search for provided information related to the advertisement,
A feature amount calculating unit that calculates the image feature amount; a search unit that searches the database for providing information related to the advertisement based on the image feature amount calculated by the feature amount calculating unit; Transmitting means for transmitting, to the mobile terminal, provided information relating to the advertisement retrieved by the means.
ズーム機能を用いて切り出されたことを特徴とする請求
項１６に記載の情報提供装置。17. The information providing apparatus according to claim 16, wherein the area of the advertisement is cut out using a zoom function of the mobile terminal.
表示装置において形状を指定することにより切り出され
たことを特徴とする請求項１６に記載の情報提供装置。18. The information providing apparatus according to claim 16, wherein the area of the advertisement is cut out by specifying a shape on a display device of the mobile terminal.
記移動端末の表示装置において、仮想的な視界の中で切
り出されたことを特徴とする請求項１６に記載の情報提
供装置。19. The information providing apparatus according to claim 16, wherein the area of the advertisement is cut out in a virtual field of view on a display device of the body-mounted mobile terminal.
素値の濃度を正規化した正規化画像を得る手段と、 前記正規化画像を均等知覚空間に写像してクラスタリン
グを行い領域分割画像を得る手段と、 前記領域分割画像全体の中から前記広告物の領域の中心
付近が属するクラスを選択する手段と、 前記領域分割画像の各領域についてラベリングを行う手
段と、 ラベリングされた前記各領域について、前記広告物の領
域面積比により微小領域を削除し、かつ前記広告物の領
域の周辺領域を削除して有効領域を抽出する手段と、 前記有効領域を含む最小外接凸多角形を求めることによ
り、前記広告物特徴領域を求める手段とを含むことを特
徴とする請求項１６ないし１９のいずれかに記載の情報
提供装置。20. The characteristic region calculation unit includes: a unit that smoothes an area of the advertising matter to remove noise, and obtains a normalized image in which the density of each pixel value is normalized, and equalizes the normalized image. Means for mapping the image onto the perceptual space to perform clustering to obtain an area-divided image; means for selecting a class to which the vicinity of the center of the area of the advertising object belongs from the entire area-divided image; and for each area of the area-divided image. Means for performing labeling, for each of the labeled areas, means for deleting a minute area according to the area area ratio of the advertisement, and for extracting an effective area by deleting a peripheral area of the area of the advertisement, 20. The information providing apparatus according to claim 16, further comprising: means for obtaining the advertisement feature region by obtaining a minimum circumscribed convex polygon including an effective area. apparatus.
づいて、前記データベースの各特徴空間において、予め
定めた評価関数が所定の値より小さい提供情報を検索す
ることを特徴とする請求項１６ないし２０のいずれかに
記載の情報提供装置。21. A search method according to claim 16, wherein said search means searches for provided information having a predetermined evaluation function smaller than a predetermined value in each feature space of said database based on said image feature amount. 21. The information providing device according to any one of claims 20 to 20.
信した位置情報に基づいて、前記広告物に関連する提供
情報を、前記移動端末に近い位置情報を有する前記提供
情報から順番に並び替えて送信することを特徴とする請
求項１６ないし２１のいずれかに記載の情報提供装置。22. The transmitting means, based on the position information received from the mobile terminal, sorts the provided information related to the advertisement in order from the provided information having the position information close to the mobile terminal. 22. The information providing device according to claim 16, wherein the information is transmitted.
報を、前記画像特徴量とともに、前記データベースに格
納する格納手段を備えたことを特徴とする請求項１６な
いし２２のいずれかに記載の情報提供装置。23. The information providing apparatus according to claim 16, further comprising a storage unit configured to store the image information received from the mobile terminal together with the image feature amount in the database. apparatus.
領域比と色相平均値と、外形に関する領域アスペクト比
のいずれかであることを特徴とする請求項１２ないし２
３のいずれかに記載の情報提供装置。24. The image processing apparatus according to claim 12, wherein the image feature quantity is one of a high chromatic area ratio, a hue average value, and an area aspect ratio of an outer shape.
3. The information providing device according to any one of 3.
て、画像特徴量を算出するための特徴領域を求める特徴
領域抽出装置を制御するプログラムを記録した記録媒体
であって、 前記特定画像の領域を平滑化して雑音を除去し、かつ各
画素値の濃度を正規化した正規化画像を得るステップ
と、 前記正規化画像を均等知覚空間に写像してクラスタリン
グを行い領域分割画像を得るステップと、 前記領域分割画像全体の中から前記特定画像の領域の中
心付近が属するクラスを選択するステップと、 前記領域分割画像の各領域についてラベリングを行うス
テップと、 ラベリングされた前記各領域について、前記特定画像の
領域面積比により微小領域を削除し、かつ前記特定画像
の領域の周辺領域を削除して有効領域を抽出するステッ
プと、 前記有効領域を含む最小外接凸多角形を求めることによ
り、前記特徴領域を求めるステップとをコンピュータに
実行させるためのプログラムを記録したコンピュータ読
み取り可能な記録媒体。25. A recording medium storing a program for controlling a characteristic region extracting apparatus for extracting a specific image from image information and calculating a characteristic region for calculating an image characteristic amount, wherein: Obtaining a normalized image in which the area is smoothed and noise is removed, and the density of each pixel value is normalized; and Selecting a class to which the vicinity of the center of the region of the specific image belongs from the entire region divided image; performing a labeling for each region of the region divided image; and performing the identification for each of the labeled regions. A step of deleting a minute area according to an area ratio of an image, and extracting an effective area by deleting a peripheral area of the area of the specific image; A step of obtaining the characteristic area by obtaining a minimum circumscribed convex polygon including the area.
ら広告物を抽出して、該広告物に関連する提供情報を、
データベースから検索して提供する情報提供装置を制御
するプログラムを記録した記録媒体であって、 前記画像情報の中から切り出された前記広告物の領域に
おいて、画像特徴量を算出するための広告物特徴領域を
求める特徴領域算出ステップと、 該特徴領域算出ステップで求められた前記広告物特徴領
域から、前記広告物に関連する提供情報を検索するため
の、前記画像特徴量を算出する特徴量算出ステップと、 該特徴量算出ステップで算出された前記画像特徴量に基
づいて、前記広告物に関連する提供情報を前記データベ
ースから検索する検索ステップと、 該検索ステップで検索された前記広告物に関連する提供
情報を、前記移動端末に送信する送信ステップとをコン
ピュータに実行させるためのプログラムを記録したコン
ピュータ読み取り可能な記録媒体。An advertisement is extracted from image information received from a mobile terminal, and provided information related to the advertisement is
A recording medium storing a program for controlling an information providing apparatus that searches from a database and provides the information providing apparatus, wherein an advertisement feature for calculating an image feature amount in an area of the advertisement cut out from the image information. A feature region calculating step of obtaining a region; and a feature amount calculating step of calculating the image feature amount for searching for provided information related to the advertisement from the advertisement feature region obtained in the feature region calculation step. A search step of searching the database for provided information related to the advertisement based on the image feature amount calculated in the feature amount calculation step; and a search step related to the advertisement matter searched in the search step. And a transmitting step of transmitting the provided information to the mobile terminal. A removable recording medium.
て、画像特徴量を算出するための特徴領域を求める特徴
領域抽出装置を制御するプログラムであって、 前記特定画像の領域を平滑化して雑音を除去し、かつ各
画素値の濃度を正規化した正規化画像を得るステップ
と、 前記正規化画像を均等知覚空間に写像してクラスタリン
グを行い領域分割画像を得るステップと、 前記領域分割画像全体の中から前記特定画像の領域の中
心付近が属するクラスを選択するステップと、 前記領域分割画像の各領域についてラベリングを行うス
テップと、 ラベリングされた前記各領域について、前記特定画像の
領域面積比により微小領域を削除し、かつ前記特定画像
の領域の周辺領域を削除して有効領域を抽出するステッ
プと、 前記有効領域を含む最小外接凸多角形を求めることによ
り、前記特徴領域を求めるステップとをコンピュータに
実行させるためのプログラム。27. A program for controlling a characteristic region extracting apparatus for extracting a specific image from image information and obtaining a characteristic region for calculating an image characteristic amount, wherein the program includes a step of smoothing the region of the specific image. Removing noise and obtaining a normalized image in which the density of each pixel value is normalized; mapping the normalized image to a uniform perception space to perform clustering to obtain a region-divided image; and Selecting a class to which the vicinity of the center of the region of the specific image belongs from the whole; performing a labeling for each region of the region-divided image; and a region area ratio of the specific image for each of the labeled regions. Extracting a valid area by deleting a minute area and deleting a peripheral area of the area of the specific image, and a minimum circumscribed area including the valid area. Obtaining the characteristic region by obtaining a convex polygon.
ら広告物を抽出して、該広告物に関連する提供情報を、
データベースから検索して提供する情報提供装置プログ
ラムであって、 前記画像情報の中から切り出された前記広告物の領域に
おいて、画像特徴量を算出するための広告物特徴領域を
求める特徴領域算出ステップと、 該特徴領域算出ステップで求められた前記広告物特徴領
域から、前記広告物に関連する提供情報を検索するため
の、前記画像特徴量を算出する特徴量算出ステップと、 該特徴量算出ステップで算出された前記画像特徴量に基
づいて、前記広告物に関連する提供情報を前記データベ
ースから検索する検索ステップと、 該検索ステップで検索された前記広告物に関連する提供
情報を、前記移動端末に送信する送信ステップとをコン
ピュータに実行させるためのプログラム。28. An advertisement extracted from image information received from a mobile terminal, and provided information related to the advertisement is
An information providing device program for searching and providing from a database, in an area of the advertisement cut out from the image information, a feature area calculating step of calculating an advertisement feature area for calculating an image feature amount; A feature amount calculating step of calculating the image feature amount for searching for provided information related to the advertisement from the advertisement feature region obtained in the feature region calculating step; A search step of searching the database for provided information related to the advertisement based on the calculated image feature amount; and providing information related to the advertisement searched for in the search step to the mobile terminal. A program for causing a computer to execute a transmitting step of transmitting.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001053034A JP4077608B2 (en) | 2001-02-27 | 2001-02-27 | Feature region extraction method and apparatus, and information providing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001053034A JP4077608B2 (en) | 2001-02-27 | 2001-02-27 | Feature region extraction method and apparatus, and information providing method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002259973A true JP2002259973A (en) | 2002-09-13 |
| JP4077608B2 JP4077608B2 (en) | 2008-04-16 |
Family
ID=18913565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001053034A Expired - Fee Related JP4077608B2 (en) | 2001-02-27 | 2001-02-27 | Feature region extraction method and apparatus, and information providing method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4077608B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009238249A (en) * | 2009-07-14 | 2009-10-15 | Fujitsu Ltd | Image processing device |
| JP2012038153A (en) * | 2010-08-09 | 2012-02-23 | Nec Magnus Communications Ltd | Surrounding information retrieval device and surrounding information retrieval method |
| JP2013501975A (en) * | 2009-08-07 | 2013-01-17 | グーグル インコーポレイテッド | Architecture for responding to visual queries |
| WO2017208814A1 (en) * | 2016-05-30 | 2017-12-07 | サン電子株式会社 | Terminal apparatus |
-
2001
- 2001-02-27 JP JP2001053034A patent/JP4077608B2/en not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009238249A (en) * | 2009-07-14 | 2009-10-15 | Fujitsu Ltd | Image processing device |
| JP2013501975A (en) * | 2009-08-07 | 2013-01-17 | グーグル インコーポレイテッド | Architecture for responding to visual queries |
| US9135277B2 (en) | 2009-08-07 | 2015-09-15 | Google Inc. | Architecture for responding to a visual query |
| US10534808B2 (en) | 2009-08-07 | 2020-01-14 | Google Llc | Architecture for responding to visual query |
| JP2012038153A (en) * | 2010-08-09 | 2012-02-23 | Nec Magnus Communications Ltd | Surrounding information retrieval device and surrounding information retrieval method |
| WO2017208814A1 (en) * | 2016-05-30 | 2017-12-07 | サン電子株式会社 | Terminal apparatus |
| CN109196552A (en) * | 2016-05-30 | 2019-01-11 | Sun电子株式会社 | Terminal installation |
| US11016296B2 (en) | 2016-05-30 | 2021-05-25 | Suncorporation | Terminal device |
| CN109196552B (en) * | 2016-05-30 | 2022-09-23 | Sun电子株式会社 | Terminal device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4077608B2 (en) | 2008-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4335565B2 (en) | Method and apparatus for detecting and / or tracking one or more color regions in an image or sequence of images | |
| EP4207048A1 (en) | Image processing method and apparatus, electronic device, and storage medium | |
| KR101733512B1 (en) | Virtual experience system based on facial feature and method therefore | |
| US7327890B2 (en) | Imaging method and system for determining an area of importance in an archival image | |
| CN110163810B (en) | Image processing method, device and terminal | |
| JPH1051755A (en) | Screen display controller for video conference terminal equipment | |
| JP2004310475A (en) | Image processor, cellular phone for performing image processing, and image processing program | |
| KR20120083486A (en) | Image processing device, image processing method, image processing program, and recording medium | |
| JP2002216129A (en) | Face area detector, its method and computer readable recording medium | |
| CN109784164B (en) | Foreground identification method and device, electronic equipment and storage medium | |
| JP2007088814A (en) | Imaging apparatus, image recorder and imaging control program | |
| CN110599554A (en) | Method and device for identifying face skin color, storage medium and electronic device | |
| KR101827998B1 (en) | Virtual experience system based on facial feature and method therefore | |
| CN105580050A (en) | Providing control points in images | |
| JP4077608B2 (en) | Feature region extraction method and apparatus, and information providing method and apparatus | |
| CN107295262B (en) | Image processing method, mobile terminal and computer storage medium | |
| CN111881846B (en) | Image processing method, image processing apparatus, image processing device, image processing apparatus, storage medium, and computer program | |
| KR100350789B1 (en) | Method of raw color adjustment and atmosphere color auto extract in a image reference system | |
| CN115835032A (en) | Image processing method and device, electronic equipment and readable storage medium | |
| JP4496005B2 (en) | Image processing method and image processing apparatus | |
| JP2002197103A (en) | Method and system for providing data | |
| CN111241934A (en) | Method and device for acquiring photophobic region in face image | |
| CN110660000A (en) | Data prediction method, device, equipment and computer readable storage medium | |
| JPH10269347A (en) | Method for eliminating shade shadow element on geographic image, geographic image processor and recording medium | |
| JPH09130714A (en) | Image information extracting device and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070814 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071015 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071102 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080201 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |