JP2009048294A - 空間アイテム認識装置及び空間アイテム認識方法 - Google Patents
空間アイテム認識装置及び空間アイテム認識方法 Download PDFInfo
- Publication number
- JP2009048294A JP2009048294A JP2007211817A JP2007211817A JP2009048294A JP 2009048294 A JP2009048294 A JP 2009048294A JP 2007211817 A JP2007211817 A JP 2007211817A JP 2007211817 A JP2007211817 A JP 2007211817A JP 2009048294 A JP2009048294 A JP 2009048294A
- Authority
- JP
- Japan
- Prior art keywords
- item
- image
- spatial
- items
- name
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000011156 evaluation Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】空間アイテム認識装置1は、空間画像の入力を受け付ける空間画像入力部2と、空間画像から部分画像を取得する部分画像取得部3と、部分画像から特徴情報を抽出する特徴情報抽出部4と、画像辞書を用い、特徴情報に基づき前記部分画像に対応するアイテムの候補を取得する候補アイテム取得部5と、アイテム共起度を用いてアイテムの候補からアイテムを決定するアイテム決定部6と、決定されたアイテムとタイトル候補名との相関度に基づきタイトル名を決定するタイトル名決定部7と、決定されたアイテムのアイテム名とタイトル名を出力するタイトル名/アイテム名出力部8と、を備える。
【選択図】図1
Description
また、ユーザの端末画面に3次元の仮想空間の画像を表示し、仮想空間内においてユーザが視点を移動することに応じて、仮想的な視野に入る仮想空間内のオブジェクトを画角や距離感の変化を伴ってユーザの端末画面に表示することにより、ユーザの興味を惹き、仮想空間に臨場感をもたせる試みが、例えばセカンドライフ等のサービスによって行われている(例えば非特許文献1)。
(1)空間画像の入力を受け付ける空間画像入力部と、前記空間画像から部分画像を取得する部分画像取得部と、前記部分画像から特徴情報を抽出する特徴情報抽出部と、画像辞書を用い、前記特徴情報に基づき前記部分画像に対応するアイテムの候補を取得する候補アイテム取得部と、アイテム共起度を用いて前記アイテムの候補からアイテムを決定するアイテム決定部と、前記決定されたアイテムのアイテム名を出力するアイテム名出力部と、を備える空間アイテム認識装置。
(第1の実施形態)
図1は、空間アイテム認識装置1が有する機能部分、当該機能を果たす上で利用するデータベース9〜11、及び空間アイテム認識装置1への入力と出力との関係を示した全体図である。空間アイテム認識装置1は、空間画像情報の入力を受け付ける空間画像入力部2と、空間画像入力部2によって入力を受け付けた画像から部分画像を取得する部分画像取得部3と、部分画像取得部3によって取得された部分画像から特徴情報を抽出する特徴情報抽出部4と、特徴情報抽出部4によって抽出された特徴情報に基づき画像辞書DB9に記録された画像辞書を検索し、当該部分画像に係るアイテム候補名を取得する候補アイテム取得部5と、候補アイテム取得部5により取得されたアイテム候補名について、アイテム共起辞書DB10に記録されたアイテム共起辞書を参照してアイテム名を決定するアイテム決定部6と、アイテム決定部6で決定されたアイテム名に基づきタイトル/アイテム相関辞書DB11に記録されたタイトル/アイテム相関辞書を参照してタイトル名を決定するタイトル名決定部7と、それぞれ決定されたタイトル名とアイテム名を出力するタイトル名/アイテム名出力部8とを備える。なお、空間アイテム認識装置1には、空間画像情報12が画像データとして入力され、タイトル名/アイテム名情報13がテキストデータとして出力される。
図2は、本実施形態に係る空間アイテム認識装置1のハードウェア構成を示す図である。空間アイテム認識装置1は、制御装置30を構成するCPU(Central Processing Unit)31(マルチプロセッサ構成ではCPU32等複数のCPUが追加されてもよい)、バスライン20、通信I/F(I/F:インターフェイス)33、メインメモリ34、BIOS(Basic Input Output System)35、表示装置36、I/Oコントローラ37、並びにキーボード及びマウス等の入力装置38を備える。
図3は、空間画像入力部2が入力を受け付ける画像の一例である。
図5は、候補アイテム取得部5で参照する画像辞書を示す図である。部分画像の特徴情報を記録した検索用タグと、当該特徴情報を有するアイテムのアイテム名やアイテム番号等のコンテンツが対応付けられて記録されている。特徴情報としては、例えば、アイテムの輪郭やアイテムを構成する色数等がある。画像辞書は、画像辞書DB9上に記録されている。
図6は、異なるアイテム間の共起関係を表すアイテム別共起度テーブルであって、アイテム共起辞書の一部を構成する。共起度とは、異なる2つのアイテムが同一の画像の中に出現する比率をいう。
図8は、Web上に存在する画像のタイトルに含まれる名詞と、その画像に出現したアイテムとの相関度を示したタイトル名詞アイテム相関度テーブルである。縦軸は名詞番号、横軸は拡張アイテム番号として、両者の相関度を記載したものである。名詞番号は、名詞テーブル(図9)により、拡張アイテム番号は、拡張アイテム名テーブル(図10)によりそれぞれ定義されている。タイトル名詞アイテム相関度テーブルは、タイトル/アイテム相関辞書DB11上に記録されている。
図9は、名詞とその名詞番号から構成される名詞テーブルである。タイトル名決定部7によってタイトル名を決定する際に参照される。
図15は、図14の候補アイテムテーブルに基づいて、アイテム名を決定する際に使用するアイテム名決定作業用テーブルである。詳しくは、処理フローの中で説明する。
図19及び図20に従って、空間アイテム認識装置1の処理フローについて説明する。特に断らない限り、以下の処理は、空間アイテム認識装置1の制御装置30が行うものとする。まず、空間アイテム認識装置1が、空間画像の入力を受け付ける(S10)。空間画像は静止画であっても動画であってもよい。画像の入力の受け付けは、静止画像の場合は1枚の静止画像、動画像の場合はその動画像を構成する複数枚の静止画像を1単位として行う。
第2の実施形態は、アイテム別共起度テーブル(図6)のアイテム共起度ki_jが、アイテムiが出現したときアイテムjがともに出現する比率であるように作成されているものとする。これにより、ki_jとkj_iは異なるものとなり、より厳密な利用が可能となる。以下、第1の実施形態と異なる部分のみ説明する。
図21は、図12のアイテム名決定作業用テーブルの作成において、共起度の選択が2つのアイテムのどちらを基準として行うかを判断するようにしたものである。つまり、2つのアイテムの共起度を利用するとき、類似度が高いアイテムを基準として共起度を選ぶのである。理由は、類似度が高いアイテムの方が信頼性が高いアイテムであると考えられ、類似の低いアイテムが曖昧なアイテムであるので、決定順序としては、類似度の高いアイテムを基準として類似度の低いアイテムを決めるべきであり、類似度の低いアイテムを基準として類似度の高いアイテムを決めるべきではないからである。
アイテム名決定作業用テーブル(図21)は、類似度についてはアイテム名決定作業用テーブル(図12(a))と同様に作成されるが、共起度については、2つのアイテムのうち類似度の高いアイテムに基づいてアイテム別共起度テーブル(図6)の行を選び、類似度の低いアイテムに基づいて列を選んで定まるアイテム共起度を記入する。
このようにすることで、より信頼度の高いアイテムの決定を行うことができる。
2 空間画像入力部
3 部分画像取得部
4 特徴情報抽出部
5 候補アイテム取得部
6 アイテム決定部
7 タイトル名決定部
8 タイトル名/アイテム名出力部
9 画像辞書DB
10 アイテム共起辞書DB
11 タイトル/アイテム相関辞書DB
12 空間画像情報
13 タイトル名/アイテム名情報
20 バスライン
30 制御装置
31、32 CPU(Central Processing Unit)
33 通信I/F(I/F:インターフェイス)
34 メインメモリ
35 BIOS(Basic Input Output System)
36 表示装置
37 I/Oコントローラ
38 入力装置
39 ハードディスク
40 半導体メモリ
41 記憶装置
Claims (13)
- 空間画像の入力を受け付ける空間画像入力部と、
前記空間画像から部分画像を取得する部分画像取得部と、
前記部分画像から特徴情報を抽出する特徴情報抽出部と、
画像辞書を用い、前記特徴情報に基づき前記部分画像に対応するアイテムの候補を取得する候補アイテム取得部と、
アイテム共起度を用いて前記アイテムの候補からアイテムを決定するアイテム決定部と、
前記決定されたアイテムのアイテム名を出力するアイテム名出力部と、
を備える空間アイテム認識装置。 - 前記空間画像は動画像であり、前記部分画像は、前記動画像を構成する静止画像から取得することを特徴とする請求項1に記載の空間アイテム認識装置。
- 前記アイテム決定部で用いる前記アイテム共起度は、2つの異なるアイテムが同一画像に出現することに係るものであることを特徴とする請求項1から請求項2のいずれかに記載の空間アイテム認識装置。
- 前記アイテム決定部で用いる前記アイテム共起度は、前記アイテムの候補のうち類似度が高いアイテムを基準としたものであることを特徴とする請求項3に記載の空間アイテム認識装置。
- 前記アイテム決定部で用いる前記アイテム共起度は、同一のアイテムが複数個出現することに係るものであることを特徴とする請求項1から請求項2のいずれかに記載の空間アイテム認識装置。
- 前記アイテム決定部は、前記アイテムの候補の類似度と該アイテムの候補の共起度に基づいて決定される評価値に基づいてアイテムを決定することを特徴とする請求項1から請求項5のいずれかに記載の空間アイテム認識装置。
- 前記アイテム決定部は、類似度の高い候補を持つアイテムの順にアイテムの決定を行うことを特徴とする請求項6に記載の空間アイテム認識装置。
- 前記アイテム決定部は、3以上のアイテムについて決定を行う場合、最初に2つのアイテムについて決定を行い、残りのアイテムを、前記決定されたアイテムのうち類似度の高い方を用いて決定される前記評価値に基づいて1つずつ決定することを特徴とする請求項7に記載の空間アイテム認識装置。
- 前記アイテム決定部は、3以上のアイテムについて決定を行う場合、最初に2つのアイテムについて決定を行い、残りのアイテムを、前記決定されたアイテムのうち類似度の高い方を用いて決定される前記評価値と、前記決定されたアイテムのうち類似度の低い方を用いて決定される前記評価値の両方に基づいて1つずつ決定することを特徴とする請求項7に記載の空間アイテム認識装置。
- 前記決定されたアイテムとタイトル候補名との相関度に基づき前記空間画像のタイトル名を決定するタイトル名決定部と、
前記決定されたタイトル名を出力するタイトル名出力部と、
を更に備える請求項1から請求項9のいずれかに記載の空間アイテム認識装置。 - 前記タイトル名決定部は、前記決定されたアイテムが複数ある場合は、該アイテムのそれぞれとタイトル候補名との相関度の積に基づいて前記タイトル名を決定することを特徴とする請求項10に記載の空間アイテム認識装置。
- コンピュータを用いて、空間画像をテキスト情報に変換する方法であって、
空間画像の入力を受け付ける空間画像入力ステップと、
前記空間画像から部分画像を取得する部分画像取得ステップと、
前記部分画像から特徴情報を抽出する特徴情報抽出ステップと、
画像辞書を用い、前記特徴情報に基づき前記部分画像に対応するアイテムの候補を取得する候補アイテム取得ステップと、
アイテム共起度を用いて前記アイテムの候補からアイテムを決定するアイテム決定ステップと、
前記決定されたアイテムのアイテム名を出力するアイテム名出力ステップと、
を含む空間アイテム認識方法。 - 前記決定されたアイテムと、該アイテムとタイトル候補名との相関度に基づき前記空間画像のタイトル名を決定するタイトル名決定ステップと、
前記決定されたタイトル名を出力するタイトル名出力ステップと、
を更に含む請求項12に記載の空間アイテム認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007211817A JP4755632B2 (ja) | 2007-08-15 | 2007-08-15 | アイテム認識装置及びアイテム認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007211817A JP4755632B2 (ja) | 2007-08-15 | 2007-08-15 | アイテム認識装置及びアイテム認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009048294A true JP2009048294A (ja) | 2009-03-05 |
JP4755632B2 JP4755632B2 (ja) | 2011-08-24 |
Family
ID=40500469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007211817A Active JP4755632B2 (ja) | 2007-08-15 | 2007-08-15 | アイテム認識装置及びアイテム認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4755632B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013114596A (ja) * | 2011-11-30 | 2013-06-10 | Kddi Corp | 画像認識装置及び方法 |
JP2013250729A (ja) * | 2012-05-31 | 2013-12-12 | Mitsubishi Electric Corp | 画像処理装置 |
JP2015230715A (ja) * | 2014-06-06 | 2015-12-21 | 株式会社デンソーアイティーラボラトリ | 特徴量演算装置、特徴量演算方法、及び特徴量演算プログラム |
JP2017531240A (ja) * | 2014-08-19 | 2017-10-19 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | データのナレッジグラフバイアス分類 |
WO2023032345A1 (ja) * | 2021-09-02 | 2023-03-09 | 富士フイルム株式会社 | 情報処理装置、方法およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09198407A (ja) * | 1996-01-16 | 1997-07-31 | Nec Corp | 情報提示装置 |
JP2002245048A (ja) * | 2001-02-20 | 2002-08-30 | Mitsubishi Electric Corp | 画像検索方法および画像検索装置 |
JP2004062605A (ja) * | 2002-07-30 | 2004-02-26 | Fuji Photo Film Co Ltd | シーン識別方法および装置ならびにプログラム |
JP2006114053A (ja) * | 2005-10-25 | 2006-04-27 | Hitachi Ltd | 類似画像検索方法および装置 |
JP2007026386A (ja) * | 2005-07-21 | 2007-02-01 | Fuji Xerox Co Ltd | 画像検索システム及び方法 |
JP2007164560A (ja) * | 2005-12-15 | 2007-06-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
-
2007
- 2007-08-15 JP JP2007211817A patent/JP4755632B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09198407A (ja) * | 1996-01-16 | 1997-07-31 | Nec Corp | 情報提示装置 |
JP2002245048A (ja) * | 2001-02-20 | 2002-08-30 | Mitsubishi Electric Corp | 画像検索方法および画像検索装置 |
JP2004062605A (ja) * | 2002-07-30 | 2004-02-26 | Fuji Photo Film Co Ltd | シーン識別方法および装置ならびにプログラム |
JP2007026386A (ja) * | 2005-07-21 | 2007-02-01 | Fuji Xerox Co Ltd | 画像検索システム及び方法 |
JP2006114053A (ja) * | 2005-10-25 | 2006-04-27 | Hitachi Ltd | 類似画像検索方法および装置 |
JP2007164560A (ja) * | 2005-12-15 | 2007-06-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013114596A (ja) * | 2011-11-30 | 2013-06-10 | Kddi Corp | 画像認識装置及び方法 |
JP2013250729A (ja) * | 2012-05-31 | 2013-12-12 | Mitsubishi Electric Corp | 画像処理装置 |
JP2015230715A (ja) * | 2014-06-06 | 2015-12-21 | 株式会社デンソーアイティーラボラトリ | 特徴量演算装置、特徴量演算方法、及び特徴量演算プログラム |
JP2017531240A (ja) * | 2014-08-19 | 2017-10-19 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | データのナレッジグラフバイアス分類 |
US10474949B2 (en) | 2014-08-19 | 2019-11-12 | Qualcomm Incorporated | Knowledge-graph biased classification for data |
WO2023032345A1 (ja) * | 2021-09-02 | 2023-03-09 | 富士フイルム株式会社 | 情報処理装置、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4755632B2 (ja) | 2011-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9424668B1 (en) | Session-based character recognition for document reconstruction | |
US9355179B2 (en) | Visual-cue refinement of user query results | |
US20150294011A1 (en) | Method and apparatus for providing recommended information | |
JPH11203311A (ja) | 関連語抽出装置および関連語抽出方法および関連語抽出プログラムが記録されたコンピュータ読取可能な記録媒体 | |
JP5915326B2 (ja) | 機械翻訳装置、機械翻訳方法及び機械翻訳プログラム | |
JP4755632B2 (ja) | アイテム認識装置及びアイテム認識方法 | |
US20090024616A1 (en) | Content retrieving device and retrieving method | |
TWI674511B (zh) | 商品資訊顯示系統、商品資訊顯示方法、及程式產品 | |
US20150178289A1 (en) | Identifying Semantically-Meaningful Text Selections | |
JPWO2009035097A1 (ja) | 表示画面上でオブジェクトの選択を容易にするための方法、装置およびプログラム。 | |
JP5141152B2 (ja) | テキスト解析プログラム、テキスト解析方法、およびテキスト解析装置 | |
JP5112027B2 (ja) | 文書群提示装置および文書群提示プログラム | |
JP4972271B2 (ja) | 検索結果提示装置 | |
JP2009075662A (ja) | 検索支援装置 | |
JP6114090B2 (ja) | 機械翻訳装置、機械翻訳方法およびプログラム | |
JP2010009237A (ja) | 多言語間類似文書検索装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体 | |
JP2010191851A (ja) | 記事特徴語抽出装置、記事特徴語抽出方法及びプログラム | |
JP6934621B2 (ja) | 方法、装置、及びプログラム | |
JP4962961B2 (ja) | 空間共起辞書作成装置及び空間共起辞書作成方法 | |
CN102364469B (zh) | 一种对例句检索结果进行排序的方法及装置 | |
US20210365491A1 (en) | Information extraction, enrichment, and caching framework for augmented reality applications | |
JP2006039811A (ja) | ドキュメント管理プログラム、ドキュメント管理方法、及びドキュメント管理装置 | |
JP2023042282A (ja) | 類似文書抽出システム、類似文章抽出方法 | |
JP2016009233A (ja) | 検索装置及び検索方法 | |
JP2012123639A (ja) | イメージ可視化システム及び情報提供システム並びにそれらのコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110527 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140603 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4755632 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |