JP2021189554A - 携帯端末、情報処理方法及び情報処理プログラム - Google Patents
携帯端末、情報処理方法及び情報処理プログラム Download PDFInfo
- Publication number
- JP2021189554A JP2021189554A JP2020091669A JP2020091669A JP2021189554A JP 2021189554 A JP2021189554 A JP 2021189554A JP 2020091669 A JP2020091669 A JP 2020091669A JP 2020091669 A JP2020091669 A JP 2020091669A JP 2021189554 A JP2021189554 A JP 2021189554A
- Authority
- JP
- Japan
- Prior art keywords
- estimation
- classified
- unit
- learning model
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 19
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000012937 correction Methods 0.000 description 132
- 238000010586 diagram Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 20
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- LPLLVINFLBSFRP-UHFFFAOYSA-N 2-methylamino-1-phenylpropan-1-one Chemical compound CNC(C)C(=O)C1=CC=CC=C1 LPLLVINFLBSFRP-UHFFFAOYSA-N 0.000 description 11
- 241000132539 Cosmos Species 0.000 description 11
- 235000005956 Cosmos caudatus Nutrition 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 8
- 241000245665 Taraxacum Species 0.000 description 7
- 235000005187 Taraxacum officinale ssp. officinale Nutrition 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 241000405217 Viola <butterfly> Species 0.000 description 5
- 235000004031 Viola x wittrockiana Nutrition 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 241000167854 Bourreria succulenta Species 0.000 description 4
- 235000019693 cherries Nutrition 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 244000044980 Fumaria officinalis Species 0.000 description 3
- 235000006961 Fumaria officinalis Nutrition 0.000 description 3
- 244000225942 Viola tricolor Species 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241001533590 Junonia Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 2
- 244000020551 Helianthus annuus Species 0.000 description 1
- 235000003222 Helianthus annuus Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
以下に示す実施形態の構成は例示であり、開示の技術は実施形態の構成に限定されない。実施形態に係る携帯端末は、例えば、複数の種別に分類される対象物をカメラで撮影し、撮影した対象物の種別を推定する。上記した学習モデルによる推定精度を高めることを達成するため、本携帯端末は、例えば、以下の構成を備える。
・カメラ。
・複数の種別の夫々について、複数の撮影条件の下で対象物を撮影した画像データ群を教師データとして生成した学習モデル。
・カメラによって撮影された対象物を含む画像データを上記学習モデルに入力し、画像データに含まれる対象物が分類される種別についての複数の推定候補と複数の推定候補夫々に分類される確度とを対応付けた推定結果を上記学習モデルから取得する推定部。
・上記推定部が推定した推定結果が予め設定された所定条件を満たす場合に、所定条件に対応付けられた追加種別と追加種別に対象物が分類される確度との対応を推定部による推定結果に追加して出力する出力部。
他のデジタル回路によって実行されてもよい。また、CPU101の少なくとも一部にアナログ回路が含まれてもよい。集積回路は、Large Scale Integrated circuit(LSI)、Application Specific Integrated Circuit(ASIC)、プログラマブルロジックデバイス(PLD)を含む。PLDは、例えば、Field−Programmable Gate Array(FPGA)を含む。CPU101は、プロセッサと集積回路との組み合わせであってもよい。組み合わせは、例えば、マイクロコントローラユニット(MCU)、System−on−a−chip(SoC)、システムLSI、チップセットなどと呼ばれる。
図2は、実施形態に係るスマートフォンの処理ブロックの一例を示す図である。スマートフォン100は、制御部11、撮像部12、日時取得部13、位置情報取得部14、花認識部15、学習モデル16、補正部17、補正テーブル18及び入出力部19を備える。スマートフォン100は、主記憶部102に実行可能に展開されたコンピュータプログラムをCPU101が実行することで、上記スマートフォン100の、制御部11、撮像部12、日時取得部13、位置情報取得部14、花認識部15、学習モデル16、補正部17、補正テーブル18及び入出力部19等の各部としての処理を実行する。
体としてカメラ107によって撮影された画像データが入力されると、花の品種と当該品種に該当する確率のリストを出力する。花認識部15は、画像データを学習モデル16に入力することで、花の品種と当該品種に該当する確率のリストを取得する。学習モデル16は、「学習モデル」の一例である。
図7は、実施形態に係るスマートフォンの処理フローの一例を示す図である。以下の処理フローでは、スマートフォン100で花が撮影され、撮影された花の品種をスマートフォン100がディスプレイ108に表示する処理フローが例示される。図7を参照して、スマートフォン100の処理フローの一例について説明する。
って補正結果を補正する。
実施形態では、花認識部15が学習モデル16を用いて判定した花の品種を当該品種に該当する確率とともに複数列挙する。学習モデル16は、上記の通り、CNN等のニューラルネットワークによって構築される。ここで、ニューラルネットワークで構築された学習モデル16は、多数の教師データを用いて学習させても、誤判定が生じ得る。このような誤判定は、列挙した花の品種の夫々について、該当する確率の差が少ない場合に生じやすい。
実施形態では、判定結果として列挙された花の品種と確率を基に、当該判定結果が補正対象となるか否かが判定される。第1変形例では、補正対象とするか否かの判定に被写体の属性、撮影場所や撮影日をさらに用いる。以下、本明細書において、被写体の属性を「被写体属性」、撮影場所や撮影日を「撮影属性」とも称する。実施形態と共通の構成要素については同一の符号を付し、その説明は省略される。以下、図面を参照して、第1変形例について説明する。
に例示されるスマートフォン100aは、補正テーブル18に代えて補正テーブル18aを備えるとともに、被写体分析部20をさらに備える点で、実施形態に係るスマートフォン100とは異なる。
1変形例において補正された判定結果の一例を示す図である。図10では、図9に例示される補正テーブル18aの「出力」に格納された補正内容にしたがって、図3に例示される判定結果を補正した結果が例示される。すなわち、「条件2」の花である「たんぽぽ」が1位とされ、補正前の1位から4位までの花の名前が2位から5位とされる。その結果、補正部17は、図10に例示するような補正結果を得ることができる。なお、ここでは、ディスプレイ108に出力される結果は、実施形態と同様に上位5位までであると仮定している。
図11は、第1変形例に係るスマートフォンの処理フローの一例を示す図である。図11において、図7と同一の処理には同一の符号を付し、その説明を省略する。以下、図11を参照して、スマートフォン100aの処理フローの一例について説明する。
実施形態や第1変形例では、花の品種を判定する処理が一例として挙げられた。しかしながら、実施形態や第1変形例で説明した上記技術は、花の品種の判定に限定されるわけではない。上記技術は、例えば、車両についての車種の判定、犬の犬種の判定、鳥の品種の判定等にも適用可能である。
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させる情報処理プログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
101:CPU
102:主記憶部
103:補助記憶部
104:通信部
105:計時部
106:GPS
107:カメラ
108:ディスプレイ
109:タッチパネル
11:制御部
12:撮像部
13:日時取得部
14:位置情報取得部
15:花認識部
16:学習モデル
17:補正部
18:補正テーブル
18a:補正テーブル
19:入出力部
20:被写体分析部
Claims (6)
- 複数の種別に分類される対象物をカメラで撮影し、撮影した対象物の種別を推定する携帯端末であって、
カメラと、
前記複数の種別の夫々について、複数の撮影条件の下で前記対象物を撮影した画像データ群を教師データとして生成した学習モデルと、
前記カメラによって撮影された前記対象物を含む画像データを前記学習モデルに入力し、前記対象物が分類される種別についての複数の推定候補と前記複数の推定候補夫々に分類される確度とを対応付けた推定結果を前記学習モデルから取得する推定部と、
前記推定結果が予め設定された所定条件を満たす場合に、前記所定条件に対応付けられた追加種別と前記追加種別に前記対象物が分類される確度との対応を前記推定結果に追加して出力する出力部と、を備える、
携帯端末。 - 前記推定部は、前記対象物が前記カメラによって撮影された撮影時期を取得し、
前記出力部は、前記撮影時期が前記所定条件をさらに満たす場合に、前記所定条件に対応付けられた追加種別と前記追加種別に前記対象物が分類される確度との対応を前記推定結果に追加して出力する、
請求項1に記載の携帯端末。 - 前記推定部は、前記カメラによって撮影された前記画像データに含まれる前記対象物の色を取得し、
前記出力部は、前記色が前記所定条件をさらに満たす場合に、前記所定条件に対応付けられた追加種別と前記追加種別に前記対象物が分類される確度との対応を前記推定結果に追加して出力する、
請求項1または2に記載の携帯端末。 - 前記携帯端末は、前記携帯端末の現在位置を取得する位置情報取得部をさらに備え、
前記推定部は、前記対象物が前記カメラによって撮影された撮影場所を前記位置情報取得部から取得し、
前記出力部は、前記撮影場所が前記所定条件をさらに満たす場合に、前記所定条件に対応付けられた追加種別と前記追加種別に前記対象物が分類される確度との対応を前記推定結果に追加して出力する、
請求項1から3のいずれか一項に記載の携帯端末。 - 複数の種別に分類される対象物をカメラで撮影し、撮影した対象物の種別を推定する情報処理方法であって、
カメラと、前記複数の種別の夫々について、複数の撮影条件の下で前記対象物を撮影した画像データ群を教師データとして生成した学習モデルと、を備える情報処理装置が、
前記カメラによって撮影された前記対象物を含む画像データを前記学習モデルに入力し、前記対象物が分類される種別についての複数の推定候補と前記複数の推定候補夫々に分類される確度とを対応付けた推定結果を前記学習モデルから取得し、
前記推定結果が予め設定された所定条件を満たす場合に、前記所定条件に対応付けられた追加種別と前記追加種別に前記対象物が分類される確度との対応を前記推定結果に追加して出力する、
情報処理方法。 - 複数の種別に分類される対象物をカメラで撮影し、撮影した対象物の種別を推定する情報処理プログラムであって、
カメラと、前記複数の種別の夫々について、複数の撮影条件の下で前記対象物を撮影した画像データ群を教師データとして生成した学習モデルと、を備える情報処理装置に、
前記カメラによって撮影された前記対象物を含む画像データを前記学習モデルに入力し、前記対象物が分類される種別についての複数の推定候補と前記複数の推定候補夫々に分類される確度とを対応付けた推定結果を前記学習モデルから取得させ、
前記推定結果が予め設定された所定条件を満たす場合に、前記所定条件に対応付けられた追加種別と前記追加種別に前記対象物が分類される確度との対応を前記推定結果に追加して出力させる、
情報処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020091669A JP2021189554A (ja) | 2020-05-26 | 2020-05-26 | 携帯端末、情報処理方法及び情報処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020091669A JP2021189554A (ja) | 2020-05-26 | 2020-05-26 | 携帯端末、情報処理方法及び情報処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021189554A true JP2021189554A (ja) | 2021-12-13 |
Family
ID=78850301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020091669A Pending JP2021189554A (ja) | 2020-05-26 | 2020-05-26 | 携帯端末、情報処理方法及び情報処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021189554A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023210334A1 (ja) * | 2022-04-28 | 2023-11-02 | キヤノン株式会社 | 画像処理装置、撮像装置及びそれらの制御方法 |
-
2020
- 2020-05-26 JP JP2020091669A patent/JP2021189554A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023210334A1 (ja) * | 2022-04-28 | 2023-11-02 | キヤノン株式会社 | 画像処理装置、撮像装置及びそれらの制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220075806A1 (en) | Natural language image search | |
JP5848336B2 (ja) | 画像処理装置 | |
WO2021012484A1 (zh) | 基于深度学习的目标跟踪方法、装置及计算机可读存储介质 | |
WO2022116423A1 (zh) | 物体位姿估计方法、装置、电子设备及计算机存储介质 | |
US20170351934A1 (en) | Object recognition device, object recognition method, and program | |
WO2015135324A1 (zh) | 图片排序方法及终端 | |
EP1770554B1 (en) | Image analysis apparatus and image analysis program storage medium | |
JP2009265827A (ja) | 対象物検出装置及び方法、対象物検出システム、プログラム | |
EP3441912A1 (en) | Information processing device, information processing method, and information providing method | |
JP6279837B2 (ja) | 画像処理装置及びプログラム | |
CN113837257B (zh) | 一种目标检测方法及装置 | |
CN106233283A (zh) | 图像处理装置、通信系统以及通信方法和摄像装置 | |
WO2019109246A1 (zh) | 图片查找方法和装置 | |
CN115035367A (zh) | 图片识别方法、装置及电子设备 | |
CN111373724B (zh) | 电子装置及其控制方法 | |
CN114998962A (zh) | 一种活体检测以及模型训练方法及装置 | |
JP2021189554A (ja) | 携帯端末、情報処理方法及び情報処理プログラム | |
US8533196B2 (en) | Information processing device, processing method, computer program, and integrated circuit | |
CN111797862A (zh) | 任务处理方法、装置、存储介质和电子设备 | |
US20230131717A1 (en) | Search processing device, search processing method, and computer program product | |
CN115665542A (zh) | 基于场景自识别的图片处理方法及相关装置 | |
CN106469437B (zh) | 图像处理方法和图像处理装置 | |
D'Haro et al. | Automatic labelling of touristic pictures using CNNs and metadata information | |
CN111797656B (zh) | 人脸关键点检测方法、装置、存储介质及电子设备 | |
US20180314887A1 (en) | Learning though projection method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20240220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240311 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240611 |