JP2022096379A - 画像出力プログラム，画像出力方法および画像出力装置 - Google Patents

画像出力プログラム，画像出力方法および画像出力装置 Download PDF

Info

Publication number
JP2022096379A
JP2022096379A JP2020209443A JP2020209443A JP2022096379A JP 2022096379 A JP2022096379 A JP 2022096379A JP 2020209443 A JP2020209443 A JP 2020209443A JP 2020209443 A JP2020209443 A JP 2020209443A JP 2022096379 A JP2022096379 A JP 2022096379A
Authority
JP
Japan
Prior art keywords
image
estimation result
machine learning
learning model
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2020209443A
Other languages
English (en)
Inventor
航太 穴田
Kota Anada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020209443A priority Critical patent/JP2022096379A/ja
Priority to US17/507,833 priority patent/US20220198216A1/en
Publication of JP2022096379A publication Critical patent/JP2022096379A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】機械学習モデルによる推定結果が画像のどの領域に基づいて行なわれたかを提示できるようにする。【解決手段】第１の画像を機械学習モデルに入力し、第１の画像の特徴量と機械学習モデルの第１の推定結果とを取得し、第１の画像の特徴量に基づいて、複数の画像から第２の画像を選択し、第２の画像を前記機械学習モデルに入力し、機械学習モデルの第２の推定結果を取得し、第１の画像と第１の推定結果とに基づいて、第１の画像のうち第１の推定結果に他の領域と比べて寄与が大きい領域を示す第３の画像を生成し、第２の画像と第２の推定結果とに基づいて、第２の画像のうち第２の推定結果に他の領域と比べて寄与が大きい領域を示す第４の画像を生成し、第３の画像と第４の画像とを出力する。【選択図】図１

Description

本発明は、画像出力プログラム，画像出力方法および画像出力装置に関する。
例えば、システムの運用保守開発において見積書の作成や設計を行なうために、既存の設計資料等を参照する場合がある。
従来においては、ユーザは、サーバ等の共有フォルダに対して、フォルダ構成やファイル名等に基づいて探索を行なうことで、設計資料等の目的のドキュメントを取得する。
また、近年においては、ドキュメントをクロールして自然文検索を行なうことで、共有フォルダにおける置き場やフォルダ構成の知識がなくても、検索文を含むドキュメントの取得を可能とする手法も知られている。
特開２００７－３１７１３１号公報 特開２００８－８３８９８号公報 特開２００８－１４６６０２号公報
このような従来のドキュメント検索手法においては、自然文を検索文として入力する必要があるので、例えば、特定の画面データ（例えば、ユーザインタフェース画面やグラフ）を含むドキュメントを検索したい場合に、容易に検索することができない。そこで、画像を検索キーとして用いて類似する画像を検索することが考えられる。
しかしながら、画像を検索キーとする検索により類似の画像を特定しても、画像のどの領域に基づいて類似と判断したのか提示できないという課題がある。
１つの側面では、本発明は、機械学習モデルによる推定結果が画像のどの領域に基づいて行なわれたかを提示できるようにすることを目的とする。
このため、この画像出力プログラムは、第１の画像を機械学習モデルに入力し、前記第１の画像の特徴量と前記機械学習モデルの第１の推定結果とを取得し、前記第１の画像の特徴量に基づいて、複数の画像から第２の画像を選択し、前記第２の画像を前記機械学習モデルに入力し、前記機械学習モデルの第２の推定結果を取得し、前記第１の画像と前記第１の推定結果とに基づいて、前記第１の画像のうち前記第１の推定結果に他の領域と比べて寄与が大きい領域を示す第３の画像を生成し、前記第２の画像と前記第２の推定結果とに基づいて、前記第２の画像のうち前記第２の推定結果に他の領域と比べて寄与が大きい領域を示す第４の画像を生成し、前記第３の画像と第４の画像とを出力する、処理をコンピュータに実行させる。
一実施形態によれば、機械学習モデルによる推定結果が画像のどの領域に基づいて行なわれたかを提示できるようにすることができる。
実施形態の一例としての情報処理装置の構成を模式的に示す図である。 実施形態の一例としての情報処理装置のハードウェア構成を例示する図である。 実施形態の一例としての情報処理装置の画像ＤＢが管理する情報を例示する図である。 実施形態の一例としての情報処理装置における提示情報を例示する図である。 実施形態の一例としての情報処理装置におけるドキュメント登録処理部の処理を説明するためのフローチャートである。 実施形態の一例としての情報処理装置におけるドキュメント検索処理を説明するためのフローチャートである。 実施形態の一例としての情報処理装置における説明可能ＡＩ部による処理を説明するためのフローチャートである。
以下、図面を参照して画像出力プログラム，画像出力方法および画像出装置にかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
（Ａ）構成
図１は実施形態の一例としての情報処理装置１の構成を模式的に示す図である。
情報処理装置１は、入力されたデータ（入力データ）に類似するデータを含むデータを検索して提示する。すなわち、情報処理装置１は、入力データを検索キーとする検索機能を実現する。また、情報処理装置１は、類似判断の根拠を説明する情報をユーザに提示するＸＡＩ（Explainable Artificial Intelligence：説明可能なＡＩ）を実現する。
以下、検索キーとして入力される入力データが画像データであり、情報処理装置１が、入力された画像データと類似する画像データを含むドキュメントを検索する例について示す。
図２は実施形態の一例としての情報処理装置１のハードウェア構成を例示する図である。
情報処理装置１は、例えば、プロセッサ１１，メモリ１２，記憶装置１３，グラフィック処理装置１４，入力インタフェース１５，光学ドライブ装置１６，機器接続インタフェース１７およびネットワークインタフェース１８を構成要素として有する。これらの構成要素１１～１８は、バス１９を介して相互に通信可能に構成される。
プロセッサ（処理部）１１は、情報処理装置１全体を制御する。プロセッサ１１は、マルチプロセッサであってもよい。プロセッサ１１は、例えばＣＰＵ，ＭＰＵ（Micro Processing Unit），ＤＳＰ（Digital Signal Processor），ＡＳＩＣ（Application Specific Integrated Circuit），ＰＬＤ（Programmable Logic Device），ＦＰＧＡ（Field Programmable Gate Array）のいずれか一つであってもよい。また、プロセッサ１１は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのうちの２種類以上の要素の組み合わせであってもよい。
そして、プロセッサ１１が情報処理装置１用の制御プログラム（画像出力プログラム：図示省略）を実行することにより、図１に例示する、入力受付処理部１０１，ニューラルネットワーク（Neural Network：ＮＮ）１０２，ドキュメント登録処理部１０３，検索部１０４，説明可能ＡＩ（Artificial Intelligence）部１０５，提示情報作成部１０６および画像データベース（Data Base：ＤＢ）１０７としての機能が実現される。これにより、情報処理装置１は、画像出力装置として機能する。
情報処理装置１に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、情報処理装置１に実行させるプログラムを記憶装置１３に格納しておくことができる。プロセッサ１１は、記憶装置１３内のプログラムの少なくとも一部をメモリ１２にロードし、ロードしたプログラムを実行する。
また、情報処理装置１（プロセッサ１１）に実行させるプログラムを、光ディスク１６ａ，メモリ装置１７ａ，メモリカード１７ｃ等の非一時的な可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１１からの制御により、記憶装置１３にインストールされた後、実行可能になる。また、プロセッサ１１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
メモリ１２は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含む記憶メモリである。メモリ１２のＲＡＭは情報処理装置１の主記憶装置として使用される。ＲＡＭには、プロセッサ１１に実行させるプログラムの少なくとも一部が一時的に格納される。また、メモリ１２には、プロセッサ１１による処理に必要な各種データが格納される。
記憶装置１３は、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）、ＳＳＤ（Solid State Drive）、ストレージクラスメモリ（Storage Class Memory：ＳＣＭ）等の記憶装置であって、種々のデータを格納するものである。記憶装置１３は、情報処理装置１の補助記憶装置として使用される。記憶装置１３には、ＯＳ（Operating System）プログラム，制御プログラムおよび各種データが格納される。制御プログラムには画像出力プログラムが含まれる。
制御プログラム（画像出力プログラム）は、コンピュータ読み取り可能な非一時的な記録媒体に記録されたプログラムに相当する。
なお、補助記憶装置としては、ＳＣＭやフラッシュメモリ等の半導体記憶装置を使用することもできる。また、複数の記憶装置１３を用いてＲＡＩＤ（Redundant Arrays of Inexpensive Disks）を構成してもよい。
また、記憶装置１３には、上述した入力受付処理部１０１，ニューラルネットワーク１０２，ドキュメント登録処理部１０３，検索部１０４，説明可能ＡＩ部１０５および提示情報作成部１０６が各処理を実行する際に生成される各種データを格納してもよい。
グラフィック処理装置１４には、モニタ１４ａが接続されている。グラフィック処理装置１４は、プロセッサ１１からの命令に従って、画像をモニタ１４ａの画面に表示させる。モニタ１４ａとしては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置等が挙げられる。
入力インタフェース１５には、キーボード１５ａおよびマウス１５ｂが接続されている。入力インタフェース１５は、キーボード１５ａやマウス１５ｂから送られてくる信号をプロセッサ１１に送信する。なお、マウス１５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル，タブレット，タッチパッド，トラックボール等が挙げられる。
光学ドライブ装置１６は、レーザ光等を利用して、光ディスク１６ａに記録されたデータの読み取りを行なう。光ディスク１６ａは、光の反射によって読み取り可能にデータを記録された可搬型の非一時的な記録媒体である。光ディスク１６ａには、ＤＶＤ（Digital Versatile Disc），ＤＶＤ－ＲＡＭ，ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等が挙げられる。
機器接続インタフェース１７は、情報処理装置１に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１７には、メモリ装置１７ａやメモリリーダライタ１７ｂを接続することができる。メモリ装置１７ａは、機器接続インタフェース１７との通信機能を搭載した非一時的な記録媒体、例えばＵＳＢ（Universal Serial Bus）メモリである。メモリリーダライタ１７ｂは、メモリカード１７ｃへのデータの書き込み、またはメモリカード１７ｃからのデータの読み出しを行なう。メモリカード１７ｃは、カード型の非一時的な記録媒体である。
ネットワークインタフェース１８は、ネットワークに接続される。ネットワークインタフェース１８は、ネットワークを介してデータの送受信を行なう。ネットワークには他の情報処理装置や通信機器等が接続されてもよい。
情報処理装置１は、図１に示すように、入力受付処理部１０１，ニューラルネットワーク１０２，ドキュメント登録処理部１０３，検索部１０４，説明可能ＡＩ部１０５，提示情報作成部１０６および画像ＤＢ１０７を備える。
ドキュメント登録処理部１０３は、画像データを含むドキュメントに関する情報を画像ＤＢ１０７に登録する。
ドキュメント登録処理部１０３は、ドキュメントから画像データを抽出し、抽出した画像データに対してニューラルネットワーク１０２の機械学習モデルを用いて特徴量（特徴量ベクトル）を算出させる。ドキュメントからの画像データの抽出は、既知の手法を用いて実現することができ、その説明は省略する。
ドキュメント登録処理部１０３は、画像ＤＢ１０７に、算出された特徴量と、画像を含むドキュメントのファイル名や格納位置等の情報とを記憶させる。
画像ＤＢ１０７は、画像データに関する情報を管理するデータベースである。
図３は実施形態の一例としての情報処理装置１の画像ＤＢ１０７が管理する情報を例示する図である。
図３に示す例においては、画像ＤＢ１０７が画像データ毎に管理するエントリを示している。図３に例示するエントリは、fess_id，site，filename，feature_vector，image_data，page_number，label，categoryおよびfile_formatを備える。画像ＤＢ１０７は、これらの情報によって構成されるエントリを画像データ毎に管理する。
fess_idは、当該画像データが含まれるドキュメントを管理する識別情報であり、例えば、検索エンジンによって設定される。siteは、ドキュメントの保存場所であり、例えば、ファイルパスが用いられる。filenameは、ドキュメントのファイル名である。feature_vectorは、当該画像の特徴量（特徴量ベクトル）であり、ニューラルネットワーク１０２によって算出された値が用いられる。
image_dataは、画像データのバイナリデータである。page_numberは、ドキュメント内における当該画像データの位置（例えば、ページ番号）を示す情報である。labelは、当該画像に対してニューラルネットワーク１０２が設定したラベル（予測結果）である。例えば、問題の有無を表す値が用いられる。
categoryは、当該画像データの画像種別を示すキーワードである。file_formatは、当該画像データのデータフォーマット（例えば、jpeg，png）である。
ニューラルネットワーク１０２は、機械学習モデルを用いて、入力される画像データに対して推定を行なう。
ニューラルネットワークは、例えば、入力層と出力層との間に複数の隠れ層を含むディープニューラルネットワークである。例えば、隠れ層は、畳み込み層、プーリング層または全結合層等である。
ニューラルネットワークは、入力データ（本実施形態では画像データ）を入力層に入力し、畳み込み層やプーリング層などで構成される隠れ層にて所定の計算を順次実行することで、演算により得られる情報を入力側から出力側に順次伝えるフォーワッド方向の処理（順伝播処理）を実行する。フォーワッド方向の処理の実行後、出力層から出力される出力データと正解データとから得られる誤差関数の値を小さくするために、フォーワッド方向の処理で使用するパラメータを決定するバックワード方向の処理（逆伝播処理）を実行する。そして、逆伝播処理の結果に基づいて重み等の変数を更新する更新処理が実行される。例えば、逆伝播処理の計算に使用される重みの更新幅を決定するアルゴリズムとして、勾配降下法が使用される。
機械学習モデルは、例えば、既知の機械学習済みモデルを用いてもよい。また、この機械学習済みモデルに対して、予め、画像データと正解データとを備える訓練データを用いた再訓練を行なうことで、ファインチューニングを行なってもよい。
また、ニューラルネットワーク１０２は、入力された画像データに対して特徴量（特徴量ベクトル）を算出する。ニューラルネットワーク１０２は、算出した画像データの特徴量等をメモリ１２や記憶装置１３の所定の記憶領域に記憶させる。
ニューラルネットワークは、ハードウェア回路であってもよいし、プロセッサ１１等によりコンピュータプログラム上で仮想的に構築される階層間を接続するソフトウェアによる仮想的なネットワークであってもよい。
入力受付処理部１０１は、ドキュメントを検索するための検索キーとなる画像データを受け付ける。以下、入力受付処理部１０１が受け付ける検索キーとなる画像データを検索画像データという場合がある。検索画像データは、第１の画像に相当する。検索画像データは、例えば、ユーザがキーボード１５ａやマウス１５ｂを用いて入力（指定）してもよい。
入力受付処理部１０１は、入力された検索画像データに対してニューラルネットワーク１０２の機械学習モデルを用いて特徴量（特徴量ベクトル）を算出させる。また、入力受付処理部１０１は、ニューラルネットワーク１０２に算出させた検索画像データの特徴量を検索部１０４に受け渡す。入力受付処理部１０１は、例えば、メモリ１２や記憶装置１３の所定の記憶領域を介して検索部１０４に検索画像データの特徴量を受け渡してよい。
検索部１０４は、画像ＤＢ１０７に登録された複数の画像データの中から検索画像データの特徴量と類似する画像データを検索し、この画像データを含むドキュメントを検索結果として出力する。
例えば、検索部１０４は、検索画像データの特徴量と、画像ＤＢ１０７に登録された各画像データの特徴量とのコサイン類似度を算出することで、検索画像データの特徴量と、画像ＤＢ１０７に登録された各画像データの特徴量との類似判断を行なう。以下、検索画像データの特徴量と、画像ＤＢ１０７に登録された各画像データの特徴量との類似判断を行なうことを、画像類似判断という場合がある。
検索部１０４は、画像類似判断の結果、類似性が高い複数（例えば、類似性が上位の３つ）の画像データ（類似画像データ群）を決定する。なお、検索部１０４により決定された、検索画像データとの類似度が高い画像データを類似画像データという場合がある。類似画像データは第２の画像に相当する。なお、検索画像データとの類似度が閾値以上の画像データを類似画像データとしてもよく、類似画像データは適宜変更して実施することができる。
検索部１０４は、決定した複数の類似画像データに関する情報を説明可能ＡＩ部１０５に通知する。例えば、検索部１０４は、これらの類似画像データを含む各ドキュメントの保存場所（ドキュメントパス）を説明可能ＡＩ部１０５に通知する。検索部１０４は、各類似画像に関する画像ＤＢ１０７のエントリの各情報を説明可能ＡＩ部１０５に通知してもよい。説明可能ＡＩ部１０５への情報通知は、メモリ１２や記憶装置１３の所定の記憶領域を介して行なってもよい。
説明可能ＡＩ部１０５は、ニューラルネットワーク１０２の機械学習モデルにおける予測結果や推定結果に至るプロセスについて、人に説明可能な状態とする情報（可視化情報）を作成する。すなわち、説明可能ＡＩ部１０５は、ニューラルネットワーク１０２の機械学習モデルにおける予測結果や推定結果の判断根拠説明機能を実現する。
説明可能ＡＩ部１０５は、既知の種々のＸＡＩ手法を用いて可視化情報を作成してよい。本実施形態においては、説明可能ＡＩ部１０５は、Grad-CAM（Gradient-weighted Class Activation Mapping）を用いて可視化情報を作成する。
説明可能ＡＩ部１０５は、検索画像データをニューラルネットワーク１０２に入力することで得られる推定（分類）結果および中間層の特徴量を取得する。また、説明可能ＡＩ部１０５は、得られた分類結果と中間層の特徴量から勾配を求めることで判断基準を定量化し、画像化する。
同様に、説明可能ＡＩ部１０５は、各類似画像データをニューラルネットワーク１０２に入力することで得られる推定（分類結果）および中間層の特徴量をそれぞれ取得する。また、説明可能ＡＩ部１０５は、得られた分類結果と中間層の特徴量とから勾配を求めることで判断基準を定量化し、画像化する。
説明可能ＡＩ部１０５は、検索画像データをニューラルネットワーク１０２の機械学習モデルに入力して第１推定結果（第１の推定結果）を取得する。そして、説明可能ＡＩ部１０５は、第１推定結果に基づいて、Grad-CAMにより、検索画像データにおける第１推定結果の根拠を表す第１ヒートマップ（第３の画像）を生成する。説明可能ＡＩ部１０５は、生成した第１ヒートマップをメモリ１２や記憶装置１３の所定の記憶領域に記憶させる。
第１ヒートマップにおいては、検索画像データにおいて、上述した第１推定結果に他の領域と比べて寄与が大きい領域を、目立つ色を用いたハイライト表示で示す。このハイライト表示は、ニューラルネットワーク１０２におけるＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）が着目している特徴箇所を表す。なお、Grad-CAMによるヒートマップの生成手法は既知であり、その説明は省略する。
また、説明可能ＡＩ部１０５は、検索部１０４によって選択された複数の類似画像データを、それぞれニューラルネットワーク１０２の機械学習モデルに入力して第２推定結果（第２の推定結果）をそれぞれ取得する。
そして、説明可能ＡＩ部１０５は、第２推定結果に基づいて、Grad-CAMにより、複数の類似画像データのそれぞれについて、対応する第２推定結果の根拠を表す第２ヒートマップ（第４の画像）を生成する。説明可能ＡＩ部１０５は、生成した第２ヒートマップをメモリ１２や記憶装置１３の所定の記憶領域に記憶させる。
第２ヒートマップにおいても、検索画像データにおいて、上述した第２推定結果に他の領域と比べて寄与が大きい領域を、目立つ色を用いたハイライト表示で示す。
説明可能ＡＩ部１０５は、検索画像データと、その推定結果に対する第１ヒートマップ（第３の画像）とを提示情報作成部１０６に受け渡す。
また、説明可能ＡＩ部１０５は、複数の類似画像データと、それらの推定結果に対する第２ヒートマップ（第４の画像）とを提示情報作成部１０６に受け渡す。
提示情報作成部１０６は、入力された検索画像データに類似する類似画像データを含むドキュメントの情報を提示するとともに、類似判断の根拠を説明するヒートマップ画像をユーザに提示する提示情報２００を作成する。
提示情報２００は、検索キーとして入力された検索画像データに類似する類似画像データを含むドキュメントの検索結果を表す。以下、提示情報２００を検索結果出力画面２００といってもよい。また、提示情報２００は、各類似画像データを決定（推定）するに際して行なわれた類似判断の根拠を示す情報を表す。
図４は実施形態の一例としての情報処理装置１における提示情報２００を例示する図である。
この図４に例示する提示情報２００は、検索画像２０１，ヒートマップ２０２および類似候補画像情報２０３―１～２０３－３を備える。
検索画像２０１は、検索画像データ（第１の画像）を示す。ヒートマップ２０２は、検索画像データに対して作成された第１ヒートマップ（第３の画像）である。
類似候補画像情報２０３―１～２０３－３は、それぞれ検索画像データに類似する類似画像データに関する情報であり、本情報処理装置１においては、３つの類似画像データを類似候補１～３として表す。
図４に示す例においては、類似候補１（類似候補画像情報２０３―１）が最も検索画像データに類似度が高い類似画像データを表す。次いで、類似候補２（類似候補画像情報２０３―２），類似候補３（類似候補画像情報２０３―３）の順で類似度が低くなるものとする。すなわち、提示情報２００においては、検索画像データに類似する複数の類似画像データに対して、類似度に応じたランキング付けをして表す。
以下、類似候補画像情報２０３―１～２０―３を特に区別しない場合には、類似候補画像情報２０３と表す。
類似候補画像情報２０３―１は、類似画像２０４―１，ヒートマップ２０５―１およびドキュメントパス２０６―１を備える。同様に、類似候補画像情報２０３―２は、類似画像２０４―２，ヒートマップ２０５―２およびドキュメントパス２０６―２を備える。さらに、類似候補画像情報２０３―３は、類似画像２０４―３，ヒートマップ２０５―３およびドキュメントパス２０６―３を備える。
以下、類似画像２０４―１～２０４―３を特に区別しない場合には、類似画像２０４と表す。また、ヒートマップ２０５－１～２０５－３を特に区別しない場合には、ヒートマップ２０５と表す。さらに、ドキュメントパス２０６―１～２０６―３を特に区別しない場合には、ドキュメントパス２０６と表す。
類似画像２０４―１～２０４－３は、検索部１０４により決定された３つの類似画像データの画像（第２の画像）である。
ヒートマップ２０５は、それぞれ、説明可能ＡＩ部１０５により生成された、各類似画像データに対応する第２ヒートマップ（第４の画像）である。検索結果出力画面２００において、ヒートマップ２０２，２０５は、ニューラルネットワーク１０２の機械学習モデルによる類似判断の根拠を表す。
ドキュメントパス２０６は、それぞれ、類似画像データが含まれるドキュメントの格納位置を示す情報である。
類似候補画像情報２０３においては、類似画像２０４に対して、対応するヒートマップ２０５およびドキュメントパス２０６が並べて配置されている。また、ドキュメントパス２０６をクリックすることで、当該ドキュメントを開くことができるようにしてもよい。
作成された検索結果出力画面２００は、例えば、モニタ１４ａ等に表示され、ユーザに提供される。
提示情報作成部１０６は、検索結果出力画面２００を、例えば、構造化文書を用いてウェブページとして作成してもよく、適宜変更して実施することができる。
ユーザは、類似候補画像情報２０３を参照することで、検索部１０４が検索画像２０１に類似すると判断した類似画像データについて、そのヒートマップ２０５とドキュメントパス２０６とを視認することで、機械学習モデルによる推定の妥当性等を判断することができる。
（Ｂ）動作
上述の如く構成された実施形態の一例としての情報処理装置１におけるドキュメント登録処理部１０３の処理を、図５に示すフローチャート（ステップＡ１～Ａ４）に従って説明する。
この図５に示す処理は、システムの運用開始前やドキュメントが新規に作成される度に実行される。
ステップＡ１において、例えば、ドキュメント登録処理部１０３は、画像データを含むドキュメントを受け付ける。例えば、ユーザやシステム管理者等がドキュメントが保存されたフォルダやドキュメントそのものをキーボード１５ａやマウス１５ｂを用いて入力すると、ドキュメント登録処理部１０３は指定されたドキュメントを読み込むことで受け付ける。
ステップＡ２において、ドキュメント登録処理部１０３は、ステップＡ１において受け付けたドキュメントから画像データを抽出する。
ステップＡ３において、ドキュメント登録処理部１０３は、抽出した画像データに対してニューラルネットワーク１０２の機械学習モデルを用いて特徴量を算出させる。
ステップＡ４において、ドキュメント登録処理部１０３は、画像ＤＢ１０７に、画像データ毎にfess_id，site，filename，feature_vector，image_data，page_number，label，categoryおよびfile_formatを登録する（エントリ登録）。その後、処理を終了する。
次に、実施形態の一例としての情報処理装置１におけるドキュメント検索処理を、図６に示すフローチャート（ステップＢ１～Ｂ６）に従って説明する。
ステップＢ１において、ユーザは、キーボード１５ａやマウス１５ｂを用いて、検索画像データを本情報処理装置１に入力する。入力受付処理部１０１は、入力された検索画像データをメモリ１２等の所定の記憶領域に記憶させる。
ステップＢ２において、入力受付処理部１０１は、入力された検索画像データに対してニューラルネットワーク１０２の機械学習モデルを用いて特徴量（特徴量ベクトル）を算出させる。これに従って、ニューラルネットワーク１０２は、検索画像データの特徴量を算出する。
ステップＢ３において、検索部１０４は、算出された検索画像データの特徴量と、画像ＤＢ１０７に登録された複数の画像データの各特徴量との類似度をそれぞれ求める。
ステップＢ４において、検索部１０４は、画像ＤＢ１０７に登録された複数の画像データの中から、特徴量が検索画像データの特徴量と類似する複数の画像データ（類似画像データ）を検索する。これらの類似画像データを類似候補といってもよい。
ステップＢ５において、説明可能ＡＩ部１０５は、ニューラルネットワーク１０２を用いたＸＡＩ手法により可視化情報を生成する。なお、この説明可能ＡＩ部１０５による処理は図７を用いて後述する。
ステップＢ６において、提示情報作成部１０６が、説明可能ＡＩ部１０５によって生成された可視化情報（第１推定結果，第１ヒートマップ，第２推定結果および第２ヒートマップ）を用いて、提示情報（検索結果出力画面）２００を作成し、ユーザに提供する。その後、処理を終了する。
次に、実施形態の一例としての情報処理装置１における説明可能ＡＩ部１０５による処理を、図７に示すフローチャート（ステップＣ１～Ｃ４）に従って説明する。
ステップＣ１において、説明可能ＡＩ部１０５は、検索画像データをニューラルネットワーク１０２の機械学習モデルに入力して第１推定結果（第１の推定結果）を取得する。
ステップＣ２において、説明可能ＡＩ部１０５は、第１推定結果に基づいて、Grad-CAMとしての機能を用いて、第１推定結果の根拠を表す第１ヒートマップ（第３の画像）を生成する。
ステップＣ３において、説明可能ＡＩ部１０５は、検索部１０４によって選択された複数の類似画像データを、それぞれニューラルネットワーク１０２の機械学習モデルに入力して第２推定結果（第２の推定結果）をそれぞれ取得する。
ステップＣ４において説明可能ＡＩ部１０５は、各第２推定結果に基づいて、Grad-CAMとしての機能を用いて、各第２推定結果の根拠を表す第２ヒートマップ（第４の画像）をそれぞれ生成する。その後、処理を終了する。
（Ｃ）効果
このように、本発明の一実施形態としての情報処理装置１によれば、ユーザが検索画像データを入力すると、入力受付処理部１０１がニューラルネットワーク１０２に、検索画像データの特徴量を算出させる。そして、検索部１０４が、当該検索画像データの特徴量に基づき、画像ＤＢ１０７から検索画像データに類似する類似画像データを含むドキュメントを検索する。
これにより、自然文での検索が困難な画像データを含むドキュメントを容易に検索することができる。
また、説明可能ＡＩ部１０５が、ＸＡＩ手法を用いて可視化情報を作成する。具体的には、説明可能ＡＩ部１０５は、検索画像データをニューラルネットワーク１０２の機械学習モデルに入力して第１推定結果を取得する。そして、説明可能ＡＩ部１０５は、第１推定結果に基づいて、Grad-CAMとしての機能を用いて、第１推定結果の根拠を表す第１ヒートマップを生成する。
さらに、説明可能ＡＩ部１０５は、検索部１０４によって選択された複数の類似画像データを、それぞれニューラルネットワーク１０２の機械学習モデルに入力して第２推定結果をそれぞれ取得する。そして、説明可能ＡＩ部１０５は、第２推定結果に基づいて、Grad-CAMにより、複数の類似画像データのそれぞれについて、対応する第２推定結果の根拠を表す第２ヒートマップを生成する。
そして、提示情報作成部１０６がこれらの情報を含む検索結果出力画面（提示情報）２００を作成する。これにより、機械学習モデルによる推定結果が画像のどの領域に基づいて行なわれたかを提示でき、ＡＩの判断根拠が可視化され、ユーザ（運用者）が、ＡＩの判断を信頼することができる。
説明可能ＡＩ部１０５が、画像ＤＢ１０７に格納する画像データの特徴量ベクトルや検索画像データの特徴量ベクトルの算出に用いたニューラルネットワーク１０２を用いて可視化情報（第１ヒートマップ，第２ヒートマップ）を作成する。すなわち、ニューラルネットワーク１０２を類似画像データの検索と可視化情報の作成とで共用することで、類似画像データの検索と可視化情報の作成とを組み合わせる。これにより、システム設計コストを低減することができる。
（Ｄ）その他
開示の技術は上述した実施 形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
例えば、上述した実施形態においては、説明可能ＡＩ部１０５がGrad-CAMを用いて推定結果の根拠を示す第１ヒートマップや第２ヒートマップを作成しているが、これに限定されるものではない。例えば、Grad-CAMを拡張したGuided Grad-CAMを用いて第１ヒートマップや第２ヒートマップを作成してもよく、種々変更して実施することができる。
また、上述した実施形態においては、入力データが画像データである例を示したが、これに限定されるものではなく、種々変形して実施することができる。例えば、入力データが音声データや動画データであってもよく、適宜変更して実施することができる。
また、上述した実施形態においては、情報処理装置１が画像ＤＢ１０７としての機能を備えているが、これに限定されるものではない。例えば、画像ＤＢ１０７はネットワークを介して接続された外部のＤＢサーバに構築されてもよく、種々変形して実施することができる。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
（Ｅ）付記
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
第１の画像を機械学習モデルに入力し、前記第１の画像の特徴量と前記機械学習モデルの第１の推定結果とを取得し、
前記第１の画像の特徴量に基づいて、複数の画像から第２の画像を選択し、
前記第２の画像を前記機械学習モデルに入力し、前記機械学習モデルの第２の推定結果を取得し、
前記第１の画像と前記第１の推定結果とに基づいて、前記第１の画像のうち前記第１の推定結果に他の領域と比べて寄与が大きい領域を示す第３の画像を生成し、
前記第２の画像と前記第２の推定結果とに基づいて、前記第２の画像のうち前記第２の推定結果に他の領域と比べて寄与が大きい領域を示す第４の画像を生成し、
前記第３の画像と前記第４の画像とを出力する、
処理をコンピュータに実行させることを特徴とする画像出力プログラム。
（付記２）
前記第２の画像を含むドキュメントのドキュメントパスを出力する
処理を前記コンピュータに実行させることを特徴とする、付記１記載の画像出力プログラム。
（付記３）
前記選択する処理は、前記第１の画像の特徴量に基づいて、前記複数の画像から前記第１の画像に対する類似度が上位の複数の前記第２の画像を選択する処理を含み、
前記第４の画像を生成する処理は、複数の前記第２の画像のそれぞれに対して、前記第４の画像を生成する処理を含み、
前記出力する処理は、前記第３の画像と複数の前記第４の画像とを出力する処理を含む、
ことを特徴とする、付記１または２に記載の画像出力プログラム。
（付記４）
第１の画像を機械学習モデルに入力し、前記第１の画像の特徴量と前記機械学習モデルの第１の推定結果とを取得し、
前記第１の画像の特徴量に基づいて、複数の画像から第２の画像を選択し、
前記第２の画像を前記機械学習モデルに入力し、前記機械学習モデルの第２の推定結果を取得し、
前記第１の画像と前記第１の推定結果とに基づいて、前記第１の画像のうち前記第１の推定結果に他の領域と比べて寄与が大きい領域を示す第３の画像を生成し、
前記第２の画像と前記第２の推定結果とに基づいて、前記第２の画像のうち前記第２の推定結果に他の領域と比べて寄与が大きい領域を示す第４の画像を生成し、
前記第３の画像と前記第４の画像とを出力する、
処理をコンピュータが実行することを特徴とする画像出力方法。
（付記５）
前記第２の画像を含むドキュメントのドキュメントパスを出力する
処理を前記コンピュータが実行することを特徴とする、付記４記載の画像出力方法。
（付記６）
前記選択する処理は、前記第１の画像の特徴量に基づいて、前記複数の画像から前記第１の画像に対する類似度が上位の複数の前記第２の画像を選択する処理を含み、
前記第４の画像を生成する処理は、複数の前記第２の画像のそれぞれに対して、前記第４の画像を生成する処理を含み、
前記出力する処理は、前記第３の画像と複数の前記第４の画像とを出力する処理を含む、
ことを特徴とする、付記４または５に記載の画像出力方法。
（付記７）
第１の画像を機械学習モデルに入力し、前記第１の画像の特徴量と前記機械学習モデルの第１の推定結果とを取得し、
前記第１の画像の特徴量に基づいて、複数の画像から第２の画像を選択し、
前記第２の画像を前記機械学習モデルに入力し、前記機械学習モデルの第２の推定結果を取得し、
前記第１の画像と前記第１の推定結果とに基づいて、前記第１の画像のうち前記第１の推定結果に他の領域と比べて寄与が大きい領域を示す第３の画像を生成し、
前記第２の画像と前記第２の推定結果とに基づいて、前記第２の画像のうち前記第２の推定結果に他の領域と比べて寄与が大きい領域を示す第４の画像を生成し、
前記第３の画像と前記第４の画像とを出力する、
処理部を有することを特徴とする画像出力装置。
（付記８）
前記処理部が、
前記第２の画像を含むドキュメントのドキュメントパスを出力する
ことを特徴とする、付記７記載の画像出力装置。
（付記９）
前記処理部が、
前記選択する処理に、前記第１の画像の特徴量に基づいて、前記複数の画像から前記第１の画像に対する類似度が上位の複数の前記第２の画像を選択する処理を含み、
前記第４の画像を生成する処理に、複数の前記第２の画像のそれぞれに対して、前記第４の画像を生成する処理を含み、
前記出力する処理に、前記第３の画像と複数の前記第４の画像とを出力する処理を含む、
ことを特徴とする、付記７または８に記載の画像出力装置。
１ 情報処理装置
１０ コンピュータ
１１ プロセッサ（処理部）
１２ メモリ
１３ 記憶装置
１４ グラフィック処理装置
１４ａ モニタ
１５ 入力インタフェース
１５ａ キーボード
１５ｂ マウス
１６ 光学ドライブ装置
１６ａ 光ディスク
１７ 機器接続インタフェース
１７ａ メモリ装置
１７ｂ メモリリーダライタ
１７ｃ メモリカード
１８ ネットワークインタフェース
１８ａ ネットワーク
１９ バス
１０１ 入力受付処理部
１０２ ニューラルネットワーク
１０３ ドキュメント登録処理部
１０４ 検索部
１０５ 説明可能ＡＩ部
１０６ 提示情報作成部
１０７ ドキュメントデータベース
２００ 検索結果出力画面（提示情報）
２０１ 検索画像（第１の画像）
２０２ ヒートマップ（第３の画像）
２０３ー１～２０３ー３，２０３ 類似候補画像情報
２０４ー１～２０４－３，２０４ 類似画像（第２の画像）
２０２ ヒートマップ（第３の画像）
２０５ー１～２０５－３，２０５ ヒートマップ（第４の画像）
２０６ー１，２０６－３，２０６ ドキュメントパス

Claims (5)

  1. 第１の画像を機械学習モデルに入力し、前記第１の画像の特徴量と前記機械学習モデルの第１の推定結果とを取得し、
    前記第１の画像の特徴量に基づいて、複数の画像から第２の画像を選択し、
    前記第２の画像を前記機械学習モデルに入力し、前記機械学習モデルの第２の推定結果を取得し、
    前記第１の画像と前記第１の推定結果とに基づいて、前記第１の画像のうち前記第１の推定結果に他の領域と比べて寄与が大きい領域を示す第３の画像を生成し、
    前記第２の画像と前記第２の推定結果とに基づいて、前記第２の画像のうち前記第２の推定結果に他の領域と比べて寄与が大きい領域を示す第４の画像を生成し、
    前記第３の画像と前記第４の画像とを出力する、
    処理をコンピュータに実行させることを特徴とする画像出力プログラム。
  2. 前記第２の画像を含むドキュメントのドキュメントパスを出力する
    処理を前記コンピュータに実行させることを特徴とする、請求項１記載の画像出力プログラム。
  3. 前記選択する処理は、前記第１の画像の特徴量に基づいて、前記複数の画像から前記第１の画像に対する類似度が上位の複数の前記第２の画像を選択する処理を含み、
    前記第４の画像を生成する処理は、複数の前記第２の画像のそれぞれに対して、前記第４の画像を生成する処理を含み、
    前記出力する処理は、前記第３の画像と複数の前記第４の画像とを出力する処理を含む、
    ことを特徴とする、請求項１または２に記載の画像出力プログラム。
  4. 第１の画像を機械学習モデルに入力し、前記第１の画像の特徴量と前記機械学習モデルの第１の推定結果とを取得し、
    前記第１の画像の特徴量に基づいて、複数の画像から第２の画像を選択し、
    前記第２の画像を前記機械学習モデルに入力し、前記機械学習モデルの第２の推定結果を取得し、
    前記第１の画像と前記第１の推定結果とに基づいて、前記第１の画像のうち前記第１の推定結果に他の領域と比べて寄与が大きい領域を示す第３の画像を生成し、
    前記第２の画像と前記第２の推定結果とに基づいて、前記第２の画像のうち前記第２の推定結果に他の領域と比べて寄与が大きい領域を示す第４の画像を生成し、
    前記第３の画像と前記第４の画像とを出力する、
    処理をコンピュータが実行することを特徴とする画像出力方法。
  5. 第１の画像を機械学習モデルに入力し、前記第１の画像の特徴量と前記機械学習モデルの第１の推定結果とを取得し、
    前記第１の画像の特徴量に基づいて、複数の画像から第２の画像を選択し、
    前記第２の画像を前記機械学習モデルに入力し、前記機械学習モデルの第２の推定結果を取得し、
    前記第１の画像と前記第１の推定結果とに基づいて、前記第１の画像のうち前記第１の推定結果に他の領域と比べて寄与が大きい領域を示す第３の画像を生成し、
    前記第２の画像と前記第２の推定結果とに基づいて、前記第２の画像のうち前記第２の推定結果に他の領域と比べて寄与が大きい領域を示す第４の画像を生成し、
    前記第３の画像と前記第４の画像とを出力する、
    処理部を有することを特徴とする画像出力装置。
JP2020209443A 2020-12-17 2020-12-17 画像出力プログラム，画像出力方法および画像出力装置 Withdrawn JP2022096379A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020209443A JP2022096379A (ja) 2020-12-17 2020-12-17 画像出力プログラム，画像出力方法および画像出力装置
US17/507,833 US20220198216A1 (en) 2020-12-17 2021-10-22 Computer-readable recording medium storing image output program, image output method, and image output apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020209443A JP2022096379A (ja) 2020-12-17 2020-12-17 画像出力プログラム，画像出力方法および画像出力装置

Publications (1)

Publication Number Publication Date
JP2022096379A true JP2022096379A (ja) 2022-06-29

Family

ID=82023158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020209443A Withdrawn JP2022096379A (ja) 2020-12-17 2020-12-17 画像出力プログラム，画像出力方法および画像出力装置

Country Status (2)

Country Link
US (1) US20220198216A1 (ja)
JP (1) JP2022096379A (ja)

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10361802B1 (en) * 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
JP2004254101A (ja) * 2003-02-20 2004-09-09 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
JP4517633B2 (ja) * 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
WO2007023993A1 (en) * 2005-08-23 2007-03-01 Ricoh Company, Ltd. Data organization and access for mixed media document system
JP2008146602A (ja) * 2006-12-13 2008-06-26 Canon Inc 文書検索装置、文書検索方法、プログラム及び記憶媒体
JP5341010B2 (ja) * 2010-04-15 2013-11-13 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
US9165188B2 (en) * 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
US20180025303A1 (en) * 2016-07-20 2018-01-25 Plenarium Inc. System and method for computerized predictive performance analysis of natural language
JP6942488B2 (ja) * 2017-03-03 2021-09-29 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP6487493B2 (ja) * 2017-05-18 2019-03-20 ファナック株式会社 画像処理システム
JP6693938B2 (ja) * 2017-11-17 2020-05-13 ファナック株式会社 外観検査装置
DE112019003022T5 (de) * 2018-06-15 2021-03-18 Canon Kabushiki Kaisha Medizinische Bildverarbeitungsvorrichtung, medizinisches Bildverarbeitungsverfahren und Programm
JP7014129B2 (ja) * 2018-10-29 2022-02-01 オムロン株式会社 推定器生成装置、モニタリング装置、推定器生成方法及び推定器生成プログラム
JP2020087224A (ja) * 2018-11-29 2020-06-04 富士ゼロックス株式会社 情報処理装置、及び情報処理プログラム
JP7148078B2 (ja) * 2019-03-04 2022-10-05 日本電信電話株式会社 属性推定装置、属性推定方法、属性推定器学習装置、及びプログラム
US20220189151A1 (en) * 2019-04-05 2022-06-16 Nec Corporation Processing system, estimation apparatus, processing method, and non-transitory storage medium
WO2020240809A1 (ja) * 2019-05-31 2020-12-03 楽天株式会社 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
WO2020240808A1 (ja) * 2019-05-31 2020-12-03 楽天株式会社 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
JP7341736B2 (ja) * 2019-06-06 2023-09-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20220284702A1 (en) * 2019-08-20 2022-09-08 Nippon Telegraph And Telephone Corporation Estimation program, estimation device, generation method of detection model, learning method, and learning device
WO2021039339A1 (ja) * 2019-08-30 2021-03-04 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP7118934B2 (ja) * 2019-09-04 2022-08-16 株式会社東芝 物体数推定装置、物体数推定方法、および物体数推定プログラム
US11100643B2 (en) * 2019-09-11 2021-08-24 Nvidia Corporation Training strategy search using reinforcement learning
WO2021065265A1 (ja) * 2019-09-30 2021-04-08 日本電気株式会社 大きさ推定装置、大きさ推定方法および記憶媒体
JP7434829B2 (ja) * 2019-11-21 2024-02-21 オムロン株式会社 モデル生成装置、推定装置、モデル生成方法、及びモデル生成プログラム
JP7334801B2 (ja) * 2019-12-25 2023-08-29 日本電気株式会社 学習装置、学習方法および学習プログラム
JP7459949B2 (ja) * 2020-08-27 2024-04-02 日本電気株式会社 学習装置、学習方法、追跡装置及びプログラム

Also Published As

Publication number Publication date
US20220198216A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
US10963691B2 (en) Platform for document classification
US10726208B2 (en) Consumer insights analysis using word embeddings
US10685183B1 (en) Consumer insights analysis using word embeddings
US11182806B1 (en) Consumer insights analysis by identifying a similarity in public sentiments for a pair of entities
US10509863B1 (en) Consumer insights analysis using word embeddings
US10558759B1 (en) Consumer insights analysis using word embeddings
US10803248B1 (en) Consumer insights analysis using word embeddings
US20220058340A1 (en) Systems and methods for generating text descriptive of digital images
JP2022500808A (ja) 文生成方法と装置、電子機器及びプログラム
US20220075961A1 (en) Automatic Content Labeling
WO2021188702A1 (en) Systems and methods for deploying computerized conversational agents
KR20210149530A (ko) 이미지 분류 모델 학습 방법 및 이를 수행하기 위한 장치
US11030539B1 (en) Consumer insights analysis using word embeddings
US11308146B2 (en) Content fragments aligned to content criteria
CN114003758B (zh) 图像检索模型的训练方法和装置以及检索方法和装置
JP2019204214A (ja) 学習装置、学習方法、プログラム及び推定装置
US10685184B1 (en) Consumer insights analysis using entity and attribute word embeddings
US11176311B1 (en) Enhanced section detection using a combination of object detection with heuristics
EP3667547B1 (en) User interface (ui) design compliance determination
JP2022096379A (ja) 画像出力プログラム，画像出力方法および画像出力装置
US20230143430A1 (en) Image Localizability Classifier
US20220366133A1 (en) Training a Model in a Data-Scarce Environment Using Added Parameter Information
US20230289594A1 (en) Computer-readable recording medium storing information processing program, information processing method, and information processing apparatus
JP7502081B2 (ja) 解析手法検索装置及び解析手法検索方法
US20240104951A1 (en) Image and semantic based table recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230804

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20240129