JP2020107254A - 画像検査装置、学習済みモデル生成装置、画像検査システム、画像検査用プログラム、学習済みモデル生成用プログラム、および学習済みモデル - Google Patents

画像検査装置、学習済みモデル生成装置、画像検査システム、画像検査用プログラム、学習済みモデル生成用プログラム、および学習済みモデル Download PDF

Info

Publication number
JP2020107254A
JP2020107254A JP2018248158A JP2018248158A JP2020107254A JP 2020107254 A JP2020107254 A JP 2020107254A JP 2018248158 A JP2018248158 A JP 2018248158A JP 2018248158 A JP2018248158 A JP 2018248158A JP 2020107254 A JP2020107254 A JP 2020107254A
Authority
JP
Japan
Prior art keywords
image
image data
inspection
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018248158A
Other languages
English (en)
Other versions
JP7340806B2 (ja
Inventor
平佳 小松
Hirayoshi Komatsu
平佳 小松
啓介 豊田
Keisuke Toyoda
啓介 豊田
充弘 金田
Mitsuhiro Kaneda
充弘 金田
柳原 尚史
Takashi Yanagihara
尚史 柳原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ai Feed Inc
Original Assignee
Ai Feed Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ai Feed Inc filed Critical Ai Feed Inc
Priority to JP2018248158A priority Critical patent/JP7340806B2/ja
Publication of JP2020107254A publication Critical patent/JP2020107254A/ja
Application granted granted Critical
Publication of JP7340806B2 publication Critical patent/JP7340806B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】コンテンツ内に含まれる所定の対象物を短時間且つ正確に検出する。【解決手段】画像検査装置2は、画像データを入力として当該画像データに所定の対象物を表す画像が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデル202に基づいて、検査対象画像データ201に所定の対象物を表す画像が含まれるか否かを検査する。学習済みモデル202は、立体的に表した所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像をそれぞれ主題とし、互いに異なる複数の第2画像をそれぞれ背景とした複数の第3画像に所定の対象物に関する識別情報をそれぞれラベリングして生成された複数の学習用画像データを機械学習することによって調整された学習済みパラメータを含むことを特徴とする。【選択図】図2

Description

本発明は、画像検査装置、学習済みモデル生成装置、画像検査システム、画像検査用プログラム、学習済みモデル生成用プログラム、および学習済みモデルに関し、例えば、学習済みモデルに基づいて画像データに含まれる所定の対象物を検出する画像検査装置に関する。
広告業界やメディア業界では、雑誌や新聞、ウェブサイト、テレビ放送の各種メディアのコンテンツ内に、特定の企業や団体、商品、またはサービス等を表すロゴ等の所定の対象物が含まれているか否かを知りたいというニーズがある。
例えば、スポーツの祭典や各種のイベント等の公式なスポンサー契約を結んでいない企業等が自社の広告等において無断でそのイベント等のロゴを使用すること(アンブッシュマーケティング)を規制するために、広告等におけるロゴの使用の有無を調査したいというニーズがある。
また、例えばテレビ放送等の映像に特定の企業のロゴや商品名等が映り込んでしまった場合、その企業等がその映像の内容と全く関係がないにもかかわらず、何等かの関係があるという印象を読者や視聴者に与えたり、意図せず上記特定の企業の宣伝を行うことになる虞があるため、映像内のロゴの映り込みの有無を調査したいというニーズがある。
また、例えば、マーケティング活動によってロゴがメディアに露出した結果を評価するために、雑誌やテレビ放送等のメディアの広告に加えて、例えばウェブサイトや、写真共有アプリケーション等のSNS(Social Networking Service)に投稿された画像データ内のロゴの露出量を調査したいというニーズがある。
また、広告業界のみならず、建設業界等においても、建設現場の周辺の環境を表す画像データの中から特定の建物やクレーン等の建設機械を検出したいというニーズもある。
従来、各種メディアや建設現場の画像データ等の特定のコンテンツ内に含まれるロゴ等の特定の対象物に関する調査は、主に、各種コンテンツを人が目視で確認することが一般的であった。例えば、雑誌等の紙媒体やテレビ放送の場合、作業者が調査対象の紙媒体や映像を閲覧して、調査対象のロゴの有無等を目視で確認していた。また、ウェブサイトやSNSのアプリケーション等の場合、作業者がキーワード検索やハッシュタグ検索等を行ってロゴが掲載されているウェブサイト等を見つけ出し、実際にロゴが使用されているか否かを目視で確認していた(例えば特許文献1参照)。
特開2016−081096号公報
しかしながら、従来のロゴ等の特定の対象物に関する調査は、主に人手作業によって行われているため、調査に多くの時間を要していた。また、人による目視作業のため、調査に漏れが生じる虞があった。
本発明は、上述した課題に鑑みてなされたものであり、コンテンツ内に含まれる所定の対象物を短時間且つ正確に検出することを目的とする。
本発明の代表的な実施の形態に係る画像検査装置は、検査対象画像データを取得するデータ取得部と、画像データを入力として当該画像データに所定の対象物を表す画像が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデルを記憶する記憶部と、前記記憶部に記憶された前記学習済みモデルに基づいて、前記データ取得部によって取得した前記検査対象画像データに前記所定の対象物を表す画像が含まれるか否かを検査する検査部とを備え、前記学習済みモデルは、立体的に表した前記所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像をそれぞれ主題とし、互いに異なる複数の第2画像をそれぞれ背景とした複数の第3画像に前記所定の対象物に関する識別情報をそれぞれラベリングして生成された複数の学習用画像データを機械学習することによって調整された学習済みパラメータを含むことを特徴とする。
本発明に係る画像検査装置によれば、コンテンツ内に含まれる所定の対象物を短時間且つ正確に検出することが可能となる。
実施の形態1に係る画像検査システムの構成を示す図である。 実施の形態1に係る画像検査装置の機能ブロック構成を示す図である。 実施の形態1に係る画像検査装置のハードウェア構成を示す図である。 実施の形態1に係る学習済みモデル生成装置の機能ブロック構成を示す図である。 実施の形態1に係る学習済みモデル生成装置のハードウェア構成を示す図である。 立体画像データの一例を示す図である。 立体画像データの一例を示す図である。 立体画像データの一例を示す図である。 立体画像データの一例を示す図である。 合成画像データの一例を示す図である。 実施の形態1に係る画像検査システムによる処理の流れを示すフロー図である。 実施の形態1に係る画像検査システムによる学習用画像データの生成処理(ステップS1)の流れを示すフロー図である。 実施の形態1に係る画像検査システムによる画像検査処理(ステップS4)の処理の流れを示すフロー図である。 実施の形態2に係る画像検査システムにおける学習済みモデル生成装置の機能ブロック構成を示す図である。 実施の形態2に係る画像検査システムによる学習用画像データの生成処理(ステップS1)の流れを示すフロー図である。 実施の形態3に係る画像検査システムにおける画像検査装置の機能ブロック構成を示す図である。 実施の形態3に係る画像検査システムによる処理の流れを示すフロー図である。 実施の形態3に係る画像検査システムによる画像編集処理(ステップS5)の流れを示すフロー図である。 検査対象のロゴの画像を含む検査対象画像データの一例を示す図である。 画像編集処理(ブラー処理)が行われた編集済み画像データの一例を示す図である。 画像編集処理(印の付加)が行われた編集済み画像データの一例を示す図である。
1.実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。なお、以下の説明では、一例として、発明の構成要素に対応する図面上の参照符号を、括弧を付して記載している。
〔1〕本発明の代表的な実施の形態に係る画像検査装置(2,2B)は、検査対象画像データ(201)を取得するデータ取得部(22)と、画像データを入力として当該画像データに所定の対象物を表す画像が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデル(202)を記憶する記憶部(24)と、前記記憶部に記憶された前記学習済みモデルに基づいて、前記データ取得部によって取得した前記検査対象画像データに前記所定の対象物を表す画像が含まれるか否かを検査する検査部(23)と、を備える。前記学習済みモデルは、立体的に表した前記所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像をそれぞれ主題とし、前記第1画像と異なる複数の第2画像をそれぞれ背景とした複数の第3画像に前記所定の対象物に関する識別情報をそれぞれラベリングして生成された複数の学習用画像データを機械学習することによって調整された学習済みパラメータを含むことを特徴とする。
〔2〕上記〔1〕に記載の画像検査装置において、インターネットを含むネットワーク(6)と接続するための通信部(21)を更に有し、前記データ取得部は、前記通信部を介して前記検査対象画像データを取得することを特徴とする。
〔3〕上記〔2〕に記載の画像検査装置において、前記データ取得部は、前記ネットワークにおける検査範囲を指定する情報(205)を取得した場合に、前記検査範囲を指定する情報に基づいて、前記ネットワークから前記検査対象画像データを取得してもよい。
〔4〕上記〔3〕に記載の画像検査装置において、前記検査範囲を指定する情報は、アドレス情報を含み、前記データ取得部は、前記アドレス情報で指定されたウェブページを表す画像データを前記検査対象画像データとして取得してもよい。
〔5〕上記〔3〕または〔4〕に記載の画像検査装置において、前記検査範囲を指定する情報は、タグ情報を含み、前記データ取得部は、前記タグ情報によって特定されるSNSに投稿された画像データを前記検査対象画像データとして取得してもよい。
〔6〕上記〔1〕乃至〔5〕の何れかに記載の画像検査装置において、前記検査部は、前記検査対象画像データの画像内における前記所定の対象物の位置を示す位置情報を含む検査結果データ(203)を生成してもよい。
〔7〕上記〔6〕に記載の画像検査装置(2B)において、前記検査結果データに基づいて、前記データ取得部によって取得した前記検査対象画像データの画像編集を行う画像編集部(25)を更に備えていてもよい。
〔8〕上記〔7〕に記載の画像検査装置において、前記画像編集部は、前記位置情報に基づいて、前記検査対象画像データの画像内における前記所定の対象物を含む領域(501)に対して画像編集処理を行ってもよい。
〔9〕上記〔1〕乃至〔8〕の何れかに記載の画像検査装置において、複数のフレームを含む動画データを入力し、前記動画データのフレームに基づいて前記検査対象画像データを取得してもよい。
〔10〕上記〔1〕乃至〔9〕の何れかに記載の画像検査装置において、前記所定の対象物は、ロゴであってもよい。
〔11〕本発明の代表的な実施の形態に係る学習済みモデル生成装置(3,3A)は、立体的に表した所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像(302_1〜302_n,302)をそれぞれ主題とし、前記第1画像と異なる複数の第2画像(303_1〜303_m,303)をそれぞれ背景とした複数の第3画像(304_1〜304_k,304)に前記所定の対象物に関する識別情報(305)をそれぞれラベリングした複数の学習用画像データ(306)を生成する学習用画像データ生成部(32)と、前記学習用画像データを機械学習することにより、画像データを入力として当該画像データに前記所定の対象物を表す画像が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデルを生成する学習済みモデル生成部(37)と、を備えることを特徴とする。
〔12〕上記〔11〕に記載の学習済みモデル生成装置において、前記学習用画像データ生成部は、前記複数の第1画像と前記複数の第2画像とを合成して前記複数の第3画像を生成する画像合成部(34)と、前記識別情報を、前記画像合成部によって生成された前記複数の第3画像にそれぞれラベリングして、前記複数の学習用画像データを生成するラベリング部(35)とを含んでもよい。
〔13〕上記〔12〕に記載の学習済みモデル生成装置(3A)において、前記学習用画像データ生成部は、前記所定の対象物の図形情報を含む図形データ(301)に基づいて、所定の形状を有する立体の表面に描かれた前記所定の対象物を所定の角度から見たときの画像を前記第1画像として生成する立体画像生成部(33)を更に含んでもよい。
〔14〕上記〔13〕に記載の学習済みモデル生成装置において、前記図形データは、前記所定の対象物の立体的形状を表す3軸のパラメータを含む三次元CADデータであってもよい。
〔15〕本発明の代表的な実施の形態に係る画像検査システム(1,1A,1B)は、立体的に表した所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像(302,302_1〜302_n)をそれぞれ主題とし、前記第1画像と異なる複数の第2画像(303,303_1〜303_m)をそれぞれ背景とした複数の第3画像(304,304_1〜304_k)に前記所定の対象物に関する識別情報(305)をそれぞれラベリングした複数の学習用画像データ(306)を生成する学習用画像データ生成部(32,32A)と、前記学習用画像データを機械学習することにより、画像データを入力として当該画像データに前記所定の対象物を表す画像が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデル(307)を生成する学習済みモデル生成部(37)と、検査対象画像データを取得するデータ取得部(22)と、前記学習済みモデル生成部によって生成された前記学習済みモデルに基づいて、前記データ取得部によって取得した前記検査対象画像データに前記所定の対象物を表す画像が含まれるか否かを検査する検査部(23)と、を備えることを特徴とする。
〔16〕本発明の代表的な実施の形態に係る画像検査用プログラム(1021)は、コンピュータを、検査対象画像データを取得するデータ取得部(22)と、画像データを入力として当該画像データに所定の対象物を表す画像が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデル(202)を記憶する記憶部(24)と、前記記憶部に記憶された前記学習済みモデルに基づいて、前記データ取得部によって取得した前記検査対象画像データに前記所定の対象物を表す画像が含まれるか否かを検査する検査部(23)として機能させ、前記学習済みモデルは、立体的に表した前記所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像をそれぞれ主題とし、前記第1画像と異なる複数の第2画像を背景とした複数の第3画像に、前記所定の対象物に関する識別情報をラベリングした学習用画像データを機械学習することによって生成されていることを特徴とする。
〔17〕上記〔16〕に記載の画像検査用プログラムにおいて、前記コンピュータを、インターネットを含むネットワーク(6)と接続するための通信部(21)として更に機能させ、前記データ取得部は、前記通信部を介して前記検査対象画像データを取得してもよい。
〔18〕上記〔17〕に記載の画像検査用プログラムにおいて、前記データ取得部は、前記ネットワークにおける検査範囲を指定する情報(205)を取得した場合に、前記検査範囲を指定する情報に基づいて、前記ネットワークから前記検査対象画像データを取得してもよい。
〔19〕上記〔16〕乃至〔18〕の何れかに記載の画像検査用プログラムにおいて、前記コンピュータを、前記検査部による検査結果に基づいて、前記データ取得部によって取得した前記検査対象画像データの画像編集を行う画像編集部(25)として更に機能させてもよい。
〔20〕本発明の代表的な実施の形態に係る学習済みモデル生成用プログラム(1023)は、コンピュータを、立体的に表した所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像(302,302_1〜302_n)をそれぞれ主題とし、前記第1画像と異なる複数の第2画像(303,303_1〜303_m)を背景とした複数の第3画像(304,304_1〜304_k)に、前記所定の対象物に関する識別情報(305)をラベリングした複数の学習用画像データ(306)を生成する学習用画像データ生成部(32)と、前記学習用画像データを機械学習することにより、画像データを入力として当該画像データに前記所定の対象物を表す画像が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデル(307)を生成する学習済みモデル生成部(37)として機能させることを特徴とする。
〔21〕上記〔20〕に記載の学習済みモデル生成用プログラムにおいて、前記学習用画像データ生成部は、前記複数の第1画像と前記複数の第2画像とを合成して前記複数の第3画像を生成する画像合成部(34)と、前記識別情報を、前記画像合成部によって生成された前記複数の第3画像にそれぞれラベリングして、前記複数の学習用画像データを生成するラベリング部(35)と、を含んでもよい。
〔22〕上記〔21〕に記載の学習済みモデル生成用プログラムにおいて、前記学習用画像データ生成部は、前記所定の対象物の図形情報を含む図形データに基づいて、所定の形状を有する立体の表面に描かれた前記所定の対象物を所定の角度から見たときの画像を前記第1画像として生成する立体画像生成部(33)を更に含んでもよい。
〔23〕上記〔22〕に記載の学習済みモデル生成用プログラムにおいて、前記図形データは、前記所定の対象物の立体的形状を表す3軸のパラメータを含む三次元CADデータであってもよい。
〔24〕本発明の一実施の形態に係る学習済みモデル(307)は、画像データを入力として当該画像データに所定の対象物が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデルであって、立体的に表した前記所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像(302_1〜302_n)をそれぞれ主題とし、互いに異なる複数の第2画像(303_1〜303_m)をそれぞれ背景とした複数の第3画像(304_1〜304_k)に前記所定の対象物に関する識別情報(305)をそれぞれラベリングして生成された学習用画像データ(306)を機械学習することによって調整された学習済みパラメータを含み、入力された前記画像データに対して前記学習済みパラメータに基づく演算を行い、前記所定の対象物が含まれるか否かを定量化した値を出力するよう、前記コンピュータを機能させることを特徴とする。
2.実施の形態の具体例
以下、本発明の実施の形態の具体例について図を参照して説明する。なお、以下の説明において、各実施の形態において共通する構成要素には同一の参照符号を付し、繰り返しの説明を省略する。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
≪実施の形態1≫
図1は、本発明の実施の形態1に係る画像検査システムの構成を示す図である。
同図に示される画像検査システム1は、所定の対象物を表す大量の画像データを機械学習によって学習して学習済みモデルを生成し、その学習済みモデルを用いて、入力された画像データ中に上記所定の対象物が含まれているか否かを検査するためのシステムである。
本実施の形態では、一例として、所定の対象物がロゴである場合について説明する。
ここで、ロゴとは、企業、団体、商品、またはサービス等を表す標章や商品の外観等の情報である。ここで、標章とは、文字、図形、記号、立体的形状若しくは色彩、またはこれらの結合をいう。
図1に示すように、画像検査システム1は、ネットワーク6に接続可能に構成され、ネットワーク6を介して複数のクライアント端末装置4やウェブサーバ5等の外部の情報処理装置と通信が可能となっている。
ネットワーク6は、例えばインターネットに代表される広域ネットワーク(WAN:Wide Area Network)である。画像検査システム1は、有線または無線通信によってネットワーク6と接続可能に構成されている。
クライアント端末装置4は、サーバとしての画像検査システム1に対して所定の処理(サービス)を要求するためのクライアント側の情報処理装置である。クライアント端末装置4は、有線または無線通信によってネットワーク6と接続可能に構成され、ネットワーク6を介して画像検査システム1やウェブサーバ5等の外部の情報処理装置と通信が可能となっている。
クライアント端末装置4としては、パーソナルコンピュータ、タブレット端末、またはスマートフォン等の各種情報処理装置(コンピュータ)を例示することができる。
図1に示すように、画像検査システム1は、学習済みモデルに基づいて、入力された画像データに含まれる所定の対象物(例えばロゴ)を検出する画像検査装置2と、上記学習済みモデルを生成する学習済みモデル生成装置3とを備えている。
画像検査装置2と学習済みモデル生成装置3とは、例えば、所定のネットワーク(例えば、LAN:Local Area Network)を介して接続されており、互いにデータの送受信が可能となっている。
以下、画像検査装置2と学習済みモデル生成装置3について、それぞれ詳細に説明する。
図2は、実施の形態1に係る画像検査装置2の機能ブロック構成を示す図である。
図3は、実施の形態1に係る画像検査装置2のハードウェア構成を示す図である。
画像検査装置2は、例えば、PC(パーソナルコンピュータ)やサーバ等の情報処理装置(コンピュータ)であって、インストールされた画像検査用プログラムにしたがって、学習済みモデルを用いて入力された画像データにおける所定の対象物(ロゴ)の有無を検査する装置である。
図2に示すように、画像検査装置2は、機能ブロックとして、学習済みモデルを用いて入力された画像データにおけるロゴを検出するための各種データ処理を行うための機能ブロックとして、通信部21、データ取得部22、検査部23、および記憶部24を有している。これらの各機能ブロックは、画像検査装置2としての情報処理装置を構成するハードウェア資源が、上記情報処理装置にインストールされたソフトウエア(画像検査用プログラム)と協働することによって、実現される。
図3に示すように、画像検査装置2は、ハードウェア資源として、演算装置101、記憶装置102、入力装置103、I/F(Interface)装置104、出力装置105、およびバス106を備えている。
演算装置101は、CPU(Central Processing Unit)やDSP(Digital Signal Processor)等のプロセッサによって構成されている。記憶装置102は、演算装置101に各種のデータ処理を実行させるためのプログラム1021と、演算装置101によるデータ処理で利用されるパラメータや演算結果等のデータ1022とを記憶する記憶領域を有し、例えばROM(Read Only Memory)、RAM(Random Access Memory)、HDD、およびフラッシュメモリ等から構成されている。
ここで、プログラム1021は、コンピュータ(プロセッサ)を画像検査装置2に係る各機能部として機能させるための画像検査用プログラムを含み、例えば、記憶装置102に予めインストールされている。
また、データ1022は、後述する検査対象画像データ201、学習済みモデル202、検査結果データ203、および検査範囲情報205等を含む。
なお、プログラム1021およびデータ1022は、ネットワークを介して流通可能であってもよいし、CD−ROM等のコンピュータが読み取り可能な記憶媒体(Non−transitory computer readable medium)に書き込まれて流通可能であってもよい。
入力装置103は、外部から情報の入力を検出する機能部であり、例えばキーボード、マウス、ポインティングデバイス、ボタン、またはタッチパネル等から構成されている。I/F装置104は、外部との情報の送受を行う機能部であり、有線または無線によって通信を行うための通信制御回路や入出力ポート、アンテナ等から構成されている。
出力装置105は、演算装置101によるデータ処理によって得られた情報等を出力する機能部である。出力装置105としては、SSDやHDD等の外部記憶装置や、LCD(Liquid Crystal Display)および有機EL(Electro Luminescence)等の表示装置を例示することができる。バス106は、演算装置101、記憶装置102、入力装置103、I/F装置104、および出力装置105を相互に接続し、これらの装置間でデータの授受を可能にする機能部である。
画像検査装置2は、演算装置101が記憶装置102に記憶されたプログラム1021に従って演算を実行して、記憶装置102、入力装置103、I/F装置104、出力装置105、およびバス106を制御することにより、図2に示した画像検査装置2の各機能ブロック(通信部21、データ取得部22、検査部23、および記憶部24)が実現される。
以下、画像検査装置2の各機能ブロックについて説明する。
通信部21は、外部の情報処理装置と通信を行うための機能部である。
具体的に、通信部21は、ネットワーク6に接続されて、ネットワーク6を介して複数のクライアント端末装置4やウェブサーバ5等の外部の情報処理装置との間でデータの送受信を行う。
また、通信部21は、画像検査システム1内の学習済みモデル生成装置3との間で、上述した所定のネットワーク(例えばLAN)を介してデータの送受信を行う。
データ取得部22は、ユーザ(例えば、サービス提供者)からの指示や各種データを入力する機能部である。データ取得部22は、画像検査システム1による検査対象の画像データ(以下、「検査対象画像データ」とも称する。)201や学習済みモデル202等の各種データを取得する。
例えば、データ取得部22は、通信部21がネットワーク6を介してクライアント端末装置4から静止画データや動画データを受信した場合、あるいは通信部21が外部の記憶装置(HDDやSSD等)や記憶媒体(光ディスクやUSBメモリ等)から静止画データや動画データを読み出した場合に、その静止画データや動画データを検査対象画像データ201として記憶部24に記憶する。例えば、静止画データの場合、データ取得部22は、受信または読み出した静止画データを検査対象画像データ201として記憶部24に記憶する。また、動画データの場合、データ取得部22は、受信または読み出した動画データに含まれるフレームに基づいて検査対象画像データ201を生成する。例えば、動画データの各フレームのデータをそれぞれ検査対象画像データ201として記憶部24に記憶する。
また、データ取得部22は、ネットワーク6における検査範囲を指定する検査範囲情報205を取得する。データ取得部22は、通信部21がネットワーク6を介してクライアント端末装置4から検査範囲情報205を受信した場合に、その検査範囲情報205に基づいて検査対象画像データ201を取得する。
例えば、検査範囲情報205として、ウェブページのアドレス情報(URL:Uniform Resource Locator)を取得した場合、データ取得部22は、入力されたURLで指定されたウェブページの画像データを検査対象画像データ201として取得する。すなわち、データ取得部22は、通信部21を介してウェブサーバ5にアクセスし、HTMLファイルや画像ファイルなどのウェブページを構成するデータをネットワーク6から取得する。そして、データ取得部22は、ウェブサーバ5から取得したそれらのデータに基づいて、当該ウェブページの画像データを生成し、検査対象画像データ201として記憶部24に記憶する。
このウェブページを画像データとして複製する機能は、例えば、公知のクローリング技術等を用いることによって実現することができる。
また、検査範囲情報205として、SNSのハッシュタグ等のタグ情報を取得した場合、データ取得部22は、取得したタグ情報によって特定されるSNSの投稿された画像データをネットワーク6から取得し、検査対象画像データ201として記憶部24に記憶する。
記憶部24は、画像検査装置2による画像検査処理に必要な各種データを記憶する機能部である。例えば、記憶部24は、上述した検査対象画像データ201および検査範囲情報205の他に、学習済みモデル202および検査結果データ203を記憶する。
学習済みモデル202は、画像データを入力として当該画像データに所定の対象物が含まれるか否かを検査するようにコンピュータを機能させるためのプログラムである。検査結果データ203は、検査部23による検査結果を含むデータである。なお、学習済みモデル202および検査結果データ203の詳細については、後述する。
検査部23は、データ取得部22によって取得した検査対象画像データ201を入力として、後述する学習済みモデル生成装置3によって生成された学習済みモデル202(アルゴリズム)を用いて、検査対象画像データ201内に所定の対象物としてのロゴが含まれているか否かを検査する機能部である。
具体的に、検査部23は、検査対象画像データ201内における所定のロゴの有無やその個数、検査対象画像データ201の画像内における所定のロゴの位置等を検査する。例えば、検査部23は、検査対象画像データ201の画像内における所定のロゴの有無および個数を示す情報や、検査対象画像データ201の画像内における所定のロゴの位置を示す位置情報(例えば、ピクセル座標やピクセル番号等の画像内の位置や領域を示す情報)を含む検査結果データ203を生成し、記憶部24に記憶する。記憶部24に記憶された検査結果データ203は、通信部21によって画像検査装置2の外部に出力可能となっている。
次に、学習済みモデル生成装置3について説明する。
図4は、実施の形態1に係る学習済みモデル生成装置3の機能ブロック構成を示す図である。
図5は、実施の形態1に係る学習済みモデル生成装置3のハードウェア構成を示す図である。
学習済みモデル生成装置3は、例えば画像検査装置2と同様に、PCやサーバ等の情報処理装置(コンピュータ)であって、インストールされた学習済みモデル生成用プログラムにしたがって学習用画像データを生成するとともに、生成した学習用画像データを機械学習によって学習して学習済みモデルを生成する装置である。
図4に示すように、学習済みモデル生成装置3は、学習済みモデルを生成するための機能ブロックとして、通信部31、学習用画像データ生成部32、記憶部36、および学習済みモデル生成部37を有している。これらの各機能ブロックは、学習済みモデル生成装置3としての情報処理装置を構成するハードウェア資源が、上記情報処理装置にインストールされたソフトウエア(学習済みモデル生成用プログラム)と協働することによって、実現される。
図5に示すように、学習済みモデル生成装置3は、画像検査装置2と同様に、ハードウェア資源として、演算装置101、記憶装置102、入力装置103、I/F(Interface)装置104、出力装置105、およびバス106を備えている。
記憶装置102に記憶されるプログラム1023は、コンピュータを本実施の形態に係る学習済みモデル生成装置3の各機能部として機能させる学習済みモデル生成用プログラムを含み、例えば、記憶装置102に予めインストールされている。
また、データ1024は、後述する、立体画像データ302、背景画像データ303、合成画像データ304、識別情報305、および学習済みモデル307等を少なくとも一つ含む。
なお、プログラム1023およびデータ1024は、ネットワークを介して流通可能であってもよいし、CD−ROM等のコンピュータが読み取り可能な記憶媒体(Non−transitory computer readable medium)に書き込まれて流通可能であってもよい。
以下、学習済みモデル生成装置3の各機能ブロックについて説明する。
通信部31は、外部の情報処理装置と通信を行うための機能部である。具体的に、通信部31は、画像検査システム1内の画像検査装置2との間で、上述した所定のネットワーク(例えばLAN)を介してデータの送受信を行う。
なお、通信部31は、ネットワーク6に接続されて、ネットワーク6を介して複数のクライアント端末装置4やウェブサーバ5等の外部の情報処理装置との間でデータの送受信が行えるように構成されていてもよい。
学習用画像データ生成部32は、学習済みモデルを生成するための各種データを生成するための機能部である。具体的に、学習用画像データ生成部32は、立体的に表した所定の対象物(ロゴ)を互いに異なる複数の角度から見たときの複数の第1画像をそれぞれ主題とし、第1画像と異なる複数の第2画像をそれぞれ背景とした複数の第3画像に、所定の対象物に関する識別情報をそれぞれラベリングした複数の学習用画像データ(教師データ)を生成する。
ここで、所定の対象物とは、画像検査装置2による検査対象のロゴである。
図4に示すように、学習用画像データ生成部32は、機能ブロックとして、画像合成部34およびラベリング部35を有する。
画像合成部34は、第1画像としての複数の立体画像データ302_1〜302_n(nは2以上の整数)と、第2画像としての複数の背景画像データ303_1〜303_m(mは2以上の整数)とに基づいて、第3画像としての複数の合成画像データ304_1〜304_k(kは2以上の整数)を生成する機能部である。
本実施の形態では、立体画像データ302_1〜302_nと背景画像データ303_1〜303_mは、例えば、記憶部36に記憶されている。
具体的に、画像合成部34は、立体画像データ302_1〜302_nをそれぞれ主題とし、第2画像データとしての複数の背景画像データ303_1〜303_m(mは2以上の整数)をそれぞれ背景として合成した画像データを合成画像データ304_1〜304_kとして生成する。
なお、以下の説明において、立体画像データ302_1〜302_n、背景画像データ303_1〜303_m、および合成画像データ304_1〜304_kについて、各データを区別しない場合には、「立体画像データ302」、「背景画像データ303」、および「合成画像データ304」とそれぞれ表記する場合がある。
図6A〜図6Dは、立体画像データ302の一例を示す図である。
図6A〜図6Dに示すように、立体画像データ302は、ロゴ(所定の対象物)を立体的に表した画像データである。例えば、立体画像データ302は、所定の形状を有する立体の表面に描かれたロゴ(所定の対象物)を所定の角度(方向)から見たときの当該ロゴを表す画像データ、または立体的に表したロゴそのものを所定の角度から見たときの画像データである。
例えば、図6Aには、円柱402の表面に描かれたロゴ401Aを所定の角度から見たときの立体画像データ302が示され、図6Bには、多角柱403の表面に描かれたロゴ401Bを所定の角度から見たときの立体画像データ302が示され、図6Cには、直方体(例えば矩形の平板)404の表面に描かれたロゴ401Cを所定の角度から見たときの立体画像データ302が示されている。また、図6Dには、図6Aと同様の円柱402の表面に描かれたロゴ401Dを図6Aとは異なる角度から見たときの立体画像データ302が示されている。
ここで、立体画像データ302は、背景のないロゴだけを表す画像データを含んでもよい。例えば、図6Aの立体画像データ302は、円柱402の画像データを含まず、ロゴ401Aのみを表す画像データを含んでもよい。
本実施の形態では、立体的に表したロゴ(所定の対象物)を互いに異なる複数の角度から見たときの複数の第1画像、すなわち、図6A〜図6Dに示すような、種々の立体の表面に描かれたロゴを種々の角度からみたときの複数の画像を用意し、それらを立体画像データ302_1〜302_nとして記憶部36に記憶しておく。
背景画像データ303は、第1画像としての立体画像データ302とは異なる第2画像のデータであって、所定の対象物としてのロゴの背景となる画像データである。
背景画像データ303は、立体画像データ302と異なる画像データであればよく、種々の画像データを背景画像データ303として用いることができる。例えば、単色や種々の模様を含む画像データに加えて、山や海等の自然の風景、街並み、オフィスビル街、ビルや商業施設等の建物内、駅の構内等の種々の画像データを背景画像データ303として用いることができる。
本実施の形態では、背景画像と成り得る画像を複数用意し、それらを背景画像データ303_1〜303_mとして記憶部36に記憶しておく。
図7は、合成画像データ304の一例を示す図である。
画像合成部34は、例えば、図6A〜図6Dに示されるような立体画像データ302_1〜302_nと背景画像データ303_1〜303_mとそれぞれ一枚ずつ選択し、選択した立体画像データ302と背景画像データ303とを互いに異なるレイヤーで重ね合わせて合成し、合成画像データ304を生成する。
図7には、一例として、図6Aに示した立体画像データ302(ロゴ401A)と、海岸を表す背景画像データ303とを互いに異なるレイヤーで重ね合わせた合成画像データ304が示されている。
このとき、立体画像データ302が、ロゴのみを表すデータである場合、立体画像データ302と背景画像データ303とを異なるレイヤーで合成することによって、合成画像データ304内のロゴの範囲を示すマスキング情報も自動的に生成することが可能となる。
画像合成部34は、例えば、n個の立体画像データ302とm個の背景画像データ303の組み合わせに基づくk(=n×m)個の合成画像データ304を生成して、記憶部36に記憶する。
ラベリング部35は、ロゴの識別情報305を合成画像データ304_1〜304_kにそれぞれラベリングする。
ここで、識別情報305は、合成画像データ304に含まれる所定の対象物としてのロゴの正解情報(正解ラベル)である。例えば、合成画像データ304に含まれるロゴが特定の企業を表す場合、識別情報305には、その企業の名称等の情報が含まれる。また、合成画像データ304に含まれるロゴが特定の商品またはサービスを表す場合、その識別情報305には、例えば、その商品の名称またはサービスの名称や、その商品またはサービスを提供している企業の名称等の情報が含まれる。
ラベリング部35は、それぞれの合成画像データ304_1〜304_kと識別情報305とを対応付けた複数の学習用画像データ306を生成し、記憶部36に記憶する。
学習済みモデル生成部37は、学習用画像データ生成部32によって生成された複数の学習用画像データ306を機械学習することにより、画像データを入力として当該画像データに所定の対象物としてのロゴが含まれるか否かを検査するように情報処理装置(コンピュータ)を機能させるための学習済みモデル307を生成する機能部である。
学習済みモデル307は、所定の技法(アルゴリズム)に基づく機械学習によるプログラムである。
ここで、所定の技法(アルゴリズム)としては、例えば、CNN(Convolutional Neural Network)等のニューラルネットワーク、線形回帰、ボルツマンマシン、サポートベクターマシン、ベイジアンネットワーク、スパース回帰、決定木、ランダムフォレストを用いた統計的推定、強化学習、深層学習、のうちの少なくとも一つを含む。
すなわち、学習済みモデル307は、入力された画像データ(検査対象画像データ201)に対して、所定の学習済みパラメータに基づく演算を行い、当該画像データに所定の対象物としてのロゴが含まれるか否かを定量化した値を出力するように、情報処理装置(コンピュータ)を機能させるためのプログラムである。
ここで、学習済みパラメータとは、学習用画像データ306を学習用プログラム(上記所定のアルゴリズムに基づくプログラム)に対する入力として用いることにより、画像データに含まれる所定の対象物としてのロゴの有無を検査するように機械的に調整されたパラメータである。例えば、ニューラルネットワークの場合、学習済みパラメータは、重み付け係数等の変数である。
例えば、ニューラルネットワークの場合、学習済みモデル生成部37は、学習に使用する入力データ(合成画像データ304_1〜304_k)と正解データ(識別情報305)の誤差を誤差逆伝搬法により、上記学習済みパラメータを逐次更新して、学習済みモデル307を生成する。
学習済みモデル307には、上述した学習済みパラメータに加えて、推論プログラムが含まれていてもよい。推論プログラムとは、上記学習済みパラメータを組み込んで、入力された画像データに対して一定の結果を出力するためのプログラムである。
学習済みモデル生成部37によって生成された学習済みモデル307は、記憶部36に記憶されるとともに、画像検査装置2の記憶部24に学習済みモデル202として登録される。例えば、画像検査装置2が学習済みモデル生成装置3と通信を行うことにより、画像検査装置2が学習済みモデル生成装置3から学習済みモデル307を取得し、学習済みモデル202として記憶部24に記憶する。
これにより、画像検査装置2は、記憶部24に記憶された学習済みモデル202(307)を用いて、入力した画像に対する特定のロゴの有無を検査する画像検査処理を行うことが可能となる。
なお、学習済みモデル生成装置3における学習用画像データ生成部32と学習済みモデル生成部37とは、一つのプロセッサによるプログラム処理によって実現してもよいが、それぞれ別個のプロセッサのプログラム処理によって実現してもよい。すなわち、学習済みモデル生成装置3のハードウェア資源の一つである演算装置101として、学習用画像データの生成のためのデータ処理を実行する少なくとも一つのプロセッサと、学習済みモデルの生成のためのデータ処理を実行する少なくとも一つのプロセッサとを別々に設けてもよい。
次に、画像検査システム1による処理の流れを説明する。
図8は、画像検査システム1による処理の流れを示すフロー図である。
先ず、図8に示すように、画像検査システム1において、学習済みモデル生成装置3の学習用画像データ生成部32が学習用画像データ306を生成する(ステップS1)。
図9は、学習用画像データの生成処理(ステップS1)の流れを示すフロー図である。
ステップS1において、先ず、学習用画像データ生成部32の画像合成部34が立体画像データ302と背景画像データ303とを記憶部36から読み出す(ステップS11)。
次に、画像合成部34が、上述した手法により、ステップS11で読み出した立体画像データ302と背景画像データ303とを合成して合成画像データ304を生成し、記憶部36に記憶する(ステップS12)。
次に、ラベリング部35が、ステップS12に生成された合成画像データ304に識別情報305を対応付けた学習用画像データ306を生成する(ステップS13)。
次に、画像合成部34が、記憶部36に記憶されている立体画像データ302_1〜302_nと背景画像データ303_1〜303_mの必要な全ての組み合わせについて、学習用画像データ306(合成画像データ304_1〜304_k)が生成されたか否かを検査する(ステップS14)。
ステップS14において、立体画像データ302_1〜302_nと背景画像データ303_1〜303_mの全ての組み合わせに係る学習用画像データ306が生成されていない場合には(ステップS14:No)、画像合成部34が、必要な立体画像データ302および背景画像データ303を記憶部36から読み出して合成し、ラベリング部35が、その合成画像データ304に識別情報305をラベリングして学習用画像データ306を生成することを繰り返す(S11〜S14)。
ステップS14において、立体画像データ302_1〜302_nと背景画像データ303_1〜303_mの必要な全ての組み合わせに係る学習用画像データ306が生成されている場合には(ステップS14:Yes)、学習済みモデル生成装置3の学習用画像データ生成部32が学習用画像データの生成処理(ステップS1)を終了する。
ステップS1において必要な学習用画像データ306が生成された後、図8に示すように、学習済みモデル生成装置3の学習済みモデル生成部37が学習済みモデル307を生成する(ステップS2)。具体的に、学習済みモデル生成部37は、上述した手法により、ステップS1で作成された複数の学習用画像データ306を学習することによって学習済みモデル307を作成する。そして、学習済みモデル307について充分な精度が得られた場合には、その学習済みモデル307を記憶部36に記憶する。
なお、学習済みモデル307について充分な精度が得られたか否かの判定は、以下のように行えばよい。例えば、いくつかのサンプルデータを検査部23に入力してロゴ検査処理を実行し、その検査結果の正解率が所定の閾値を超えた場合に、学習済みモデル307について十分な検出精度が得られたと判定し、その検査結果の正解率が所定の閾値を超えない場合には、引き続き、学習用画像データ306の学習を進めればよい。
次に、ステップS2において学習済みモデル生成装置3によって生成された学習済みモデル307を、画像検査装置2に登録する(ステップS3)。例えば、ユーザ(例えばサービス提供者)による画像検査装置2または学習済みモデル生成装置3の入力装置103(キーボードやマウス等)の操作に応じて、学習済みモデル生成装置3の通信部31が、記憶部36に記憶された学習済みモデル307を読み出して画像検査装置2に送信し、画像検査装置2の通信部21が、受信した学習済みモデル307を学習済みモデル202として記憶部24に記憶する。
あるいは、ステップS2の処理の完了に応じて、通信部31が学習済みモデル307を画像検査装置2に送信してもよいし、画像検査装置2がロゴについての画像検査処理を実行する際に、画像検査装置2が学習済みモデル生成装置3にアクセスし、必要に応じて最新の学習済みモデル307をダウンロードして、学習済みモデル202として記憶部24に登録してもよい。
次に、画像検査システム1は、画像検査処理を行う(ステップS4)。
例えば、クライアント端末装置4が、画像検査システム1に対して、指定された情報媒体における特定のロゴの有無の検査の実行を要求するリクエスト情報を送信した場合、画像検査装置2がその要求に応答して画像検査処理を開始する。あるいは、例えば、ユーザ(例えば、サービス提供者)が画像検査装置2の入力装置103(キーボードやマウス等)を操作することによりリクエスト情報が入力された場合、画像検査装置2がその要求に応答して画像検査処理を開始する。
ここで、上記リクエスト情報には、画像検査の実行を指示する指令の他に、検査対象の画像に関するデータが含まれる。
上記検査対象の画像に関するデータは、検査対象画像データ201そのものであってもよいし、上述したように検査範囲情報205であってもよい。
図10は、画像検査処理(ステップS4)の処理の流れを示すフロー図である。
ステップS4において、先ず、画像検査装置2のデータ取得部22が、検査対象画像データ201を取得する(ステップS41)。
例えば、上述したように、通信部21によって受信した上記リクエスト情報に、検査対象画像データ201が含まれている場合には、データ取得部22が検査対象画像データ201を記憶部24に記憶する。
また、例えば、受信した上記リクエスト情報に特定のウェブページのアドレス情報(URL)が含まれている場合には、上述したように、データ取得部22が、受信したURLで指定されたウェブページを構成するHTMLファイルや画像ファイルなどのデータをウェブサーバ5を介して取得して当該ウェブページの画像データを生成し、検査対象画像データ201として記憶部24に記憶する。
また、例えば、受信した上記リクエスト情報にSNSのハッシュタグ等のタグ情報が含まれている場合には、上述したように、データ取得部22が、取得したタグ情報によって特定されるSNSの投稿された画像データをネットワーク6から取得し、検査対象画像データ201として記憶部24に記憶する。
次に、画像検査装置2において、検査部23が記憶部24に記憶された学習済みモデル202に基づいて、ステップS41で記憶部24に記憶された検査対象画像データ201に所定のロゴが含まれるか否かを検査する画像検査を実行する(ステップS42)。検査部23は、ステップS42による検査結果に基づいて、検査結果データ203を生成し、記憶部24に記憶する(ステップS43)。
次に、検査部23は、上記リクエスト情報によって調査が要求された全ての検査対象画像データ201について、上述のステップS43の画像検査が行われたか否かを検査する(ステップS44)。具体的には、ステップS41において取得した検査対象画像データ201が複数ある場合、すなわち、上記リクエスト情報に複数の検査対象画像データ201が含まれていた場合や、上記リクエスト情報に複数のウェブページからなるウェブサイトのアドレス情報が含まれており、各ウェブページの画像データをそれぞれ検査対象画像データ201として取得した場合には、それら全ての検査対象画像データ201に対する画像検査が終了しているか否かを検査する。
ステップS44において、全ての検査対象画像データ201についての画像検査が終了していない場合には、残りの検査対象画像データ201に対して画像検査処理を実行し、その検査結果データ203を記憶部24に記憶することを繰り返す(ステップS42〜S44)。
一方、ステップS44において、全ての検査対象画像データ201についての画像検査が終了している場合には、画像検査装置2は、全ての検査対象画像データ201についての検査結果データ203を出力する(ステップS45)。
例えば、上述したように、クライアント端末装置4からリクエスト情報を受信した場合には、画像検査装置2の通信部21が、そのリクエスト情報に対するレスポンスとして検査結果データ203を当該クライアント端末装置4に送信する。また、例えば、ユーザ(例えば、サービス提供者)が画像検査装置2の入力装置103(キーボードやマウス等)を直接操作して画像検査処理を実行した場合には、画像検査装置2の出力装置105としての表示装置に検査結果データ203に基づく検査結果を表示してもよい。
以上、実施の形態1に係る画像検査システム1によれば、画像検査装置2が、画像データを入力として当該画像データに所定のロゴが含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデル202(307)に基づいて、取得した検査対象の画像を含む検査対象画像データ201に所定のロゴが含まれるか否かを検査する。
これによれば、例えば、ユーザ(例えば、サービス提供者)は検査対象のコンテンツを含む画像データを画像検査装置2に入力することで、そのコンテンツに検査対象のロゴが含まれているか否かを容易に知ることができるので、従来に比べて、短時間且つ正確に、コンテンツに含まれるロゴの有無を調査することが可能となる。
例えば、雑誌のコンテンツ内に特定のロゴが含まれているか否かを調査する場合には、その特定のロゴを検査するように学習させた学習済みモデル202を登録した画像検査装置2に、その雑誌の紙面をスキャンした画像データを検査対象画像データ201として入力することにより、従来の人による目視作業に比べて、より短時間且つ正確に、その雑誌のコンテンツ内に特定のロゴが含まれているか否かを調査することが可能となる。
また、実施の形態1に係る画像検査システム1における学習済みモデル生成装置3は、立体的に表した所定の対象物(ロゴ)を互いに異なる複数の角度から見たときの立体画像データ302_1〜302_n(第1画像)と、立体画像データ302_1〜302_nとは異なる複数の背景画像データ303_1〜303_m(第2画像)とをそれぞれ組み合わせて、複数の合成画像データ304_1〜304_k(第3画像)を生成し、その合成画像データ304_1〜304_kに所定のロゴの識別情報305をそれぞれラベリングして学習用画像データ306を生成する。そして、学習済みモデル生成装置3は、その学習用画像データ306を機械学習することにより、画像データを入力として当該画像データに所定の対象物としてのロゴが含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデル307を生成する。
これによれば、単にロゴを平面的に表した画像データを学習用画像データとして機械学習させる場合に比べて、検出精度の高い学習済みモデルを生成することが可能となる。
すなわち、学習済みモデル生成装置3によれば、ロゴの見え方とその背景とが異なる大量の学習用画像データ306を生成することができるので、これらの学習用画像データ306を機械学習器に学習させることにより、画像データ(コンテンツ)内のロゴの表示態様や背景画像の変化に対してロバスト性の高い学習済みモデルを生成することができる。これにより、画像検査装置2によるロゴの検出精度を向上させることが可能となる。
また、実施の形態1に係る画像検査システム1では、画像検査装置2が、インターネットを含むネットワーク6と接続するための通信部21を有し、通信部21を介してネットワーク6から検査対象画像データ201を取得することが可能となっている。
これによれば、例えば、サービスの受け手であるユーザのクライアント端末装置4からネットワーク6を介して、検査対象画像データ201を画像検査装置2に送信することにより、容易に検査結果を得ることができる。すなわち、ユーザ側で自前の画像検査装置2を用意しなくても、インターネットの接続環境が整っていれば、検査対象のコンテンツに含まれる特定のロゴの有無を容易に調査することが可能となる。
また、実施の形態1に係る画像検査システム1では、画像検査装置2が、通信部21を介してネットワーク6における検査範囲を指定する検査範囲情報205が入力された場合に、検査範囲情報205に基づいて、ネットワーク6から検査対象画像データ201を取得することが可能となっている。
例えば、検査範囲情報205として、ウェブページのアドレス情報が入力された場合には、画像検査装置2が、入力されたアドレス情報で指定されたウェブページの画像データを検査対象画像データ201として取得する。また、検査範囲情報205として、ハッシュタグ等のタグ情報が入力された場合には、画像検査装置2が、入力されたタグ情報によって特定されるSNSの投稿された画像データを検査対象画像データ201として取得する。
これによれば、調査対象の情報媒体がウェブサイト等の場合に、サービスの受け手であるユーザ自らがそのウェブサイト等の画像データを準備する必要がないので、より簡単且つ短時間に、情報媒体に含まれるロゴの有無を調査することが可能となる。
また、画像検査システム1によれば、画像検査装置2は、検査対象画像データ201の画像内における検査対象のロゴの位置情報を含む検査結果データ203を生成する。これによれば、ユーザは、検査対象画像データ201の画像内のどこに検査対象のロゴが表示されているかを容易に判断することが可能となる。
≪実施の形態2≫
図11は、実施の形態2に係る画像検査システムにおける学習済みモデル生成装置の機能ブロック構成を示す図である。
同図に示される学習済みモデル生成装置3Aは、学習用画像データの生成に必要な立体画像データ302を生成する機能を有する点において、実施の形態1に係る学習済みモデル生成装置3と相違し、その他の点においては学習済みモデル生成装置3と同様である。
具体的に、実施の形態2に係る画像検査システム1Aにおける学習済みモデル生成装置3Aの学習用画像データ生成部32Aは、画像合成部34およびラベリング部35に加えて、立体画像生成部33を更に有する。
立体画像生成部33は、第1画像データとしての立体画像データ302_1〜302_nを生成する機能部である。立体画像生成部33は、図形データ301に基づいて、立体画像データ302_1〜302_nを生成する。
図形データ301は、所定の対象物(ロゴ)の図形情報を含むデータである。図形情報は、例えば、所定の対象物としてのロゴが表面に描かれた所定の形状を有する立体を表す3軸のパラメータや、ロゴの立体形状を表す3軸のパラメータ等である。すなわち、図形データ301は、ロゴが描かれた立体またはロゴそのものの立体形状を表す三次元CAD(Computer−Aided Design)データである。
図形データ301は、記憶部36に記憶されている。例えば、ユーザ(例えば、サービス提供者)が学習済みモデル生成装置3の入力装置103(キーボードやマウス、タッチパネル等)を操作することにより、学習済みモデル生成装置3に接続された外部の記憶装置(HDDやSSD等)や記憶媒体(光ディスクやUSBメモリ等)に記憶された図形データ301を読み出して記憶装置102(記憶部36)に記憶してもよいし、クライアント端末装置4からネットワーク6を介して図形データ301を受信して記憶装置102(記憶部36)に記憶してもよい。
図12は、実施の形態2に係る学習済みモデル生成装置3Aによる学習用画像データの生成処理(図8のステップS1)の流れを示すフロー図である。
先ず、立体画像生成部33が、記憶部36に記憶されている図形データ301を読み出す(ステップS15)。
次に、立体画像生成部33が、ステップS15で読み出した図形データ301に基づいて、立体画像データ302を生成する(ステップS16)。
例えば、図形データ301が、ロゴが表面に描かれた立体(例えば、図6A等に示した円柱や多角柱等)を表す三次元CADデータである場合、立体画像生成部33は、その三次元CADデータによって表される立体を複数の方向から見たときの、ロゴの画像を複数生成し、立体画像データ302_1〜302_nとして記憶部36に記憶する。
また、例えば、図形データ301がロゴそのものの立体形状を表す三次元CADデータである場合、立体画像生成部33は、その三次元CADデータによって表される立体的なロゴを複数の方向から見たときの画像を複数生成し、立体画像データ302_1〜302_nとして記憶部36に記憶する。
ステップS16後の処理は、実施の形態1に係る学習済みモデル生成装置3Aと同様である。すなわち、画像合成部34が、上述した手法により、記憶部36から読み出した立体画像データ302_1〜302_nと背景画像データ303_1〜303_mとに基づいて合成画像データ304_1〜304_kを生成し、ラベリング部35が合成画像データ304_1〜304_kに識別情報305をラベリングして複数の学習用画像データ306を生成する(ステップS11〜S14)。
以上、実施の形態2に係る学習済みモデル生成装置3Aは、立体画像生成部33を更に有しているので、画像検査装置2による検査対象のロゴの図形情報を含む図形データ301(例えば、三次元CADデータ)を準備することにより、多方向から見たロゴの立体画像データ302_1〜302_nを自動で生成することができる。これにより、ロゴの調査を行う際に検査対象のロゴの立体画像データ302_1〜302_nを準備する必要がないので、より使い勝手のよい製品またはサービスを提供することができる。
≪実施の形態3≫
図13は、実施の形態3に係る画像検査システムにおける画像検査装置の機能ブロック構成を示す図である。
同図に示される画像検査装置2Bは、検査対象のロゴに関する検査結果に基づいて、検査対象画像データの画像編集を行う機能を備える点において、実施の形態1に係る画像検査装置2と相違し、その他の点においては画像検査装置2と同様である。
具体的に、実施の形態3に係る画像検査システム1Bにおける画像検査装置2Bは画像編集部25を更に有する。画像編集部25は、検査部23による検査結果に基づいて、データ取得部22によって取得した検査対象画像データ201の画像編集を行う機能部である。
図14は、実施の形態3に係る画像検査システム1Bによる処理の流れを示すフロー図である。
図14に示すように、画像検査システム1Bでは、ステップS4の後に、画像編集部25が、検査対象画像データ201に基づく画像編集処理を実行する(ステップS5)。
図15は、実施の形態3に係る画像検査システム1Bによる画像編集処理(ステップS5)の流れを示すフロー図である。
先ず、ステップS5では、画像編集部25が、記憶部24から検査結果データ203を読み出す(ステップS51)。次に、画像編集部25が、ステップS51で読み出した検査結果データ203に対応する検査対象画像データ201を読み出す(ステップS52)。
次に、画像編集部25が、ステップS51で読み出した検査結果データ203に基づいて、ステップS52で読み出した検査対象画像データ201に対する画像編集処理を行う(ステップS53)。
例えば、図16Aに示すように、検査対象画像データ201が、ロゴ500を含むWebページを表す画像データである場合、先ず、画像編集部25は、検査結果データ203に含まれるロゴの位置情報に基づいて、検査対象画像データ201内に存在するロゴ500を特定し、特定したロゴ500を含む領域501を画像編集対象領域とする。
次に、画像編集部25は、検査対象画像データ201における画像編集対象領域501に対して画像編集処理を行う。
例えば、図16Bに示すように、画像編集部25は、検査対象画像データ201における画像編集対象領域501に存在するロゴ500を視認できないようにブラー処理(ぼかし)502を行う。あるいは、図16Cに示すように、画像編集部25は、検査対象画像データ201における検査対象のロゴ500が表示されている位置が明確になるように、例えば印503を付加してもよい。また、検査対象画像データ201における画像編集対象領域501に存在するロゴが目立つように、そのロゴを際立たせるような画像編集処理を行ってもよい。
画像編集部25は、ステップS53において検査対象画像データ201に画像編集処理を施して得られた画像データを編集済み画像データ204として記憶部24に記憶する(ステップS54)。
次に、画像編集部25は、編集対象の全ての検査対象画像データ201に対して画像編集処理が行われたか否かを検査する(ステップS55)。
ステップS55において、編集対象の全ての検査対象画像データ201に対する画像編集処理が完了していない場合には、残りの検査対象画像データ201に対して、同様の画像編集処理を実行する(S51〜S54)。例えば、動画におけるロゴの調査を行う場合、その動画の調査範囲における各フレームに対応する全ての検査対象画像データ201に対して、上述した画像編集処理を実行する。
ステップS55において、編集対象の全ての検査対象画像データ201に対する画像編集処理が完了した場合には、全ての編集済み画像データ204を出力する(ステップS56)。例えば、クライアント端末装置4から動画データにおけるロゴの検査のリクエストを受けた場合には、全ての編集済み画像データ204に基づいて再編集した動画データをクライアント端末装置4に送信する。
なお、ステップS55において編集済み画像データ204を送信する際に、検査結果データ203も一緒に出力してもよい。この場合、図10におけるステップS45において検査結果データ203の出力は行わず、ステップS5の完了時に、編集済み画像データ204および検査結果データ203がまとめて出力されることになる。
以上、実施の形態3に係る画像検査装置2Bによれば、検査対象画像データのロゴの有無の検査のみならず、検査対象画像データにおけるロゴを含む領域の画像編集が可能となる。例えば、上述した動画データのように、ロゴの有無の調査の後に動画データの編集作業が必要な場合には、ロゴの検出からそのロゴに対する画像編集までの一連の処理を画像検査装置2Bによって行うことができるので、より使い易い製品またはサービスを提供することができる。
なお、本実施の形態では、実施の形態1に係る画像検査システム1に画像編集部25を追加する場合を例示したが、実施の形態2に係る画像検査システム1Aの画像検査装置2にも同様に、画像編集部25を適用することが可能である。
≪実施の形態の拡張≫
以上、本発明者らによってなされた発明を実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
例えば、上記実施の形態では、画像検査装置2と学習済みモデル生成装置3とが一つの画像検査システム1を構成し、ロゴの画像検査のためのサービスを提供するサービス提供者が管理する場合を例示したが、これに限られない。
サービス提供者が学習済みモデル307とともに画像検査用プログラム(1021)をサービスの受け手であるユーザに提供し、そのユーザが、自ら所持する情報処理装置(例えば、クライアント端末装置4)にそれらをインストールすることにより、ユーザ側の情報処理装置を画像検査装置2として機能させてもよい。
この場合、画像検査装置2としてのクライアント端末装置4は、サービス提供者の学習済みモデル生成装置3とインターネットを含むネットワーク6を介して相互に通信可能であってもよいし、学習済みモデル生成装置3と通信を行わない状態(例えばスタンドアロンの状態)で動作してもよい。
また、上記実施の形態では、検査対象のロゴに関する適切な学習済みモデル307が生成された後に、クライアント端末装置4からロゴの画像検査のリクエストを受け付ける場合を例示したが、適切な学習済みモデル307が生成される前にリクエストを受け付けるように画像検査システム1を構成してもよい。
例えば、先ず、クライアント端末装置4が、リクエスト情報として、検査対象画像データ201に加えて検査対象のロゴに関する図形データ301を画像検査システム1に送信する。次に、学習済みモデル生成装置3において、立体画像生成部33が、上述した手法により、受信した図形データ301に基づいて複数の立体画像データ302を生成し、画像合成部34が、上述した手法により、生成された複数の立体画像データ302と予め記憶されている複数の背景画像データ303とを合成して複数の合成画像データ304を生成する。次に、ラベリング部35が、上述した手法により、複数の合成画像データ304に識別情報305をラベリングして学習用画像データ306を生成する。そして、学習済みモデル生成部37がそれらの学習用画像データ306を学習して学習済みパラメータを逐次更新し、学習済みモデル307を生成する。
その後、学習済みモデル307について充分な精度が得られた場合には、画像検査装置2が、その学習済みモデル307を用いて、上記リクエスト情報に含まれる検査対象画像データ201についてロゴの画像検査処理を実行して、検査結果データ203を出力するとともに、必要に応じて画像編集部25が検査対象画像データ201の画像編集を行い、編集済み画像データ204を出力する。
このような画像検査システムによれば、検査対象のロゴについての学習済みデータの生成から、そのロゴの画像検査までの一連の処理を一度に行うことが可能となる。これによれば、サービス提供者が予め検査対象のロゴについての学習済みモデルを準備しておく必要がないので、例えば、サービス提供者側において、システムを導入してからサービスを開始するまでの準備期間を短縮することが可能となる。
また、上記実施の形態では、所定の対象物がロゴである場合について説明したが、これに限られない。所定の対象物は、例えば、文字や記号等のロゴ化されていない情報であってもよいし、建設現場のクレーン等の建設機械やビル、鉄塔等の建物のような任意の物体であってもよい。この場合、上述した立体画像データ302は、立体的に表したクレーン等の任意の物体そのものを所定の角度から見たときの画像データであることが好ましい。また、上述した図形データ301は、クレーン等の任意の物体そのものの立体形状を表す3軸のパラメータを含む三次元CADデータであることが好ましい。
また、上述のフローチャートは、動作を説明するための一例を示すものであって、これに限定されない。すなわち、フローチャートの各図に示したステップは具体例であって、このフローに限定されるものではない。例えば、一部の処理の順番が変更されてもよいし、各処理間に他の処理が挿入されてもよいし、一部の処理が並列に行われてもよい。
1,1A,1B…画像検査システム、2,2B…画像検査装置、3,3A…学習済みモデル生成装置、4…クライアント端末装置、5…ウェブサーバ、6…ネットワーク、21…通信部、22…データ取得部、23…検査部、24…記憶部、25…画像編集部、31…通信部、32,32A…学習用画像データ生成部、33…立体画像生成部、34…画像合成部、35…ラベリング部、36…記憶部、37…学習済みモデル生成部、201…検査対象画像データ、202,307…学習済みモデル、203…検査結果データ、204…画像データ、205…検査範囲情報、301…図形データ、302,302_1〜302_n…立体画像データ(第1画像データ)、303,303_1〜303_m…背景画像データ(第2画像データ)、304,304_1〜304_k…合成画像データ、305…識別情報、306…学習用画像データ、401A〜401D…ロゴ、402…立体(円柱)、403…立体(多角柱)、404…立体(直方体)、500…ロゴ、501…画像編集対象領域、502…ぼかし、503…印、1021…プログラム(画像検査用プログラム)、1023…プログラム(学習済みモデル生成用プログラム)。

Claims (24)

  1. 検査対象画像データを取得するデータ取得部と、
    画像データを入力として当該画像データに所定の対象物を表す画像が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデルを記憶する記憶部と、
    前記記憶部に記憶された前記学習済みモデルに基づいて、前記データ取得部によって取得した前記検査対象画像データに前記所定の対象物を表す画像が含まれるか否かを検査する検査部と、を備え、
    前記学習済みモデルは、立体的に表した前記所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像をそれぞれ主題とし、前記第1画像と異なる複数の第2画像をそれぞれ背景とした複数の第3画像に前記所定の対象物に関する識別情報をそれぞれラベリングして生成された複数の学習用画像データを機械学習することによって調整された学習済みパラメータを含む
    画像検査装置。
  2. 請求項1に記載の画像検査装置において、
    インターネットを含むネットワークと接続するための通信部を更に有し、
    前記データ取得部は、前記通信部を介して前記検査対象画像データを取得する
    ことを特徴とする画像検査装置。
  3. 請求項2に記載の画像検査装置において、
    前記データ取得部は、前記ネットワークにおける検査範囲を指定する情報を取得した場合に、前記検査範囲を指定する情報に基づいて、前記ネットワークから前記検査対象画像データを取得する
    ことを特徴とする画像検査装置。
  4. 請求項3に記載の画像検査装置において、
    前記検査範囲を指定する情報は、アドレス情報を含み、
    前記データ取得部は、前記アドレス情報で指定されたウェブページを表す画像を含むデータを前記検査対象画像データとして取得する
    ことを特徴とする画像検査装置。
  5. 請求項3または4に記載の画像検査装置において、
    前記検査範囲を指定する情報は、タグ情報を含み、
    前記データ取得部は、前記タグ情報によって特定されるSNSに投稿された画像を含むデータを前記検査対象画像データとして取得する
    ことを特徴とする画像検査装置。
  6. 請求項1乃至5の何れか一項に記載の画像検査装置において、
    前記検査部は、前記検査対象画像データの画像内における前記所定の対象物の位置を示す位置情報を含む検査結果データを生成する
    ことを特徴とする画像検査装置。
  7. 請求項6に記載の画像検査装置において、
    前記検査結果データに基づいて、前記データ取得部によって取得した前記検査対象画像データの画像編集を行う画像編集部を更に備える
    ことを特徴とする画像検査装置。
  8. 請求項7に記載の画像検査装置において、
    前記画像編集部は、前記位置情報に基づいて、前記検査対象画像データの画像内における前記所定の対象物を含む領域に対して画像編集処理を行う
    ことを特徴とする画像検査装置。
  9. 請求項1乃至8の何れか一項に記載の画像検査装置において、
    前記データ取得部は、複数のフレームを含む動画データを入力し、前記動画データのフレームに基づいて前記検査対象画像データを取得する
    ことを特徴とする画像検査装置。
  10. 請求項1乃至9の何れか一項に記載の画像検査装置において、
    前記所定の対象物は、ロゴである
    ことを特徴とする画像検査装置。
  11. 立体的に表した所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像をそれぞれ主題とし、前記第1画像と異なる複数の第2画像をそれぞれ背景とした複数の第3画像に前記所定の対象物に関する識別情報をそれぞれラベリングした複数の学習用画像データを生成する学習用画像データ生成部と、
    前記学習用画像データを機械学習することにより、画像データを入力として当該画像データに前記所定の対象物を表す画像が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデルを生成する学習済みモデル生成部と、を備える
    学習済みモデル生成装置。
  12. 請求項11に記載の学習済みモデル生成装置において、
    前記学習用画像データ生成部は、
    前記複数の第1画像と前記複数の第2画像とを合成して前記複数の第3画像を生成する画像合成部と、
    前記識別情報を、前記画像合成部によって生成された前記複数の第3画像にそれぞれラベリングして、前記複数の学習用画像データを生成するラベリング部と、を含む
    ことを特徴とする学習済みモデル生成装置。
  13. 請求項12に記載の学習済みモデル生成装置において、
    前記学習用画像データ生成部は、
    前記所定の対象物の図形情報を含む図形データに基づいて、所定の形状を有する立体の表面に描かれた前記所定の対象物を所定の角度から見たときの画像を前記第1画像として生成する立体画像生成部を更に含む
    ことを特徴とする学習済みモデル生成装置。
  14. 請求項13に記載の学習済みモデル生成装置において、
    前記図形データは、前記所定の対象物の立体的形状を表す3軸のパラメータを含む三次元CADデータである
    ことを特徴とする学習済みモデル生成装置。
  15. 立体的に表した所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像をそれぞれ主題とし、前記第1画像と異なる複数の第2画像をそれぞれ背景とした複数の第3画像に前記所定の対象物に関する識別情報をそれぞれラベリングした複数の学習用画像データを生成する学習用画像データ生成部と、
    前記学習用画像データを機械学習することにより、画像データを入力として当該画像データに前記所定の対象物を表す画像が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデルを生成する学習済みモデル生成部と、
    検査対象画像データを取得するデータ取得部と、
    前記学習済みモデル生成部によって生成された前記学習済みモデルに基づいて、前記データ取得部によって取得した前記検査対象画像データに前記所定の対象物を表す画像が含まれるか否かを検査する検査部と、を備える
    画像検査システム。
  16. コンピュータを、
    検査対象画像データを取得するデータ取得部と、
    画像データを入力として当該画像データに所定の対象物を表す画像が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデルを記憶する記憶部と、
    前記記憶部に記憶された前記学習済みモデルに基づいて、前記データ取得部によって取得した前記検査対象画像データに前記所定の対象物を表す画像が含まれるか否かを検査する検査部として機能させ、
    前記学習済みモデルは、立体的に表した前記所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像をそれぞれ主題とし、前記第1画像と異なる複数の第2画像をそれぞれ背景とした複数の第3画像に、前記所定の対象物に関する識別情報をラベリングした学習用画像データを機械学習することによって生成されている
    画像検査用プログラム。
  17. 請求項16に記載の画像検査用プログラムにおいて、
    前記コンピュータを、
    インターネットを含むネットワークと接続するための通信部として更に機能させ、
    前記データ取得部は、前記通信部を介して前記検査対象画像データを取得する
    ことを特徴とする画像検査用プログラム。
  18. 請求項17に記載の画像検査用プログラムにおいて、
    前記データ取得部は、前記ネットワークにおける検査範囲を指定する情報を取得した場合に、前記検査範囲を指定する情報に基づいて、前記ネットワークから前記検査対象画像データを取得する
    ことを特徴とする画像検査用プログラム。
  19. 請求項16乃至18の何れか一項に記載の画像検査用プログラムにおいて、
    前記コンピュータを
    前記検査部による検査結果に基づいて、前記データ取得部によって取得した前記検査対象画像データの画像編集を行う画像編集部として更に機能させる
    ことを特徴とする画像検査用プログラム。
  20. コンピュータを、
    立体的に表した所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像をそれぞれ主題とし、前記第1画像と異なる複数の第2画像をそれぞれ背景とした複数の第3画像に、前記所定の対象物に関する識別情報をラベリングした複数の学習用画像データを生成する学習用画像データ生成部と、
    前記学習用画像データを機械学習することにより、画像データを入力として当該画像データに前記所定の対象物を表す画像が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデルを生成する学習済みモデル生成部と、して機能させる
    学習済みモデル生成用プログラム。
  21. 請求項20に記載の学習済みモデル生成用プログラムにおいて、
    前記学習用画像データ生成部は、
    前記複数の第1画像と前記複数の第2画像とを合成して前記複数の第3画像を生成する画像合成部と、
    前記識別情報を、前記画像合成部によって生成された前記複数の第3画像にそれぞれラベリングして、前記複数の学習用画像データを生成するラベリング部と、を含む
    ことを特徴とする学習済みモデル生成用プログラム。
  22. 請求項21に記載の学習済みモデル生成用プログラムにおいて、
    前記学習用画像データ生成部は、
    前記所定の対象物の図形情報を含む図形データに基づいて、所定の形状を有する立体の表面に描かれた前記所定の対象物を所定の角度から見たときの画像を前記第1画像として生成する立体画像生成部を更に含む
    ことを特徴とする学習済みモデル生成用プログラム。
  23. 請求項22に記載の学習済みモデル生成用プログラムにおいて、
    前記図形データは、前記所定の対象物の立体的形状を表す3軸のパラメータを含む三次元CADデータである
    ことを特徴とする学習済みモデル生成用プログラム。
  24. 画像データを入力として当該画像データに所定の対象物が含まれるか否かを検査するようにコンピュータを機能させるための学習済みモデルであって、
    立体的に表した前記所定の対象物を互いに異なる複数の角度から見たときの複数の第1画像をそれぞれ主題とし、互いに異なる複数の第2画像をそれぞれ背景とした複数の第3画像に前記所定の対象物に関する識別情報をそれぞれラベリングして生成された学習用画像データを機械学習することによって調整された学習済みパラメータを含み、
    入力された前記画像データに対して前記学習済みパラメータに基づく演算を行い、前記所定の対象物が含まれるか否かを定量化した値を出力するよう、前記コンピュータを機能させる学習済みモデル。
JP2018248158A 2018-12-28 2018-12-28 画像検査装置、画像検査システム、および画像検査用プログラム Active JP7340806B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018248158A JP7340806B2 (ja) 2018-12-28 2018-12-28 画像検査装置、画像検査システム、および画像検査用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018248158A JP7340806B2 (ja) 2018-12-28 2018-12-28 画像検査装置、画像検査システム、および画像検査用プログラム

Publications (2)

Publication Number Publication Date
JP2020107254A true JP2020107254A (ja) 2020-07-09
JP7340806B2 JP7340806B2 (ja) 2023-09-08

Family

ID=71449236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018248158A Active JP7340806B2 (ja) 2018-12-28 2018-12-28 画像検査装置、画像検査システム、および画像検査用プログラム

Country Status (1)

Country Link
JP (1) JP7340806B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7031812B1 (ja) 2020-09-28 2022-03-08 株式会社GamingD プログラム、方法、およびシステム
WO2022124224A1 (ja) * 2020-12-09 2022-06-16 ブラザー工業株式会社 方法、システム、および、コンピュータプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07223487A (ja) * 1994-02-14 1995-08-22 Mitsubishi Motors Corp 車両用周囲状況表示装置
JP2005327242A (ja) * 2004-05-14 2005-11-24 Omron Corp 特定被写体検出装置
JP2006344154A (ja) * 2005-06-10 2006-12-21 Sumitomo Electric Ind Ltd 車両判別装置及び方法
JP2010128768A (ja) * 2008-11-27 2010-06-10 Toyota Motor Corp 車両周辺監視装置
JP2011150381A (ja) * 2010-01-19 2011-08-04 Nippon Telegr & Teleph Corp <Ntt> 表情識別器作成装置,表情識別器作成方法,表情認識装置,表情認識方法およびそれらのプログラム
JP2014229115A (ja) * 2013-05-23 2014-12-08 キヤノン株式会社 情報処理装置および方法、プログラム、記憶媒体
JP2015172876A (ja) * 2014-03-12 2015-10-01 株式会社デンソーアイティーラボラトリ 車両周辺監視装置、車両周辺監視システム、及びプログラム
WO2016157499A1 (ja) * 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法
JP2017208006A (ja) * 2016-05-20 2017-11-24 株式会社リコー 情報処理装置、情報処理システム、情報処理方法、及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07223487A (ja) * 1994-02-14 1995-08-22 Mitsubishi Motors Corp 車両用周囲状況表示装置
JP2005327242A (ja) * 2004-05-14 2005-11-24 Omron Corp 特定被写体検出装置
JP2006344154A (ja) * 2005-06-10 2006-12-21 Sumitomo Electric Ind Ltd 車両判別装置及び方法
JP2010128768A (ja) * 2008-11-27 2010-06-10 Toyota Motor Corp 車両周辺監視装置
JP2011150381A (ja) * 2010-01-19 2011-08-04 Nippon Telegr & Teleph Corp <Ntt> 表情識別器作成装置,表情識別器作成方法,表情認識装置,表情認識方法およびそれらのプログラム
JP2014229115A (ja) * 2013-05-23 2014-12-08 キヤノン株式会社 情報処理装置および方法、プログラム、記憶媒体
JP2015172876A (ja) * 2014-03-12 2015-10-01 株式会社デンソーアイティーラボラトリ 車両周辺監視装置、車両周辺監視システム、及びプログラム
WO2016157499A1 (ja) * 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法
JP2017208006A (ja) * 2016-05-20 2017-11-24 株式会社リコー 情報処理装置、情報処理システム、情報処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
青木 一憲: "画像中の靴ロゴマークの抽出と認識", 第22回 画像センシングシンポジウム SSII2016 [USB] THE 22ND SYMPOSIUM ON SENSING VI, JPN6022005757, 2016, JP, ISSN: 0004853452 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7031812B1 (ja) 2020-09-28 2022-03-08 株式会社GamingD プログラム、方法、およびシステム
JP2022054919A (ja) * 2020-09-28 2022-04-07 株式会社GamingD プログラム、方法、およびシステム
WO2022124224A1 (ja) * 2020-12-09 2022-06-16 ブラザー工業株式会社 方法、システム、および、コンピュータプログラム

Also Published As

Publication number Publication date
JP7340806B2 (ja) 2023-09-08

Similar Documents

Publication Publication Date Title
US10210659B2 (en) Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US10121099B2 (en) Information processing method and system
US10559053B2 (en) Screen watermarking methods and arrangements
US20180107876A1 (en) Method and system for providing augmented reality contents by using user editing image
US9679416B2 (en) Content creation tool
CN105229703B (zh) 用于使用感测的位置数据来生成三维模型的系统和方法
Clini et al. Augmented reality experience: From high-resolution acquisition to real time augmented contents
US20160077722A1 (en) Rotatable Object System For Visual Communication And Analysis
CN109255767B (zh) 图像处理方法和装置
CN104798094B (zh) 确定内容项目显示环境的配置
CN112581632B (zh) 一种房源数据的处理方法和装置
JP7340806B2 (ja) 画像検査装置、画像検査システム、および画像検査用プログラム
CN110197053B (zh) 页面生成方法和装置及电子装置
CN110532497A (zh) 生成全景图的方法、生成三维页面的方法以及计算设备
KR101887081B1 (ko) 증강 현실 콘텐츠 서비스를 제공하는 방법
US9349139B1 (en) Fine art samples
JP2015125541A (ja) 視線予測システム、視線予測方法、および視線予測プログラム
JP2015125543A (ja) 視線予測システム、視線予測方法、および視線予測プログラム
CN113867875A (zh) 标记对象的编辑及显示方法、装置、设备、存储介质
Rinaldi et al. Virtual reality as a collaborative tool for digitalised crime scene examination
JP2005301358A (ja) 建築設計支援システム、その方法及びプログラム
KR101945737B1 (ko) 위치정보 관리 장치 및 위치정보 관리 방법
Yu et al. A Smart-Site-Survey System using Image-based 3D Metric Reconstruction and Interactive Panorama Visualization
Gede et al. Digital archiving and on-line publishing of old relief models
KR20180028715A (ko) 형상정보 미존재 과거 대상체의 공식 이미지 활용시스템

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200131

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20200131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201002

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230410

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230511

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230818

R150 Certificate of patent or registration of utility model

Ref document number: 7340806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150