JP2022131194A - Information processing apparatus and image detection method - Google Patents

Information processing apparatus and image detection method Download PDF

Info

Publication number
JP2022131194A
JP2022131194A JP2021030014A JP2021030014A JP2022131194A JP 2022131194 A JP2022131194 A JP 2022131194A JP 2021030014 A JP2021030014 A JP 2021030014A JP 2021030014 A JP2021030014 A JP 2021030014A JP 2022131194 A JP2022131194 A JP 2022131194A
Authority
JP
Japan
Prior art keywords
image
detection
images
detected
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021030014A
Other languages
Japanese (ja)
Other versions
JP7239623B2 (en
Inventor
薫 新野
Kaoru Niino
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Personal Computers Ltd
Original Assignee
NEC Personal Computers Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Personal Computers Ltd filed Critical NEC Personal Computers Ltd
Priority to JP2021030014A priority Critical patent/JP7239623B2/en
Publication of JP2022131194A publication Critical patent/JP2022131194A/en
Application granted granted Critical
Publication of JP7239623B2 publication Critical patent/JP7239623B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

To reduce the probability of omissions of extraction while maintaining the accuracy of detecting an image including an object identical with an object to be detected.SOLUTION: An information processing apparatus includes: a first recognition unit 22 which detects an image including an object whose similarity to a detection object is equal to or higher than a first threshold; a second recognition unit 23 which detects an image including an object whose similarity to the detection object is equal to or higher than a second threshold which is higher than the first threshold; a classification unit 24 which classifies images on the basis of at least one of time and date information indicating shooting time and date and location information indicating a shooting location; a characteristic information acquisition unit 25 which acquires characteristic information from an image group classified into the same category by the classification unit 24; and a detection unit 26 which detects an image including an object which is considered as the detection object, using a result detected by the first recognition unit 22, a result detected by the second recognition unit 23, and the characteristic information.SELECTED DRAWING: Figure 2

Description

本発明は、情報処理装置及び画像検出方法に関するものである。 The present invention relates to an information processing device and an image detection method.

従来、カメラ等の撮像装置によって取得された多数の画像データを被写体の特徴に基づいて分類する技術が提案されている。
例えば、特許文献1には、画像データ内の人物の顔に注目し、顔の特徴に基づいて画像データを自動的に分類する画像分類装置が開示されている。
2. Description of the Related Art Conventionally, techniques have been proposed for classifying a large amount of image data acquired by an imaging device such as a camera, based on features of a subject.
For example, Patent Literature 1 discloses an image classification device that focuses on a person's face in image data and automatically classifies the image data based on the features of the face.

特開2005-107885号公報JP 2005-107885 A

画像内の人物の顔に注目して画像データを分類する場合、もともと顔の造形が似ていたり、画像内の写りによって似ている別人同士を同一人物であると誤って認識してしまう可能性がある。
また、同一人物であると判定するために用いられる類似度の閾値を高く設定すれば、同一人物の判別精度を高めることは可能である。しかしながら、単純に閾値を上げるだけでは、同一人物であるのに別人物であると判定される可能性が高くなり、同一人物が撮像されている画像の抽出漏れ(取りこぼし)が増加する可能性がある。被写体を撮影する撮影環境は多岐にわたるため、単にマッチングの類似度の閾値を調整するだけでは、同一人物の抽出を十分に行えないおそれがある。
また、上記のような問題は、人物を特定する場合にとどまらず、工業品や農作物等のように、人物以外を目標検出物とする場合にも同様に生じる問題である。
When classifying image data by focusing on the face of a person in an image, there is a possibility that different people with similar facial shapes or similarities in the image may be mistakenly recognized as the same person. There is
Further, by setting a high similarity threshold used for determining that the person is the same person, it is possible to improve the accuracy of determining the same person. However, simply increasing the threshold increases the possibility that the same person will be identified as a different person, and there is a possibility that images of the same person will not be extracted. be. Since there are a wide variety of shooting environments in which subjects are shot, it may not be possible to sufficiently extract the same person simply by adjusting the matching similarity threshold.
Moreover, the above-described problem is not limited to the case of specifying a person, and is a problem that similarly occurs when a target detection object other than a person is used, such as an industrial product or agricultural products.

本発明は、このような事情に鑑みてなされたものであって、検出目的物と同一の対象物が含まれる画像の検出精度を維持しながら抽出漏れの発生確率を低下させることのできる情報処理装置及び画像検出方法を提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of such circumstances, and provides information processing capable of reducing the probability of occurrence of omission of extraction while maintaining the detection accuracy of an image containing the same object as the object to be detected. It is an object to provide an apparatus and an image detection method.

本発明の第1態様は、撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための情報処理装置であって、前記検出目的物との類似度が第1閾値以上の対象物が含まれる画像を検出する第1認識手段と、前記検出目的物との類似度が前記第1閾値よりも高い第2閾値以上の対象物が含まれる画像を検出する第2認識手段と、撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の前記画像を分類する分類手段と、前記分類手段で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得手段と、前記第1認識手段の検出結果と、前記第2認識手段の検出結果と、前記特徴情報と、を用いて、前記検出目的物とみなせる対象物が撮像された画像を検出する検出手段と、を具備する情報処理装置である。 A first aspect of the present invention is an information processing device for detecting an image in which a detection target is captured from among a plurality of images captured by an imaging device, wherein the degree of similarity to the detection target is first. A first recognition means for detecting an image containing an object equal to or greater than one threshold; 2 recognition means, classification means for classifying the plurality of images based on at least one of date and time information indicating the date and time when the image was taken and position information indicating the position where the image was taken, and the classification means. using the feature information acquisition means for acquiring feature information from the group of images classified into the same classification in the above, the detection result of the first recognition means, the detection result of the second recognition means, and the feature information, and detecting means for detecting an image of an object that can be regarded as the detection object.

ここで、上記「類似度」は、検出目的物と対象物との一致率を示す評価値であり、「一致度」とも表現される。
また、「類似度」は、例えば、検出目的物に固有の情報、例えば、検出目的物が人物である場合には、人物の顔における目鼻口の位置、目の色、顔の輪郭等に基づいて類似度を取得する。また、「特徴情報」は、検出目的物に固有の特徴ではない特徴、例えば、日にちや状況に応じて変化する特徴を用いるとよい。このように、「特徴情報」には、類似度を得る際に利用しなかった特徴の情報を用いるとよい。
Here, the above-mentioned "similarity" is an evaluation value indicating the matching rate between the detection object and the object, and is also expressed as "matching degree".
Further, the "similarity" is, for example, information specific to the detection object, for example, when the detection object is a person, based on the position of the eyes, nose and mouth in the person's face, the color of the eyes, the contour of the face, etc. to get the similarity. Also, as the "feature information", it is preferable to use features that are not specific to the detection object, for example, features that change depending on the day or situation. In this way, it is preferable to use feature information that was not used when obtaining the similarity as the "feature information".

本発明の第2態様は、撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための画像検出方法であって、前記検出目的物との類似度が第1閾値以上の対象物が含まれる画像を検出する第1認識工程と、前記検出目的物との類似度が前記第1閾値よりも高い第2閾値以上の対象物が含まれる画像を検出する第2認識工程と、撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の前記画像を分類する分類工程と、前記分類工程で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得工程と、前記第1認識工程の検出結果と、前記第2認識工程の検出結果と、前記特徴情報と、を用いて、前記検出目的物とみなせる対象物が撮像された画像を検出する検出工程と、をコンピュータが実行する画像検出方法である。 A second aspect of the present invention is an image detection method for detecting an image in which a detection target is captured from among a plurality of images captured by an imaging device, wherein the degree of similarity to the detection target is second. A first recognition step of detecting an image containing an object equal to or greater than one threshold; 2 a recognition step, a classification step of classifying the plurality of images based on at least one of date and time information indicating the date and time when the image was taken and position information indicating the position where the image was taken, and the classification step. using the feature information acquisition step of acquiring feature information from the group of images classified into the same category in the above, the detection result of the first recognition step, the detection result of the second recognition step, and the feature information, An image detection method in which a computer executes a detection step of detecting an image in which an object that can be regarded as the detection object is imaged.

本発明の第3態様は、コンピュータを上記情報処理装置として機能させるためのプログラムである。 A third aspect of the present invention is a program for causing a computer to function as the information processing apparatus.

本発明によれば、検出目的物と同一の対象物が含まれる画像の検出精度を維持しながら抽出漏れの発生確率を低下させることができるという効果を奏する。 Advantageous Effects of Invention According to the present invention, it is possible to reduce the probability of occurrence of omission of extraction while maintaining the detection accuracy of an image containing the same object as the detection object.

本発明の第1実施形態に係る情報処理装置のハードウェア構成の一例を示した概略構成図である。1 is a schematic configuration diagram showing an example of a hardware configuration of an information processing apparatus according to a first embodiment of the present invention; FIG. 本発明の第1実施形態に係る情報処理装置が備える各種機能のうち、画像検出機能を抽出して示した機能ブロック図である。1 is a functional block diagram showing an extracted image detection function among various functions provided in an information processing apparatus according to a first embodiment of the present invention; FIG. 本発明の第1実施形態に係る画像検出方法の手順の一例を示したフローチャートである。4 is a flow chart showing an example of the procedure of an image detection method according to the first embodiment of the present invention; 本発明の第1実施形態に係る画像検出方法について説明するための図である。It is a figure for demonstrating the image detection method which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る画像検出方法について説明するための図である。It is a figure for demonstrating the image detection method which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る画像検出方法について説明するための図である。It is a figure for demonstrating the image detection method which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る画像検出方法について説明するための図である。It is a figure for demonstrating the image detection method which concerns on 1st Embodiment of this invention. 本発明の第2実施形態に係る情報処理装置が備える各種機能のうち、画像検出機能を抽出して示した機能ブロック図である。FIG. 7 is a functional block diagram showing an extracted image detection function among various functions provided in an information processing apparatus according to a second embodiment of the present invention; 本発明の第2実施形態に係る画像検出方法の手順の一例を示したフローチャートである。9 is a flow chart showing an example of the procedure of an image detection method according to the second embodiment of the present invention; 本発明の第2実施形態に係る画像検出方法について説明するための図である。It is a figure for demonstrating the image detection method based on 2nd Embodiment of this invention. 本発明の第2実施形態に係る画像検出方法について説明するための図である。It is a figure for demonstrating the image detection method based on 2nd Embodiment of this invention.

〔第1実施形態〕
以下に、本発明の第1実施形態に係る情報処理装置及び画像検出方法について、図面を参照して説明する。情報処理装置の一例として、ノートPC、デスクトップ型PC、タブレット端末、スマートフォン、デジタルカメラ等が挙げられる。
[First embodiment]
An information processing apparatus and an image detection method according to a first embodiment of the present invention will be described below with reference to the drawings. Examples of information processing apparatuses include notebook PCs, desktop PCs, tablet terminals, smart phones, digital cameras, and the like.

図1は、本発明の第1実施形態に係る情報処理装置1のハードウェア構成の一例を示した概略構成図である。図1に示すように、情報処理装置1は、例えば、CPU(Central Processing Unit)11、メインメモリ12、記憶部13、外部インターフェース14、通信インターフェース15、入力部16、表示部17等を備えている。これら各部は直接的にまたはバス18を介して間接的に相互に接続されており互いに連携して各種処理を実行する。また、情報処理装置1は、カメラ等の撮像装置を備えていてもよい。 FIG. 1 is a schematic configuration diagram showing an example of the hardware configuration of an information processing device 1 according to the first embodiment of the present invention. As shown in FIG. 1, the information processing apparatus 1 includes, for example, a CPU (Central Processing Unit) 11, a main memory 12, a storage section 13, an external interface 14, a communication interface 15, an input section 16, a display section 17, and the like. there is These units are connected to each other directly or indirectly via a bus 18 and cooperate with each other to perform various processes. The information processing device 1 may also include an imaging device such as a camera.

CPU11は、例えば、バス18を介して接続された記憶部13に格納されたOS(Operating System)により情報処理装置1全体の制御を行うとともに、記憶部13に格納された各種プログラムを実行することにより各種処理を実行する。 The CPU 11 controls the entire information processing apparatus 1 by, for example, an OS (Operating System) stored in a storage unit 13 connected via a bus 18, and executes various programs stored in the storage unit 13. Executes various processes.

メインメモリ12は、キャッシュメモリ、RAM(Random Access Memory)等の書き込み可能なメモリで構成され、CPU11の実行プログラムの読み出し、実行プログラムによる処理データの書き込み等を行う作業領域として利用される。 The main memory 12 is composed of a writable memory such as cache memory and RAM (Random Access Memory), and is used as a work area for reading the execution program of the CPU 11 and writing processing data by the execution program.

記憶部13は、例えば、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等であり、例えば、Windows(登録商標)、iOS(登録商標)、Android(登録商標)等の情報処理装置1全体の制御を行うためのOS、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種アプリケーションソフトウェア、及び各種データやファイル等を格納する。また、記憶部13には、各種処理を実現するためのプログラムや、各種処理を実現するために必要とされる各種データが格納されている。 The storage unit 13 is, for example, a ROM (Read Only Memory), a HDD (Hard Disk Drive), a flash memory, or the like. It stores an OS for controlling the entire apparatus 1, various device drivers for hardware operation of peripheral devices, various application software, various data and files, and the like. The storage unit 13 also stores programs for implementing various processes and various data required for implementing various processes.

外部インターフェース14は、外部機器と接続するためのインターフェースである。外部機器の一例として、外部モニタ、USBメモリ、外付けHDD等が挙げられる。なお、図1に示した例では、外部インターフェースは、1つしか図示されていないが、複数の外部インターフェースを備えていてもよい。 The external interface 14 is an interface for connecting with an external device. Examples of external devices include an external monitor, a USB memory, an external HDD, and the like. Although only one external interface is shown in the example shown in FIG. 1, a plurality of external interfaces may be provided.

通信インターフェース15は、ネットワークに接続して他の装置と通信を行い、情報の送受信を行うためのインターフェースとして機能する。
入力部16は、例えば、キーボード、マウス、タッチパネル等、ユーザが情報処理装置1に対して指示を与えるためのユーザインタフェースである。
表示部17は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)等で構成される表示画面を有し、情報処理装置1によって実行されたアプリケーション等の結果等を表示するものである。
The communication interface 15 functions as an interface for connecting to a network, communicating with other devices, and transmitting and receiving information.
The input unit 16 is a user interface such as a keyboard, mouse, touch panel, etc., for the user to give instructions to the information processing apparatus 1 .
The display unit 17 has a display screen configured by, for example, an LCD (Liquid Crystal Display), an organic EL (Electro Luminescence), or the like, and displays the result of an application or the like executed by the information processing apparatus 1. .

図2は、本実施形態に係る情報処理装置1が備える各種機能のうち、画像検出機能を抽出して示した機能ブロック図である。図2に示すように、情報処理装置1は、画像検出部(画像検出機能)20を備えている。画像検出部20は、例えば、カメラ等の撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための機能を備えている。ここで、検出目的物は、特に限定されないが、一例として、人物、農作物、工業品等が挙げられる。 FIG. 2 is a functional block diagram showing an extracted image detection function among various functions provided in the information processing apparatus 1 according to the present embodiment. As shown in FIG. 2 , the information processing apparatus 1 includes an image detection section (image detection function) 20 . The image detection unit 20 has a function of detecting an image in which a detection object is imaged from among a plurality of images imaged by an imaging device such as a camera. Here, the object to be detected is not particularly limited, but examples thereof include people, agricultural products, industrial products, and the like.

後述する各種機能を実現するための一連の処理は、一例として、プログラム(例えば、画像検出プログラム)の形式で記憶部13に記憶されており、このプログラムをCPU11がメインメモリ12に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、記憶部13に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等である。 A series of processes for realizing various functions described later are stored in the storage unit 13 in the form of a program (for example, an image detection program), for example. Various functions are realized by executing the processing and arithmetic processing of . The program may be pre-installed in the storage unit 13, may be provided in a state stored in another computer-readable storage medium, or may be distributed via wired or wireless communication means. may apply. Computer-readable storage media include magnetic disks, magneto-optical disks, CD-ROMs, DVD-ROMs, semiconductor memories, and the like.

図2に示されるように、画像検出部20は、例えば、記憶部21、第1認識部22、第2認識部23、分類部24、特徴情報取得部25、検出部26を備えている。 As shown in FIG. 2, the image detection section 20 includes, for example, a storage section 21, a first recognition section 22, a second recognition section 23, a classification section 24, a feature information acquisition section 25, and a detection section .

記憶部21には、カメラ等の撮像装置によって撮像された複数の画像(画像データ)が格納されている。 The storage unit 21 stores a plurality of images (image data) captured by an imaging device such as a camera.

第1認識部22は、例えば、記憶部21に格納されている複数の画像の中から検出目的物との類似度が第1閾値以上の対象物が含まれる画像を検出する。
ここで、複数の画像に含まれている物体と検出目的物との類似度を得る具体的手法は、画像マッチングのように、様々な公知の技術が提案されているため、それらの技術を適宜採用すればよい。例えば、検出目的物が人物である場合には、例えば、顔の特徴量に基づいて人物を判別する公知の顔認識技術を採用し、検出目的物である目的人物と各画像に含まれている人物画像との類似度を取得してもよい。
The first recognizing unit 22 detects, for example, an image including an object whose degree of similarity to the detected object is equal to or greater than a first threshold from among the plurality of images stored in the storage unit 21 .
Here, various known techniques such as image matching have been proposed as specific techniques for obtaining the degree of similarity between an object included in a plurality of images and a detection target. should be adopted. For example, when the object to be detected is a person, for example, a known face recognition technology that discriminates the person based on the feature amount of the face is adopted, and the object to be detected and the person included in each image are identified. You may acquire the similarity with a person image.

第2認識部23は、例えば、記憶部21に格納されている複数の画像の中から検出目的物との類似度が第2閾値以上の対象物が含まれる画像を検出する。ここで、第2閾値は、第1閾値よりも高い値に設定されている。
例えば、第2認識部23は、第1認識部22によって検出された画像の中から、類似度が第2閾値以上の対象物が含まれる画像を検出することとしてもよい。
The second recognition unit 23 detects, for example, an image including an object whose similarity to the detected object is equal to or higher than the second threshold from among the plurality of images stored in the storage unit 21 . Here, the second threshold is set to a value higher than the first threshold.
For example, the second recognizing unit 23 may detect an image including an object having a degree of similarity equal to or greater than the second threshold from the images detected by the first recognizing unit 22 .

分類部24は、撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の画像を分類する。例えば、分類部24は、第1認識部22によって検出された画像を日時情報及び位置情報の少なくともいずれか一つに基づいて分類する。 The classification unit 24 classifies the plurality of images based on at least one of date and time information indicating the date and time when the images were captured and position information indicating the positions at which the images were captured. For example, the classification unit 24 classifies images detected by the first recognition unit 22 based on at least one of date and time information and position information.

日時情報に基づいて分類する場合、日付毎に分類してもよいし、時間帯に基づいて分類してもよいし、2日以上の時間幅で分類してもよい。また、日付等に基づいて分類した場合に、同じ分類に属する画像の数が所定数以上である場合には、その分類に属する画像を更に時間情報に基づいて細分類することとしてもよい。また、この細分類の際に、位置情報を用いて分類することとしてもよい。このように、位置情報については、時間情報に比べて補助的に用いる情報としてもよい。 When sorting based on date and time information, sorting may be performed by date, sorting based on a time period, or sorting by a time span of two days or more. Further, if the number of images belonging to the same classification is a predetermined number or more when classified based on dates, etc., the images belonging to that classification may be further classified based on time information. Further, in this fine classification, classification may be performed using position information. In this way, position information may be used as information supplementary to time information.

また、日時情報に基づいて分類を行う場合には、例えば、後述する特徴情報取得部25によって取得される特徴情報に応じて、時間幅を決定することとしてもよい。例えば、着衣の特徴は一日毎あるいは時間帯に応じて変化する可能性が高いのに対し、体形や髪の色は、着衣等の特徴に比べて長い間変化しない。このため、特徴情報としてどのような情報を取得するのかに応じて、分類部24による時間幅を変化させることとしてもよい。 When classification is performed based on date and time information, for example, the duration may be determined according to feature information acquired by the feature information acquisition unit 25, which will be described later. For example, clothing characteristics are likely to change from day to day or depending on the time of day, whereas body shape and hair color do not change for a long time compared to clothing characteristics. For this reason, the time width of the classification unit 24 may be changed according to what kind of information is to be acquired as feature information.

更に、カレンダーに関するアプリケーションがインストールされている場合には、カレンダー情報と連携させ、カレンダー情報に基づいて上記時間幅を動的に変更することとしてもよい。例えば、ウェディングやパーティ等のイベントがカレンダーに登録されている場合、着衣が時間単位で変化したりする可能性がある。このように、カレンダーに登録されている情報を用いて分類の時間幅を動的に変化させることで、効果的に画像を分類することが可能となる。 Furthermore, if an application related to a calendar is installed, it may be linked with calendar information, and the time span may be dynamically changed based on the calendar information. For example, if an event such as a wedding or party is registered in the calendar, the clothing may change in units of time. In this way, by dynamically changing the classification time span using the information registered in the calendar, it is possible to effectively classify the images.

また、位置情報に基づいて分類する場合には、例えば、所定の距離範囲内にある画像同士を一つの分類として分類してもよい。 In the case of classification based on position information, for example, images within a predetermined distance range may be classified as one classification.

特徴情報取得部25は、分類部24で同じ分類に分類された画像群であって、検出目的物との類似度が第1閾値以上である画像から特徴情報を取得する。特徴情報は、対象物の少なくとも一部の色、対象物の少なくとも一部の形状、対象物に付随して撮影されている物品の色、および対象物に付随して撮影されている物品の形状のいずれか一つを含む。例えば、検出目的物及び対象物が人物である場合には、着衣の色、着衣の形状、髪型、髪の色、装飾品の色、装飾品の形、体形等が挙げられる。 The feature information acquisition unit 25 acquires feature information from the images classified into the same classification by the classification unit 24 and having a degree of similarity to the detection object equal to or greater than a first threshold. The feature information includes the color of at least part of the object, the shape of at least part of the object, the color of the article photographed accompanying the object, and the shape of the article photographed accompanying the object. including any one of For example, when the object to be detected and the object to be detected are a person, clothing color, clothing shape, hairstyle, hair color, ornament color, ornament shape, body shape, and the like can be mentioned.

検出部26は、第1認識部22の検出結果、第2認識部23の検出結果、及び特徴情報取得部25によって取得された特徴情報を用いて、検出目的物とみなせる対象物が撮像された画像を検出する。 Using the detection result of the first recognition unit 22, the detection result of the second recognition unit 23, and the feature information acquired by the feature information acquisition unit 25, the detection unit 26 captures an image of an object that can be regarded as a detection object. Detect images.

検出部26は、例えば、第2認識部23で検出された画像を検出目的物とみなせる対象物が撮像された画像として検出する。更に、検出部26は、第1認識部22によって検出された画像のうち第2認識部23で検出されなかった画像、換言すると、類似度が第1閾値以上第2閾値未満の対象物が含まれる画像から、第2認識部23によって検出された画像に含まれる対象物の特徴情報と一致する特徴情報を有する対象物を含む画像を、検出目的物とみなせる対象物が撮像された画像として検出する。 The detection unit 26 detects, for example, the image detected by the second recognition unit 23 as an image of an object that can be regarded as a detection object. Further, the detection unit 26 detects an image that is not detected by the second recognition unit 23 among the images detected by the first recognition unit 22, in other words, an object whose similarity is greater than or equal to the first threshold and less than the second threshold. Among the images detected by the second recognition unit 23, an image containing a target object having feature information that matches the feature information of the target object included in the image detected by the second recognition unit 23 is detected as an image in which the target object that can be regarded as the detection target object is captured. do.

次に、本実施形態に係る画像検出方法の一例について図面を参照して説明する。図3は、本実施形態に係る画像検出方法の手順の一例を示したフローチャートである。また、以下の説明においては、説明の便宜上、検出目的物として人物を例示して説明する。 Next, an example of the image detection method according to this embodiment will be described with reference to the drawings. FIG. 3 is a flow chart showing an example of the procedure of the image detection method according to this embodiment. Also, in the following description, for convenience of description, a person is exemplified as a detection target.

また、後述する一連の処理は、一例として、プログラム(例えば、画像検出プログラム)の形式で記憶部13に記憶されており、このプログラムをCPU11がメインメモリ12に読み出して、情報の加工・演算処理を実行することにより実現される。 A series of processes to be described later are stored in the storage unit 13 in the form of, for example, a program (for example, an image detection program). It is realized by executing

まず、記憶部13に格納されている複数の画像を日時情報に基づいて分類する(SA1)。このとき、位置情報に基づいて分類してもよいし、日時情報と位置情報とに基づいて分類してもよい。なお、分類の詳細については上述した通りであるため、ここでの詳細な説明は省略する。 First, a plurality of images stored in the storage unit 13 are classified based on date/time information (SA1). At this time, the classification may be based on the position information, or the classification may be based on the date and time information and the position information. Since the details of the classification are as described above, the detailed description is omitted here.

次に、同じ分類に分類された画像群を対象として画像認識処理等を行い、目的人物と各画像に含まれる人物との類似度を得る(SA2)。例えば、同じ分類に属する画像群から人物の画像(以下「人物画像」という。)を抽出し、各人物画像と目的人物との類似度を画像マッチング等の画像認識処理を行うことにより得る。また、類似度は、例えば、人物画像又はその人物画像を含む画像の情報と関連付けられて記憶部13に格納される。
例えば、図4に例示するように、同じ分類に属する画像群から人物画像a~gが抽出された場合、各人物画像a~gと目的人物との類似度を得る。
Next, an image recognition process or the like is performed on a group of images classified into the same category, and the degree of similarity between the target person and the person included in each image is obtained (SA2). For example, images of persons (hereinafter referred to as “person images”) are extracted from a group of images belonging to the same category, and the degree of similarity between each person image and the target person is obtained by performing image recognition processing such as image matching. Further, the degree of similarity is stored in the storage unit 13 in association with, for example, the information of the person image or the image including the person image.
For example, as exemplified in FIG. 4, when human images a to g are extracted from a group of images belonging to the same classification, the degree of similarity between each of the human images a to g and the target person is obtained.

次に、同じ分類に属する人物画像群から目的人物との類似度が第1閾値以上の人物画像を検出する(SA3)。 Next, a person image whose degree of similarity to the target person is greater than or equal to the first threshold is detected from the person image group belonging to the same classification (SA3).

続いて、同じ分類に分類された人物画像群を対象として、目的人物との類似度が第2閾値以上の人物画像を検出する(SA4)。例えば、ステップSA2において検出された人物画像のうち、更に、目的人物との類似度が第2閾値以上の人物画像を検出する。 Next, from among the human image groups classified into the same classification, human images whose similarity to the target person is greater than or equal to the second threshold are detected (SA4). For example, among the human images detected in step SA2, a human image having a degree of similarity to the target person equal to or higher than a second threshold is further detected.

なお、以下の説明において、目的人物との類似度が第1閾値以上第2閾値未満の人物画像群を第1人物画像群、目的人物との類似度が第2閾値以上の人物画像群を第2人物画像群という。 Note that in the following description, a group of person images whose similarity to the target person is greater than or equal to the first threshold and less than the second threshold is referred to as the first person image group, and a person image group whose similarity to the target person is greater than or equal to the second threshold is referred to as the first person image group. This is called a two-person image group.

続いて、目的人物との類似度が第1閾値以上である人物画像から特徴情報を取得する(SA5)。すなわち、第1画像群及び第2画像群の人物画像から特徴情報を取得する。
例えば、図5に示すように、目的人物との類似度が第1閾値以上第2閾値未満の人物画像として人物画像c~eが検出され、目的人物との類似度が第2閾値以上の人物画像として人物画像a、bが検出された場合を想定する。この場合、人物画像a~eからそれぞれ特徴情報を取得する。
Next, feature information is acquired from a person image whose degree of similarity to the target person is equal to or greater than the first threshold (SA5). That is, the feature information is acquired from the person images of the first image group and the second image group.
For example, as shown in FIG. 5, human images c to e are detected as human images whose degree of similarity to the target person is greater than or equal to the first threshold and less than the second threshold, and the person whose similarity to the target person is greater than or equal to the second threshold is detected. Assume that human images a and b are detected as images. In this case, feature information is obtained from each of the person images a to e.

次に、第2人物画像群の人物画像を目的人物が撮像された画像であると特定する(SA6)。更に、第1人物画像群の人物画像のうち、第2人物画像群の人物画像の特徴と同じ特徴を有する人物画像を特定する(SA7)。 Next, the person images in the second person image group are identified as images in which the target person is captured (SA6). Furthermore, among the person images of the first person image group, person images having the same features as those of the person images of the second person image group are identified (SA7).

例えば、各人物画像の着衣の色を特徴情報として抽出する場合であって、図6に示すように、人物画像a、cが特徴A(例えば、黒色)を有しており、人物画像b、dが特徴B(例えば、青色)を有しており、人物画像eが特徴C(例えば、赤色)を有している場合を想定する。 For example, when extracting the color of clothing of each person image as feature information, as shown in FIG. Assume that d has feature B (eg, blue) and person image e has feature C (eg, red).

この場合、まず、ステップSA6では、第2人物画像群である人物画像a、bが特定される。また、ステップSA7では、第1人物画像群の人物画像c~eのうち、第2人物画像群の人物画像aの特徴Aと同じ特徴を有する人物画像cと、人物画像bの特徴Bと同じ特徴を有する人物画像dとが特定される。一方、人物画像cについては、第2人物画像群に同じ特徴Cを有する人物画像がないことから、除外される。 In this case, first, in step SA6, the person images a and b, which are the second person image group, are identified. Further, in step SA7, among the person images c to e of the first person image group, the person image c having the same feature as the feature A of the person image a of the second person image group and the person image c having the same feature as the person image b A person image d having characteristics is specified. On the other hand, the human image c is excluded because there is no human image having the same feature C in the second human image group.

続いて、ステップSA6、SA7で特定された人物画像が含まれる画像、すなわち、特定された人物画像の抽出元の画像を、目的人物と同じ人物が撮像された画像として検出する(SA8)。これにより、例えば、最終結果として得られた人物画像a~d(図7参照)の抽出元である画像が検出される。 Subsequently, an image including the person image specified in steps SA6 and SA7, that is, an image from which the specified person image is extracted is detected as an image of the same person as the target person (SA8). As a result, for example, images from which human images a to d (see FIG. 7) obtained as final results are extracted are detected.

そして、上記ステップSA2~SA8までの処理を分類毎に行うことにより、記憶部13に格納されている複数の画像の中から目的人物と同じ人物が撮像された画像を検出することが可能となる。 By performing the processing of steps SA2 to SA8 for each classification, an image in which the same person as the target person is captured can be detected from among the plurality of images stored in the storage unit 13. .

なお、上述した画像検出方法の処理手順は一例であり、処理順序を入れ替えたり、新たな処理を追加したりしてもよい。
例えば、上記処理手順では、最初に画像の分類を行い(SA1)、その後、分類毎に目的人物との類似度が第1閾値以上の人物画像等を検出していたが(SA2~SA4)、これらの処理の順序を入れかえることも可能である。例えば、先に類似度の取得処理と画像の検出処理(SA2~SA4)を行い、その後に、画像の分類(SA1)を行うこととしてもよい。また、先に、目的人物との類似度の取得処理及び類似度が第1閾値以上の人物画像を検出し(SA2、SA3)、その後、検出した人物画像を対象に分類を行い(SA1)、更に、分類毎に、目的人物との類似度が第2閾値以上の人物画像を検出することとしてもよい(SA4)。また、ステップSA6とSA7の処理手順も入れ替えることが可能である。
Note that the processing procedure of the image detection method described above is an example, and the processing order may be changed or new processing may be added.
For example, in the above processing procedure, images are first classified (SA1), and then human images whose similarity to the target person is equal to or higher than the first threshold are detected for each classification (SA2 to SA4). It is also possible to change the order of these processes. For example, similarity acquisition processing and image detection processing (SA2 to SA4) may be performed first, and then image classification (SA1) may be performed. Further, first, a process of acquiring a degree of similarity with a target person and detecting a person image whose degree of similarity is greater than or equal to a first threshold (SA2, SA3), and then classifying the detected person image (SA1), Further, for each classification, a person image whose degree of similarity to the target person is equal to or greater than the second threshold may be detected (SA4). Also, the processing procedures of steps SA6 and SA7 can be interchanged.

以上説明してきたように、本実施形態に係る情報処理装置1及び画像検出方法によれば、日時情報及び位置情報の少なくともいずれか一つに基づいて複数の画像を分類し、同じ分類に分類された画像に含まれる特徴情報を用いて画像が特定される。このように、検出目的物との類似度だけではなく、類似度の取得に考慮されなかった特徴情報を用いて、検出目的物が撮像された画像を検出するので、検出目的物の判別精度を維持しながら抽出漏れの防止向上を図ることが可能となる。 As described above, according to the information processing apparatus 1 and the image detection method according to the present embodiment, a plurality of images are classified based on at least one of date and time information and position information, and images classified into the same classification are classified into the same classification. The image is specified using the feature information included in the captured image. In this way, not only the degree of similarity with the object to be detected, but also the feature information that was not taken into account in acquiring the degree of similarity is used to detect the image of the object to be detected. It is possible to improve the prevention of leakage of extraction while maintaining the same.

より具体的には、本実施形態に係る情報処理装置1及び画像検出方法によれば、検出目的物との類似度が第2閾値以上である画像については、検出目的物と一致する対象物が撮像された画像として特定し、更に、検出目的物との類似度が第1閾値以上第2閾値未満の画像から、該特定した対象物と同じ特徴を有する画像を特定する。そして特定したこれら画像を検出目的物と一致する対象物が撮像された画像として特定する。このように、類似度が第2閾値以上の画像だけでなく、第2閾値よりも低い第1閾値以上の類似度を有する画像の中からも検出目的物と一致する対象物が撮像された画像を特定するので、抽出漏れの確率を低下させることが可能となる。 More specifically, according to the information processing apparatus 1 and the image detection method according to the present embodiment, for an image having a degree of similarity to the detection object equal to or higher than the second threshold, an object that matches the detection object is An image having the same features as the identified object is identified from among the images that are identified as captured images and whose degree of similarity to the detected object is greater than or equal to the first threshold and less than the second threshold. Then, these specified images are specified as images in which an object that matches the detection object is captured. In this way, not only an image with a degree of similarity equal to or higher than the second threshold, but also an image in which an object that matches the detection object is captured from among images having a degree of similarity equal to or higher than the first threshold, which is lower than the second threshold. is specified, it is possible to reduce the probability of omission of extraction.

〔第2実施形態〕
次に、本発明の第2実施形態に係る情報処理装置及び画像検出方法について図面を参照して説明する。なお、以下の説明において、上述した第1実施形態と同一の構成については、同一の符号を付し説明を省略し、主に、異なる点について説明する。
[Second embodiment]
Next, an information processing apparatus and an image detection method according to a second embodiment of the present invention will be described with reference to the drawings. In the following description, the same reference numerals are given to the same configurations as in the first embodiment described above, and the description thereof is omitted, and mainly the different points will be described.

図8は、本実施形態に係る情報処理装置が備える各種機能のうち、画像検出機能を抽出して示した機能ブロック図である。図8に示すように、本実施形態に係る情報処理装置は、画像検出部20´を備えている。画像検出部20´は、記憶部21、第1認識部22、第2認識部23、分類部24、特徴情報取得部25、検出部26、及び再認識画像抽出部27を備えている。このように、本実施形態に係る画像検出部20´は、再認識画像抽出部27を更に備える点が機能構成上において異なる。 FIG. 8 is a functional block diagram showing an extracted image detection function among various functions provided in the information processing apparatus according to the present embodiment. As shown in FIG. 8, the information processing apparatus according to this embodiment includes an image detection unit 20'. The image detection unit 20 ′ includes a storage unit 21 , a first recognition unit 22 , a second recognition unit 23 , a classification unit 24 , a feature information acquisition unit 25 , a detection unit 26 and a re-recognized image extraction unit 27 . Thus, the image detection unit 20' according to the present embodiment is different in functional configuration in that the re-recognized image extraction unit 27 is further provided.

再認識画像抽出部27は、第1認識部22で検出された画像の特徴情報を用いて再認識画像を抽出する。例えば、再認識画像抽出部27は、特徴情報に基づいて第1認識部22で検出された複数の画像を分類し、各分類に属する画像の枚数に基づいて再認識画像を抽出する。 The re-recognized image extraction unit 27 extracts a re-recognized image using the feature information of the image detected by the first recognition unit 22 . For example, the re-recognized image extraction unit 27 classifies a plurality of images detected by the first recognition unit 22 based on the feature information, and extracts re-recognized images based on the number of images belonging to each classification.

第2認識部23は、再認識画像として抽出された画像の中から検出目的物との類似度が第1閾値よりも高い第2閾値以上の画像を検出する。 The second recognition unit 23 detects an image having a degree of similarity to the detection object that is higher than the first threshold and is equal to or higher than the second threshold, among the images extracted as the re-recognized images.

検出部26は、再認識画像の中で第2認識部23によって検出された画像を特定するとともに、第1認識部22で検出された画像のうち再認識画像として抽出されなかった画像とを特定し、特定した画像を検出目的物とみなせる対象物が撮像された画像として検出する。 The detection unit 26 identifies the images detected by the second recognition unit 23 among the re-recognized images, and also identifies the images detected by the first recognition unit 22 that are not extracted as re-recognized images. Then, the specified image is detected as an image of an object that can be regarded as a detection object.

以下、本実施形態に係る画像検出方法の一例について図面を参照して説明する。図9は、本実施形態に係る画像検出方法の手順の一例を示したフローチャートである。また、以下の説明においては、説明の便宜上、検出目的物として人物を例示して説明する。 An example of the image detection method according to this embodiment will be described below with reference to the drawings. FIG. 9 is a flow chart showing an example of the procedure of the image detection method according to this embodiment. Also, in the following description, for convenience of description, a person is exemplified as a detection target.

まず、記憶部21に格納されている複数の画像を日時情報に基づいて分類する(SB1)。このとき、位置情報に基づいて分類してもよいし、日時情報と位置情報とに基づいて分類してもよい。なお、分類の詳細については上述した第1実施形態と同様であり、ここでの詳細な説明は省略する。 First, a plurality of images stored in the storage unit 21 are classified based on date/time information (SB1). At this time, the classification may be based on the position information, or the classification may be based on the date and time information and the position information. The details of the classification are the same as those of the above-described first embodiment, and detailed description thereof will be omitted here.

次に、同じ分類に分類された画像群を対象として、画像認識処理等を行い、目的人物との類似度を得(SB2)、更に、類似度が第1閾値以上の人物を含む画像を検出する(SB3)。例えば、上述した第1実施形態と同様に、図4に示すように、同じ分類に属する画像群において、各画像に含まれる人物画像a~gを抽出し、各人物画像a~gと、目的人物との類似度を得る。そして、目的人物との類似度が第1閾値以上の人物画像を検出する。 Next, image recognition processing or the like is performed on the group of images classified into the same classification to obtain the degree of similarity with the target person (SB2). (SB3). For example, as in the above-described first embodiment, as shown in FIG. 4, in a group of images belonging to the same classification, person images a to g included in each image are extracted, and each person image a to g and the purpose Obtain the degree of similarity with a person. Then, a person image whose degree of similarity to the target person is greater than or equal to the first threshold is detected.

続いて、目的人物との類似度が第1閾値以上である人物画像から特徴情報を取得する(SB4)。例えば、図10に示すように、ステップSB3において、目的人物との類似度が第1閾値以上の人物画像として人物画像a~eが検出された場合を想定する。この場合、人物画像a~eからそれぞれ特徴情報を取得する。ここでは、説明の便宜上、各人物の着衣の色を特徴情報として抽出する場合を例示して説明する。 Next, feature information is acquired from a person image whose degree of similarity to the target person is equal to or greater than the first threshold (SB4). For example, as shown in FIG. 10, it is assumed that human images a to e are detected as human images whose degree of similarity to the target person is greater than or equal to the first threshold in step SB3. In this case, feature information is obtained from each of the person images a to e. Here, for convenience of explanation, a case where the color of clothes of each person is extracted as feature information will be exemplified and explained.

この結果、例えば、図11に示すように、人物画像a、cが特徴A(例えば、黒色)を有しており、人物画像b、dが特徴B(例えば、青色)を有しており、人物画像eが特徴C(例えば、赤色)を有している場合を想定する。 As a result, for example, as shown in FIG. 11, the person images a and c have the feature A (for example, black), the person images b and d have the feature B (for example, blue), Assume that the person image e has a feature C (for example, red).

続いて、人物画像の特徴情報を用いて再認識画像を抽出する(SB5)。例えば、類似度が第1閾値以上の各人物画像の特徴情報に基づいて、類似度が第1閾値以上の人物画像を分類する。そして、各分類に属する画像の枚数に基づいて再認識画像を抽出する。例えば、各分類に属する画像の枚数を比較し、枚数が他の分類に比べて少ない分類に属する画像を再認識画像として抽出する。より具体的には、各分類に属する人物画像の枚数から所定の統計的処理を行うことにより、閾値を決定する。そして、各分類に属する人物画像の枚数と閾値との関係によって再認識画像を抽出する。例えば、閾値を各分類に属する枚数の平均値とした場合には、各分類に属する人物画像の枚数が閾値以下の分類の人物画像を再認識画像として抽出する。 Subsequently, a re-recognized image is extracted using the feature information of the person image (SB5). For example, based on the feature information of each person image whose similarity is greater than or equal to a first threshold, the person images whose similarity is greater than or equal to a first threshold are classified. Then, re-recognized images are extracted based on the number of images belonging to each classification. For example, the number of images belonging to each classification is compared, and an image belonging to a classification having a smaller number of images than other classifications is extracted as a re-recognized image. More specifically, the threshold is determined by performing predetermined statistical processing on the number of human images belonging to each category. Then, re-recognized images are extracted based on the relationship between the number of human images belonging to each category and the threshold. For example, when the average value of the number of images belonging to each category is used as the threshold value, the person images of categories in which the number of person images belonging to each category is equal to or less than the threshold value are extracted as re-recognized images.

例えば、図11に示した例では、特徴Aに分類される画像数は「2」、特徴Bに分類される画像数は「2」、特徴Cに分類される画像数は「1」であり、閾値を各分類に属する人物画像の枚数の平均値(約1.7)とした場合、特徴Cに属する人物画像の枚数は閾値以下となる。したがって、この場合、特徴Cの分類に属する人物画像eが再認識画像として抽出される。 For example, in the example shown in FIG. 11, the number of images classified into feature A is "2", the number of images classified into feature B is "2", and the number of images classified into feature C is "1". , the number of human images belonging to feature C is less than or equal to the threshold when the threshold is the average value (about 1.7) of the number of human images belonging to each category. Therefore, in this case, the person image e belonging to the classification of feature C is extracted as the re-recognized image.

続いて、再認識画像の中から目的人物との類似度が第2閾値以上の画像を検出する(SB6)。 Next, an image having a degree of similarity with the target person equal to or higher than the second threshold is detected from the re-recognized images (SB6).

続いて、再認識画像の中で類似度が第2閾値以上である人物画像を特定し(SB7)、更に、類似度が第1閾値以上の人物画像のうち、再認識画像として抽出されなかった画像を特定する(SB8)。これにより、図11に示した人物画像a~eのうち、再認識画像として抽出されなかった人物画像a~dが特定される。また、再認識画像として抽出された人物画像eについては、目的人物との類似度が第2閾値以上であるか否かに応じて特定されるか否かが決定される。 Next, a person image whose similarity is equal to or higher than the second threshold is specified in the re-recognized images (SB7). Identify the image (SB8). As a result, among the person images a to e shown in FIG. 11, the person images a to d that have not been extracted as re-recognized images are identified. Whether or not the person image e extracted as the re-recognized image is identified is determined depending on whether or not the degree of similarity with the target person is greater than or equal to the second threshold.

そして、ステップSB7、SB8で特定された人物画像を抽出した抽出元の画像を目的人物と同じ人物が撮像された画像として検出する(SB9)。 Then, the image from which the person image specified in steps SB7 and SB8 is extracted is detected as an image of the same person as the target person (SB9).

そして、上記ステップSB2~SB9までの処理を分類毎に行うことにより、記憶部13に格納されている複数の画像の中から目的人物と同じ人物が撮像された画像を検出することが可能となる。 Then, by performing the processing from steps SB2 to SB9 for each classification, it becomes possible to detect an image in which the same person as the target person is captured from among the plurality of images stored in the storage unit 13. .

なお、上述した画像検出方法の処理手順は一例であり、処理順序を入れ替えたり、新たな処理を追加したりしてもよい。
例えば、上記処理手順では、最初に画像の分類を行い(SB1)、その後、分類毎に目的人物との類似度を取得し、類似度が第1閾値以上の人物画像を検出していたが(SB2、SB3)、これらの処理の順序を入れかえることも可能である。例えば、先にステップSB2、SB3の処理を行い、その後に、画像の分類(SB1)を行うこととしてもよい。
Note that the processing procedure of the image detection method described above is an example, and the processing order may be changed or new processing may be added.
For example, in the above processing procedure, images are first classified (SB1), after that, the degree of similarity with the target person is obtained for each classification, and human images whose similarity is equal to or greater than the first threshold are detected ( SB2, SB3), it is also possible to change the order of these processes. For example, steps SB2 and SB3 may be performed first, and then image classification (SB1) may be performed.

以上説明してきたように、本実施形態に係る情報処理装置及び画像検出方法によれば、検出目的物との類似度だけではなく、日時情報及び位置情報の少なくともいずれか一つに基づいて複数の画像を分類し、同じ分類に分類された画像に含まれる特徴情報を用いて検出目的物と同じものが撮像されている画像を検出する。 As described above, according to the information processing apparatus and the image detection method according to the present embodiment, a plurality of Images are classified, and images in which the same object as the detection target is captured are detected using feature information contained in the images classified into the same classification.

より具体的には、検出目的物との類似度が第1閾値以上である対象物の画像をその特徴情報に基づいて分類し、各分類に属する画像の枚数に基づいて再認識画像を抽出する。そして、再認識画像の中から類似度が第2閾値以上である画像を特定するとともに、類似度が第1閾値以上である画像のうち、再認識画像として抽出されなかった画像を特定する。そして、特定したこれら画像を検出目的物と一致する対象物が撮像された画像として検出する。 More specifically, images of objects whose similarity to the detected object is equal to or greater than a first threshold are classified based on their feature information, and re-recognized images are extracted based on the number of images belonging to each classification. . Then, among the re-recognized images, images whose similarity is equal to or higher than the second threshold are specified, and among the images whose similarity is equal to or higher than the first threshold, images that are not extracted as re-recognized images are specified. Then, these specified images are detected as images in which an object that matches the detection object is captured.

これにより、検出目的物と同一の対象物が含まれる画像の検出精度を維持しながら抽出漏れの発生確率を低下させることが可能となる。 As a result, it is possible to reduce the probability of occurrence of omission of extraction while maintaining the detection accuracy of an image containing the same object as the detection object.

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. Various changes or improvements can be made to the above-described embodiments without departing from the gist of the invention, and forms with such changes or improvements are also included in the technical scope of the present invention.

1 :情報処理装置
11 :CPU
12 :メインメモリ
13 :記憶部
14 :外部インターフェース
15 :通信インターフェース
16 :入力部
17 :表示部
18 :バス
20、20´ :画像検出部
21 :記憶部
22 :第1認識部
23 :第2認識部
24 :分類部
25 :特徴情報取得部
26 :検出部
27 :再認識画像抽出部
1: information processing device 11: CPU
12: main memory 13: storage unit 14: external interface 15: communication interface 16: input unit 17: display unit 18: buses 20, 20': image detection unit 21: storage unit 22: first recognition unit 23: second recognition Unit 24: Classifying unit 25: Feature information acquiring unit 26: Detecting unit 27: Re-recognized image extracting unit

Claims (7)

撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための情報処理装置であって、
前記検出目的物との類似度が第1閾値以上の対象物が含まれる画像を検出する第1認識手段と、
前記検出目的物との類似度が前記第1閾値よりも高い第2閾値以上の対象物が含まれる画像を検出する第2認識手段と、
撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の前記画像を分類する分類手段と、
前記分類手段で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得手段と、
前記第1認識手段の検出結果と、前記第2認識手段の検出結果と、前記特徴情報と、を用いて、前記検出目的物とみなせる対象物が撮像された画像を検出する検出手段と、
を具備する情報処理装置。
An information processing device for detecting an image in which a detection object is captured from among a plurality of images captured by an imaging device,
a first recognition means for detecting an image including an object having a degree of similarity equal to or higher than a first threshold with the detected object;
a second recognition means for detecting an image including an object whose degree of similarity to the detection target object is equal to or higher than a second threshold, which is higher than the first threshold;
Classifying means for classifying the plurality of images based on at least one of date and time information indicating the date and time when the image was taken and position information indicating the position where the image was taken;
a feature information obtaining means for obtaining feature information from the group of images classified into the same classification by the classification means;
a detection means for detecting an image of an object that can be regarded as the detection target using the detection result of the first recognition means, the detection result of the second recognition means, and the feature information;
An information processing device comprising:
前記検出手段は、前記第2認識手段で検出された画像の前記特徴情報と一致する前記特徴情報を有するとともに前記第1認識手段で検出された画像と、前記第2認識手段で検出された画像と、を前記検出目的物とみなせる対象物が撮像された画像として検出する請求項1に記載の情報処理装置。 The detection means has the image detected by the first recognition means and the image detected by the second recognition means having the feature information that matches the feature information of the image detected by the second recognition means. 2. The information processing apparatus according to claim 1, wherein and are detected as an image of an object that can be regarded as the detection object. 前記第1認識手段で検出された画像の前記特徴情報を用いて、前記第2認識手段による処理の対象となる再認識画像を抽出する再認識画像抽出手段をさらに備え、
前記検出手段は、前記再認識画像の中で前記第2認識手段によって検出された画像と、前記第1認識手段で検出された画像のうち前記再認識画像として抽出されなかった画像と、を前記検出目的物とみなせる対象物が撮像された画像として検出する請求項1に記載の情報処理装置。
further comprising re-recognized image extraction means for extracting a re-recognized image to be processed by the second recognition means using the characteristic information of the image detected by the first recognition means;
The detection means detects an image detected by the second recognition means in the re-recognized image and an image detected by the first recognition means that is not extracted as the re-recognized image. 2. The information processing apparatus according to claim 1, wherein an object that can be regarded as a detection object is detected as an image captured.
前記再認識画像抽出手段は、前記特徴情報に基づいて前記第1認識手段で検出された複数の画像を分類し、各分類に属する画像の枚数に基づいて前記再認識画像を抽出する請求項3に記載の情報処理装置。 4. The re-recognized image extraction means classifies the plurality of images detected by the first recognition means based on the feature information, and extracts the re-recognized image based on the number of images belonging to each classification. The information processing device according to . 前記特徴情報は、前記対象物の少なくとも一部の色、前記対象物の少なくとも一部の形状、前記対象物に付随して撮影されている物品の色、および前記対象物に付随して撮影されている物品の形状のいずれか一つを含む請求項1から4のいずれかに記載の情報処理装置。 The feature information includes the color of at least part of the object, the shape of at least part of the object, the color of an article photographed with the object, and the object photographed with the object. 5. The information processing apparatus according to any one of claims 1 to 4, wherein the information processing apparatus includes any one of the shape of the article that is being held. 撮像装置によって撮像された複数の画像の中から検出目的物が撮像された画像を検出するための画像検出方法であって、
前記検出目的物との類似度が第1閾値以上の対象物が含まれる画像を検出する第1認識工程と、
前記検出目的物との類似度が前記第1閾値よりも高い第2閾値以上の対象物が含まれる画像を検出する第2認識工程と、
撮像が行われた日時を示す日時情報及び撮像が行われた位置を示す位置情報の少なくともいずれか一つに基づいて、複数の前記画像を分類する分類工程と、
前記分類工程で同じ分類に分類された画像群から特徴情報を取得する特徴情報取得工程と、
前記第1認識工程の検出結果と、前記第2認識工程の検出結果と、前記特徴情報と、を用いて、前記検出目的物とみなせる対象物が撮像された画像を検出する検出工程と、
をコンピュータが実行する画像検出方法。
An image detection method for detecting an image in which a detection object is captured from among a plurality of images captured by an imaging device, comprising:
a first recognition step of detecting an image including an object whose similarity to the detection object is equal to or greater than a first threshold;
a second recognition step of detecting an image containing an object whose similarity to the detection object is equal to or higher than a second threshold higher than the first threshold;
a classification step of classifying the plurality of images based on at least one of date and time information indicating the date and time when the image was taken and position information indicating the position where the image was taken;
a feature information acquisition step of acquiring feature information from the group of images classified into the same category in the classification step;
a detection step of detecting an image in which an object that can be regarded as the detection object is captured using the detection result of the first recognition step, the detection result of the second recognition step, and the feature information;
A computer-implemented image detection method.
コンピュータを請求項1から5のいずれかに記載の情報処理装置として機能させるためのプログラム。
A program for causing a computer to function as the information processing apparatus according to any one of claims 1 to 5.
JP2021030014A 2021-02-26 2021-02-26 Information processing device and image detection method Active JP7239623B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021030014A JP7239623B2 (en) 2021-02-26 2021-02-26 Information processing device and image detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021030014A JP7239623B2 (en) 2021-02-26 2021-02-26 Information processing device and image detection method

Publications (2)

Publication Number Publication Date
JP2022131194A true JP2022131194A (en) 2022-09-07
JP7239623B2 JP7239623B2 (en) 2023-03-14

Family

ID=83153366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021030014A Active JP7239623B2 (en) 2021-02-26 2021-02-26 Information processing device and image detection method

Country Status (1)

Country Link
JP (1) JP7239623B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018163398A1 (en) * 2017-03-10 2018-09-13 株式会社日立国際電気 Similar image search system
JP2018198056A (en) * 2017-05-23 2018-12-13 キヤノン株式会社 Information processing apparatus, information processing method, and program
JP2021163310A (en) * 2020-04-01 2021-10-11 株式会社東芝 Display control unit, display control method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018163398A1 (en) * 2017-03-10 2018-09-13 株式会社日立国際電気 Similar image search system
JP2018198056A (en) * 2017-05-23 2018-12-13 キヤノン株式会社 Information processing apparatus, information processing method, and program
JP2021163310A (en) * 2020-04-01 2021-10-11 株式会社東芝 Display control unit, display control method, and program

Also Published As

Publication number Publication date
JP7239623B2 (en) 2023-03-14

Similar Documents

Publication Publication Date Title
JP7229174B2 (en) Person identification system and method
Pires et al. Assessing the need for referral in automatic diabetic retinopathy detection
US10614289B2 (en) Facial tracking with classifiers
US8934679B2 (en) Apparatus for real-time face recognition
WO2021003938A1 (en) Image classification method and apparatus, computer device and storage medium
Saraydemir et al. Down syndrome diagnosis based on gabor wavelet transform
EP3666177B1 (en) Electronic device for determining degree of conjunctival hyperemia
WO2021196721A1 (en) Cabin interior environment adjustment method and apparatus
JP6071002B2 (en) Reliability acquisition device, reliability acquisition method, and reliability acquisition program
Vocaturo et al. Dangerousness of dysplastic nevi: A multiple instance learning solution for early diagnosis
CN112001886A (en) Temperature detection method, device, terminal and readable storage medium
JP2005275935A (en) Terminal device
KR20190018349A (en) Method of processing biometric image and apparatus including the same
CN111241961A (en) Face detection method and device and electronic equipment
Dhanashree et al. Fingernail analysis for early detection and diagnosis of diseases using machine learning techniques
Sanil et al. 2d-3d facial image analysis for identification of facial features using machine learning algorithms with hyper-parameter optimization for forensics applications
JP2020081323A (en) Skin analysis device, skin analysis method, and computer program
JP7239623B2 (en) Information processing device and image detection method
Jilani et al. On the ethnic classification of Pakistani face using deep learning
JP2005266981A (en) Race estimation device
Nachum et al. A novel computer vision approach to kinematic analysis of handwriting with implications for assessing neurodegenerative diseases
US20240104739A1 (en) Computer vision for analyzing handwriting kinematics
Cheng et al. Design of a computer-assisted system to automatically detect cell types using ANA IIF images for the diagnosis of autoimmune diseases
CN112565601B (en) Image processing method, image processing device, mobile terminal and storage medium
WO2022079841A1 (en) Group specifying device, group specifying method, and computer-readable recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230302

R150 Certificate of patent or registration of utility model

Ref document number: 7239623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150