JP2019207676A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2019207676A JP2019207676A JP2019019961A JP2019019961A JP2019207676A JP 2019207676 A JP2019207676 A JP 2019207676A JP 2019019961 A JP2019019961 A JP 2019019961A JP 2019019961 A JP2019019961 A JP 2019019961A JP 2019207676 A JP2019207676 A JP 2019207676A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- likelihood
- image
- authentication result
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 33
- 238000003672 processing method Methods 0.000 title claims 6
- 238000012544 monitoring process Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 78
- 230000008569 process Effects 0.000 description 41
- 230000006870 function Effects 0.000 description 9
- 238000007476 Maximum Likelihood Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 102100040401 DNA topoisomerase 3-alpha Human genes 0.000 description 2
- 101000611068 Homo sapiens DNA topoisomerase 3-alpha Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Collating Specific Patterns (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、入力画像に対する認証技術に関するものである。 The present invention relates to an authentication technique for an input image.
監視システムにおいては、画像解析技術を利用して画像中に存在する人物の顔を検出する技術が知られている。また、画像処理システムにおいては、２つの顔画像を比較して同一の人物の顔であるかどうかの尤度を計算する技術が知られている。これらの技術を利用して、特許文献１では、監視システムにおいて検出した顔を、予めシステムに登録された顔と比較して個人認識し、尤もらしい人物の登録画像を表示する技術が開示されている。 In a monitoring system, a technique for detecting a human face existing in an image using an image analysis technique is known. In addition, in an image processing system, a technique is known in which two face images are compared to calculate the likelihood of being the same person's face. Using these techniques, Patent Document 1 discloses a technique for personally recognizing a face detected by a monitoring system by comparing it with a face registered in advance in a system and displaying a registered image of a likely person. Yes.
しかしながら、フレーム毎に認証結果が変化することが多々あるので、フレーム毎に認証結果を表示した場合、表示される尤もらしい人物が二転三転したり、表示／非表示の切り替わりが頻発して結局どの人物であるのかが分かりづらい場合がある。一方で、顔認証の用途によっては、人物を特定の１人にまで絞り込めなくとも、特定のグループに属している重要人物の存在可能性を迅速に知りたい場合がある。本発明では、入力画像に対する認証結果を視認しやすく表示するための技術を提供する。 However, since authentication results often change from frame to frame, when an authentication result is displayed for each frame, a likely person to be displayed changes frequently or changes between display and non-display frequently occur. In the end, it may be difficult to determine which person you are. On the other hand, depending on the use of face authentication, there is a case where it is desired to quickly know the existence possibility of an important person belonging to a specific group without narrowing down the number of persons to a specific one. The present invention provides a technique for displaying an authentication result for an input image in an easily visible manner.
本発明の一様態は、入力画像を順次、取得する取得手段と、同じグループに属する複数の登録画像のそれぞれの前記入力画像に対する尤度を求め、該複数の登録画像のうち尤度が高い順に上位から規定数の登録画像を、前記入力画像に対する認証結果として選択する選択手段と、第１フレームの入力画像に対する認証結果に含まれる登録画像の尤度と、該第１フレームよりも過去の第２フレームの入力画像に対する認証結果に含まれる登録画像の尤度と、に基づいて、前記第１フレームの入力画像に対する認証結果、前記第２フレームの入力画像に対する認証結果、のうち何れか一方を表示する表示制御手段とを備えることを特徴とする。 According to one aspect of the present invention, an obtaining unit that sequentially obtains input images, and a likelihood of each of a plurality of registered images belonging to the same group for each of the input images are obtained, and among the plurality of registered images, the likelihood is increased. Selection means for selecting a prescribed number of registered images from the top as the authentication result for the input image, the likelihood of the registered image included in the authentication result for the input image of the first frame, and the past of the first frame from the first frame Based on the likelihood of the registered image included in the authentication result for the two-frame input image, one of the authentication result for the input image of the first frame and the authentication result for the input image of the second frame Display control means for displaying.
本発明の構成によれば、入力画像に対する認証結果を視認しやすく表示することができる。 According to the configuration of the present invention, it is possible to display the authentication result for the input image in an easily visible manner.
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。 Embodiments of the present invention will be described below with reference to the accompanying drawings. The embodiment described below shows an example when the present invention is specifically implemented, and is one of the specific embodiments having the configurations described in the claims.
［第１の実施形態］
先ず、本実施形態に係る監視システムの構成例について、図１５を用いて説明する。図１５に示す如く、本実施形態に係る監視システムは、監視カメラ１０００、認証部２０００、録画サーバ１００１、表示端末１００２、を有し、それぞれはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク３０００に接続されている。
[First Embodiment]
First, a configuration example of the monitoring system according to the present embodiment will be described with reference to FIG. As shown in FIG. 15, the monitoring system according to the present embodiment includes a monitoring camera 1000, an authentication unit 2000, a recording server 1001, and a display terminal 1002, each connected to a network 3000 such as a LAN (Local Area Network). ing.
先ず、監視カメラ１０００について説明する。監視カメラ１０００は、監視エリアを監視するべく規定の位置に規定の姿勢でもって配置され、動画像の撮像を行う若しくは定期的／不定期的に静止画の撮像を行う。そして監視カメラ１０００は、撮像した各フレームの画像（撮像画像）を順次、ネットワーク３０００を介して録画サーバ１００１に対して送信する。なお、監視カメラ１０００の位置や姿勢は固定されていることに限らない。 First, the monitoring camera 1000 will be described. The monitoring camera 1000 is arranged at a specified position and with a specified posture to monitor the monitoring area, and takes a moving image or takes a still image on a regular or irregular basis. The monitoring camera 1000 sequentially transmits the captured images of the frames (captured images) to the recording server 1001 via the network 3000. Note that the position and orientation of the monitoring camera 1000 are not limited to being fixed.
次に、録画サーバ１００１について説明する。録画サーバ１００１は、ネットワーク３０００を介して監視カメラ１０００から受信した各フレームの撮像画像をハードディスクなどのメモリ装置に記録する。 Next, the recording server 1001 will be described. The recording server 1001 records the captured image of each frame received from the monitoring camera 1000 via the network 3000 in a memory device such as a hard disk.
次に、認証部２０００について説明する。認証部２０００は、録画サーバ１００１に記録されている各フレームの撮像画像を順次表示すると共に、該撮像画像中の人物の顔の認証を行い、該認証の結果を表示する画像処理装置である。また認証部２０００は、各フレームの撮像画像に対して行った認証の結果を、ネットワーク３０００を介して表示端末１００２に対して送信する。 Next, the authentication unit 2000 will be described. The authentication unit 2000 is an image processing apparatus that sequentially displays captured images of each frame recorded in the recording server 1001, authenticates a person's face in the captured image, and displays the authentication result. The authentication unit 2000 transmits the result of authentication performed on the captured image of each frame to the display terminal 1002 via the network 3000.
次に、表示端末１００２について説明する。表示端末１００２は、録画サーバ１００１に記録されている各フレームの撮像画像を表示すると共に、ネットワーク３０００を介して認証部２０００から受信した該撮像画像に対する認証の結果を表示する。 Next, the display terminal 1002 will be described. The display terminal 1002 displays the captured image of each frame recorded in the recording server 1001 and displays the authentication result for the captured image received from the authentication unit 2000 via the network 3000.
なお、図１５に示した監視システムの構成は一例である。例えば、図１５では、監視カメラ１０００、認証部２０００、録画サーバ１００１、表示端末１００２をそれぞれ別個の装置としているが、これらのうち２つ以上を１つの装置に一体化させても良い。次に、認証部２０００の機能構成例について、図１のブロック図を用いて説明する。 The configuration of the monitoring system shown in FIG. 15 is an example. For example, in FIG. 15, the monitoring camera 1000, the authentication unit 2000, the recording server 1001, and the display terminal 1002 are separate devices, but two or more of them may be integrated into one device. Next, a functional configuration example of the authentication unit 2000 will be described with reference to the block diagram of FIG.
取得部１０３は、監視カメラ１０００や録画サーバ１００１から撮像画像を取得する。入力部１０４は、ユーザが操作することで各種の操作入力（例えば、認証部２０００による認証に係る各種の操作入力）を認証部２０００に対して入力することができるユーザインターフェースである。このようなユーザインターフェースには、キーボード、マウス、タッチパネルなどがある。管理部１０２は、ユーザが入力部１０４を操作することで入力した操作入力に応じて設定された設定情報（認証設定）をメモリ１９８に登録して管理する。 The acquisition unit 103 acquires a captured image from the monitoring camera 1000 or the recording server 1001. The input unit 104 is a user interface that allows a user to input various operation inputs (for example, various operation inputs related to authentication by the authentication unit 2000) to the authentication unit 2000. Such user interfaces include a keyboard, a mouse, a touch panel, and the like. The management unit 102 registers and manages setting information (authentication setting) set in accordance with an operation input input by the user operating the input unit 104 in the memory 198.
処理部１０５は、取得部１０３が取得した撮像画像に対して、管理部１０２が管理している設定情報に基づいて認証を行う。ここで、図２に示す如く、人物３００２を含む監視エリアを矢印３００１の位置に矢印３００１の指す方向を向くように配置された監視カメラ１０００が撮像した撮像画像の一例を図３に示す。図３に示す如く、撮像画像３００３には人物３００２が含まれている。 The processing unit 105 authenticates the captured image acquired by the acquisition unit 103 based on setting information managed by the management unit 102. Here, as shown in FIG. 2, FIG. 3 shows an example of a captured image captured by the monitoring camera 1000 arranged so that the monitoring area including the person 3002 faces the direction indicated by the arrow 3001 at the position of the arrow 3001. As shown in FIG. 3, the captured image 3003 includes a person 3002.
顔検出部１０９は、取得部１０３が取得した撮像画像に含まれている人物の顔の領域（顔領域）を検出し、該顔領域内の画像を顔画像（入力画像）として抽出する。取得部１０３が図３の撮像画像３００３を録画サーバ１００１から取得した場合、顔検出部１０９は、図４に示す如く、撮像画像３００３に含まれている人物３００２の顔領域３００４を検出する。なお、顔領域の形状は図４のように矩形であることに限らず、楕円形など、非矩形であっても良い。 The face detection unit 109 detects a human face area (face area) included in the captured image acquired by the acquisition unit 103, and extracts an image in the face area as a face image (input image). When the acquisition unit 103 acquires the captured image 3003 of FIG. 3 from the recording server 1001, the face detection unit 109 detects the face area 3004 of the person 3002 included in the captured image 3003 as shown in FIG. Note that the shape of the face region is not limited to a rectangle as shown in FIG. 4, but may be a non-rectangle such as an ellipse.
尤度計算部１１０は、管理部１０２が管理している設定情報に含まれている様々な人物の顔の画像（登録画像）の、顔検出部１０９が抽出した顔画像（図４の例では顔領域３００４内の画像）に対する尤度（尤もらしさ）を求める。一方の画像に対する他方の画像の尤度を求める方法については様々な方法が公知であり、本実施形態では特定の尤度計算方法に限らない。顔画像に対する各登録画像の尤度の一例を図５に示す。 The likelihood calculation unit 110 is a face image (in the example of FIG. 4) extracted by the face detection unit 109 of various human face images (registered images) included in the setting information managed by the management unit 102. The likelihood (likelihood) for the image in the face area 3004 is obtained. Various methods are known for obtaining the likelihood of the other image with respect to one image, and the present embodiment is not limited to a specific likelihood calculation method. An example of the likelihood of each registered image with respect to the face image is shown in FIG.
図５は、１４枚の登録画像（登録画像Ａ〜Ｎ）のそれぞれの顔画像に対する尤度を示している。また、図６に示す如く、登録画像Ａ〜Ｎのうち登録画像Ａ〜Ｇはグループ名「お得意様１」のグループに属しており、登録画像Ｈ〜Ｎはグループ名「要警戒１」のグループに属している。グループ名「お得意様１」のグループに属している登録画像Ａ〜Ｇは何れも、「お得意様１」に対応する人物の顔の画像であり、グループ名「要警戒１」のグループに属している登録画像Ｈ〜Ｎは何れも、「要警戒１」に対応する人物の顔の画像である。 FIG. 5 shows the likelihood of each of the 14 registered images (registered images A to N) for each face image. Also, as shown in FIG. 6, among the registered images A to N, the registered images A to G belong to the group with the group name “customer 1”, and the registered images H to N have the group name “warning 1”. Belongs to a group. The registered images A to G belonging to the group with the group name “customer 1” are all face images of the person corresponding to the “customer 1”, and the registered image A to G belongs to the group with the group name “caution 1”. All of the registered images H to N to which it belongs are images of the face of the person corresponding to “Warning 1”.
本例では、各グループに属する登録画像は排他的であり、ある１つのグループに属する登録画像は、他のグループには属していないが、１つの登録画像が複数のグループに属していても良い。 In this example, registered images belonging to each group are exclusive, and a registered image belonging to one group does not belong to another group, but one registered image may belong to a plurality of groups. .
決定部１１１は、尤度計算部１１０による各登録画像の尤度の計算結果に基づき、表示する登録画像を決定する。表示部１０６は、取得部１０３が取得した撮像画像と、該撮像画像に対して決定部１１１が決定した登録画像と、を表示する。制御部１９９は、認証部２０００全体の動作制御を行う。メモリ１９８は、認証部２０００が保持するものとして後述する各種の情報を保持する。 The determining unit 111 determines a registered image to be displayed based on the likelihood calculation result of each registered image by the likelihood calculating unit 110. The display unit 106 displays the captured image acquired by the acquisition unit 103 and the registered image determined by the determination unit 111 for the captured image. The control unit 199 performs operation control of the entire authentication unit 2000. The memory 198 holds various types of information described later as what the authentication unit 2000 holds.
次に、認証部２０００による認証に係る設定処理について、図１３のフローチャートに従って説明する。ステップＳ８０２では、取得部１０３は、監視カメラ１０００へ画像取得プロトコルで接続し、該接続の確立後、監視カメラ１０００から順次送出される撮像画像を取得する。 Next, setting processing related to authentication by the authentication unit 2000 will be described with reference to the flowchart of FIG. In step S802, the acquisition unit 103 connects to the monitoring camera 1000 using an image acquisition protocol, and acquires captured images sequentially transmitted from the monitoring camera 1000 after the connection is established.
ステップＳ８０３では、管理部１０２は、ユーザが入力部１０４を操作することで設定した設定情報をメモリ１９８に登録する。ユーザは入力部１０４を操作して、「同種の人物の登録画像が属するグループ」を１つ以上設定する（図５の例では、グループ名「お得意様１」のグループ、グループ名「要警戒１」のグループを設定する）。そして管理部１０２は、認証部２０００が保持している登録画像を、設定されたグループの何れかに分類する。図５の例では、登録画像Ａ〜Ｇについてはグループ名「お得意様１」のグループに分類し、登録画像Ｈ〜Ｎについてはグループ名「要警戒１」のグループに分類している。そして管理部１０２は、各グループに分類した登録画像や各グループのグループ名等、グループや登録画像に係る情報を設定情報としてメモリ１９８に登録する。 In step S <b> 803, the management unit 102 registers setting information set by the user operating the input unit 104 in the memory 198. The user operates the input unit 104 to set one or more “groups to which registered images of the same kind of person belong” (in the example of FIG. 5, the group with the group name “customer 1”, the group name “warning required” 1 ”group). Then, the management unit 102 classifies the registered images held by the authentication unit 2000 into any of the set groups. In the example of FIG. 5, the registered images A to G are classified into a group with a group name “customer 1”, and the registered images H to N are classified into a group with a group name “warning required 1”. Then, the management unit 102 registers information related to the group and the registered image such as the registered image classified into each group and the group name of each group in the memory 198 as setting information.
ステップＳ８０５では、管理部１０２は、取得部１０３が取得した撮像画像を表示部１０６に表示すると共に、後述する処理によってグループごとに表示する認証結果を表示するための表示領域の位置やサイズを設定するためのインターフェースを表示する。インターフェースとしては、例えば、表示領域を表す枠であり、ユーザはこの枠のサイズや位置を入力部１０４を用いて変更することで所望の表示領域を設定することができる。 In step S805, the management unit 102 displays the captured image acquired by the acquisition unit 103 on the display unit 106, and sets the position and size of the display area for displaying the authentication result displayed for each group by processing to be described later. Displays an interface for The interface is, for example, a frame representing a display area, and the user can set a desired display area by changing the size and position of the frame using the input unit 104.
ユーザが表示領域の決定指示を入力部１０４を用いて入力すると、処理はステップＳ８０６を介してステップＳ８０７に進み、ユーザが表示領域の決定指示を入力部１０４を用いて入力していない限りは処理はステップＳ８０６を介してステップＳ８０５に戻る。 When the user inputs a display area determination instruction using the input unit 104, the process proceeds to step S807 via step S806, and the process is performed unless the user inputs a display area determination instruction using the input unit 104. Returns to step S805 via step S806.
ステップＳ８０７では、管理部１０２は、ステップＳ８０５にて設定した表示領域の位置やサイズを上記の設定情報に含めてメモリ１９８に登録する。ステップＳ８０８では、取得部１０３は、監視カメラ１０００との接続を切断する。 In step S807, the management unit 102 registers the position and size of the display area set in step S805 in the memory 198, including the setting information. In step S808, the acquisition unit 103 disconnects the connection with the monitoring camera 1000.
次に、認証部２０００が録画サーバ１００１に記録されている各フレームの撮像画像を表示すると共に、該撮像画像内における人物の顔に対する認証結果を表示するために行う処理（表示制御）について、図１４のフローチャートに従って説明する。 Next, a process (display control) performed by the authentication unit 2000 for displaying the captured image of each frame recorded in the recording server 1001 and displaying the authentication result for the human face in the captured image is shown in FIG. This will be described with reference to the flowchart of FIG.
ステップＳ１４０１では、取得部１０３は、録画サーバ１００１から撮像画像を取得する。ステップＳ１４０２では、顔検出部１０９は、ステップＳ１４０１において取得部１０３が取得した撮像画像から人物の顔画像を抽出する。 In step S1401, the acquisition unit 103 acquires a captured image from the recording server 1001. In step S1402, the face detection unit 109 extracts a human face image from the captured image acquired by the acquisition unit 103 in step S1401.
ステップＳ１４０３では、尤度計算部１１０は、管理部１０２が管理しているそれぞれの登録画像の、ステップＳ１４０２で撮像画像から抽出した顔画像に対する尤度を求める。ステップＳ１４０４では、制御部１９９は、ステップＳ１４０１において取得部１０３が取得した撮像画像を表示部１０６に表示する。 In step S1403, the likelihood calculation unit 110 obtains the likelihood of each registered image managed by the management unit 102 for the face image extracted from the captured image in step S1402. In step S1404, the control unit 199 displays the captured image acquired by the acquisition unit 103 in step S1401 on the display unit 106.
ステップＳ１４０５で決定部１１１はグループごとに、該グループに属する登録画像のうち尤度が大きい順に上位ｎ個（ｎは２以上の整数で、予めメモリ１９８に登録されている規定数）の登録画像を選択結果として選択する。以下では一例としてｎ＝３とするが、ｎは３に限らない。 In step S <b> 1405, the determination unit 111 determines, for each group, the top n registered images belonging to the group in descending order of likelihood (n is an integer equal to or larger than 2 and a predetermined number registered in the memory 198 in advance). As a selection result. In the following, n = 3 as an example, but n is not limited to 3.
図５の例では、グループは、グループ名「お得意様１」のグループ、グループ名「お得意様１」のグループ、の２つがあるため、該２つのグループのそれぞれについて、尤度が大きい順に上位３個（尤度の順位が１〜３）の登録画像を選択結果として選択する。 In the example of FIG. 5, there are two groups, that is, the group with the group name “customer 1” and the group with the group name “customer 1”. The top three registered images (likelihood ranks 1 to 3) are selected as selection results.
図５に示す如く、グループ名「お得意様１」のグループに属する登録画像Ａ〜Ｇのうち尤度が最も大きい登録画像は登録画像Ａ、尤度が２番目に大きい登録画像は登録画像Ｂ、尤度が３番目に大きい登録画像は登録画像Ｃである。然るに、図７に示す如く、グループ名「お得意様１」のグループに対応する選択結果（ＴＯＰ３）は登録画像Ａ，Ｂ，Ｃとなる。 As shown in FIG. 5, among the registered images A to G belonging to the group with the group name “customer 1”, the registered image with the highest likelihood is the registered image A, and the registered image with the second highest likelihood is the registered image B. The registered image with the third highest likelihood is the registered image C. However, as shown in FIG. 7, the selection results (TOP3) corresponding to the group having the group name “customer 1” are registered images A, B, and C.
同様に、図５に示す如く、グループ名「要警戒１」のグループに属する登録画像Ｈ〜Ｎのうち尤度が最も大きい登録画像は登録画像Ｈ、尤度が２番目に大きい登録画像は登録画像Ｉ、尤度が３番目に大きい登録画像は登録画像Ｊである。然るに、図７に示す如く、グループ名「要警戒１」のグループに対応する選択結果（ＴＯＰ３）は登録画像Ｈ，Ｉ，Ｊとなる。 Similarly, as shown in FIG. 5, among the registered images H to N belonging to the group having the group name “Necessary Warning 1”, the registered image with the highest likelihood is registered image H, and the registered image with the second highest likelihood is registered. The registered image J is the registered image J having the third largest likelihood. However, as shown in FIG. 7, the selection result (TOP3) corresponding to the group with the group name “Needs Warning 1” is registered images H, I, and J.
ステップＳ１４０６では、制御部１９９は、ステップＳ１４０１で取得した撮像画像が１フレーム目の撮像画像（図１４のフローチャートに従った処理の開始後に最初に取得部１０３が取得した撮像画像）であるか否かを判断する。この判断の結果、ステップＳ１４０１で取得した撮像画像が１フレーム目の撮像画像である場合には、処理はステップＳ１４０７に進み、ステップＳ１４０１で取得した撮像画像が２フレーム目以降の撮像画像である場合には、処理はステップＳ１４０８に進む。 In step S1406, the control unit 199 determines whether or not the captured image acquired in step S1401 is a captured image of the first frame (captured image acquired by the acquisition unit 103 first after the start of the processing according to the flowchart of FIG. 14). Determine whether. As a result of this determination, if the captured image acquired in step S1401 is the captured image of the first frame, the process proceeds to step S1407, and the captured image acquired in step S1401 is the captured image of the second and subsequent frames. In step S1408, the process proceeds to step S1408.
ステップＳ１４０７では、制御部１９９は、グループごとの選択結果を、ステップＳ１４０２で撮像画像から抽出した顔画像に対する認証結果として、上記のステップＳ８０５で位置やサイズを決定した表示領域内（表示部１０６）に表示する。例えば図８に示す如く、撮像画像３００３上の表示領域４０００内にグループごとの認証結果として、グループ名（Ｇｒｏｕｐ）、尤度の順位が１〜３の登録画像（ＴＯＰ３）、該登録画像の画像名（Ａ〜Ｊ）、該登録画像の尤度の順位（１〜３）を表示している。 In step S1407, the control unit 199 uses the selection result for each group as the authentication result for the face image extracted from the captured image in step S1402, and within the display area where the position and size are determined in step S805 (display unit 106). To display. For example, as shown in FIG. 8, as an authentication result for each group in the display area 4000 on the captured image 3003, a group name (Group), a registered image (TOP 3) with a likelihood ranking of 1 to 3, and an image of the registered image Names (A to J) and ranks (1 to 3) of likelihoods of the registered images are displayed.
図８では、撮像画像に重ねて認証結果を表示したが、１つの表示画面において撮像画像とは別個の表示領域に認証結果を表示しても良いし、表示画面を複数有する場合には、撮像画像を表示している表示画面とは別個の表示画面に認証結果を表示しても良い。 In FIG. 8, the authentication result is displayed over the captured image, but the authentication result may be displayed in a display area separate from the captured image on one display screen. The authentication result may be displayed on a display screen different from the display screen displaying the image.
ステップＳ１４０８では、決定部１１１は、現フレームにおける選択結果と、現フレームより過去のフレーム（過去フレーム）における選択結果と、を比較する。ここでは過去フレームとして現フレームよりも１フレーム前（過去）のフレームとするが、２フレーム以上前（過去）であっても良い。そして決定部１１１はグループごとに、現フレームと過去フレームとの間で尤度が最も大きい登録画像が同じであるのか、それとも同じではないのか、を判断する。そして、それぞれのグループに対する判断の結果が、「現フレームと過去フレームとの間で尤度が最も大きい登録画像が同じ」、である場合には、処理はステップＳ１４１０に進む。一方、少なくとも１つのグループに対する判断の結果が、「現フレームと過去フレームとの間で尤度が最も大きい登録画像が同じではない」、場合には、処理はステップＳ１４０９に進む。 In step S1408, the determination unit 111 compares the selection result in the current frame with the selection result in a frame past the current frame (past frame). Here, the past frame is a frame one frame before (past) before the current frame, but may be two frames or more (past) before. Then, the determination unit 111 determines, for each group, whether the registered images having the greatest likelihood are the same or not the same between the current frame and the past frame. If the determination result for each group is “the registered images with the highest likelihood are the same between the current frame and the past frame”, the process proceeds to step S1410. On the other hand, if the determination result for at least one group is “the registered images with the highest likelihood are not the same between the current frame and the past frame”, the process advances to step S1409.
図９に、過去フレームについてステップＳ１４０３で求めた各登録画像の尤度（図９左側）、現フレームについてステップＳ１４０３で求めた各登録画像の尤度（図９右側）、の一例を示す。 FIG. 9 shows an example of the likelihood of each registered image obtained in step S1403 for the past frame (left side in FIG. 9) and the likelihood of each registered image obtained in step S1403 for the current frame (right side in FIG. 9).
図９左側に示す如く、過去フレームでは、グループ名「お得意様１」のグループに属する登録画像Ａ〜Ｇのうち尤度の順位が１〜３の登録画像は登録画像Ａ〜Ｃである。また、図９左側に示す如く、過去フレームでは、グループ名「要警戒１」のグループに属する登録画像Ｈ〜Ｎのうち尤度の順位が１〜３の登録画像は登録画像Ｈ〜Ｊである。然るに、過去フレームについてステップＳ１４０５の処理を行った結果、図１０上側に示す如く、グループ名「お得意様１」のグループに対応する選択結果は登録画像Ａ〜Ｃ、グループ名「要警戒１」のグループに対応する選択結果は登録画像Ｈ〜Ｊとなる。 As shown on the left side of FIG. 9, in the past frame, among the registered images A to G belonging to the group of the group name “customer 1”, the registered images with the likelihood ranks 1 to 3 are the registered images A to C. Further, as shown on the left side of FIG. 9, in the past frame, among the registered images H to N belonging to the group having the group name “Necessary alert 1”, the registered images with the likelihood ranks 1 to 3 are the registered images H to J. . However, as a result of performing the process of step S1405 on the past frame, as shown in the upper side of FIG. 10, the selection result corresponding to the group with the group name “customer 1” is registered images A to C, and the group name “warning required 1”. The selection results corresponding to the groups are registered images H to J.
図９右側に示す如く、現フレームでは、グループ名「お得意様１」のグループに属する登録画像Ａ〜Ｇのうち尤度の順位が１〜３の登録画像は登録画像Ｄ，Ａ，Ｂである。また、図９右側に示す如く、現フレームでは、グループ名「要警戒１」のグループに属する登録画像Ｈ〜Ｎのうち尤度の順位が１〜３の登録画像は登録画像Ｎ，Ｈ，Ｉである。然るに、現フレームについてステップＳ１４０５の処理を行った結果、図１０下側に示す如く、グループ名「お得意様１」のグループに対応する選択結果は登録画像Ｄ，Ａ，Ｂ、グループ名「要警戒１」のグループに対応する選択結果は登録画像Ｎ，Ｈ，Ｉとなる。 As shown on the right side of FIG. 9, in the current frame, of the registered images A to G belonging to the group with the group name “customer 1”, the registered images with the likelihood ranks 1 to 3 are registered images D, A, and B. is there. Further, as shown on the right side of FIG. 9, in the current frame, among the registered images H to N belonging to the group having the group name “Necessary alert 1”, the registered images having the likelihood ranks 1 to 3 are registered images N, H, and I. It is. However, as a result of the processing of step S1405 for the current frame, as shown in the lower side of FIG. 10, the selection result corresponding to the group with the group name “customer 1” is registered images D, A, B, and the group name “required”. The selection results corresponding to the group of “warning 1” are registered images N, H, and I.
この場合、グループ名「お得意様１」のグループについては、過去フレームにおいて尤度が最も大きい登録画像はＡ、現フレームにおいて尤度が最も大きい登録画像はＤ、である。然るに、このグループについては「現フレームと過去フレームとの間で尤度が最も大きい登録画像は同じではない」と判断する。また、グループ名「要警戒１」のグループについては、過去フレームにおいて尤度が最も大きい登録画像はＨ、現フレームにおいて尤度が最も大きい登録画像はＮ、である。然るに、このグループについても「現フレームと過去フレームとの間で尤度が最も大きい登録画像は同じではない」と判断する。 In this case, for the group with the group name “customer 1”, the registered image with the highest likelihood in the past frame is A, and the registered image with the highest likelihood in the current frame is D. However, for this group, it is determined that “the registered images with the highest likelihood are not the same between the current frame and the past frame”. For the group having the group name “Needs Violence 1”, the registered image having the highest likelihood in the past frame is H, and the registered image having the highest likelihood in the current frame is N. However, for this group as well, it is determined that “the registered images with the highest likelihood are not the same between the current frame and the past frame”.
ステップＳ１４０９では、決定部１１１は、現フレームについてステップＳ１４０５で決定した各グループの選択結果を、ステップＳ１４０２で撮像画像から抽出した顔画像に対する認証結果とする。そして決定部１１１は、該認証結果を、ステップＳ８０５で位置やサイズを決定した表示領域内（表示部１０６）に表示する。 In step S1409, the determination unit 111 sets the selection result of each group determined in step S1405 for the current frame as an authentication result for the face image extracted from the captured image in step S1402. Then, the determination unit 111 displays the authentication result in the display area (display unit 106) whose position and size are determined in step S805.
ステップＳ１４１０では、決定部１１１は、過去フレームについてステップＳ１４０５で決定した各グループの選択結果を、ステップＳ１４０２で撮像画像から抽出した顔画像に対する認証結果とする。そして決定部１１１は、該認証結果を、ステップＳ８０５で位置やサイズを決定した表示領域内（表示部１０６）に表示する。 In step S1410, the determination unit 111 sets the selection result of each group determined in step S1405 for the past frame as an authentication result for the face image extracted from the captured image in step S1402. Then, the determination unit 111 displays the authentication result in the display area (display unit 106) whose position and size are determined in step S805.
決定部１１１による認証結果の決定方法の具体例を図１１に示す。図１１の左側には、図１０上側に示した「過去フレームにおける各グループの選択結果」を示している。「過去フレームにおける各グループの選択結果」と現フレームにおける各グループの選択結果とを比較した結果、尤度が最も大きい登録画像がグループごとに一致した場合には、方法Ｉを採用する。一方、「過去フレームにおける各グループの選択結果」と現フレームにおける各グループの選択結果とを比較した結果、少なくとも１つのグループで尤度が最も大きい登録画像が一致していない場合には、方法ＩＩを採用する。 A specific example of the authentication result determination method by the determination unit 111 is shown in FIG. On the left side of FIG. 11, “selection result of each group in the past frame” shown on the upper side of FIG. 10 is shown. As a result of comparing the “selection result of each group in the past frame” with the selection result of each group in the current frame, if the registered images having the highest likelihood match for each group, the method I is adopted. On the other hand, as a result of comparing the “selection result of each group in the past frame” with the selection result of each group in the current frame, if the registered images having the largest likelihood in at least one group do not match, the method II Is adopted.
方法Ｉでは、図１１の右上に示す如く、図１０上側の「過去フレームにおける各グループの選択結果」を認証結果とする。方法ＩＩでは、図１１の右下に示す如く、図１０下側の「現フレームにおける各グループの選択結果」を認証結果とする。つまり、方法Ｉでは、前回表示していた認証結果をそのまま今回も継続して表示し、方法ＩＩでは、前回表示していた認証結果を新たな認証結果に更新する。 In the method I, as shown in the upper right of FIG. 11, the “selection result of each group in the past frame” on the upper side of FIG. 10 is set as the authentication result. In the method II, as shown in the lower right of FIG. 11, the “selection result of each group in the current frame” on the lower side of FIG. That is, in the method I, the authentication result displayed last time is continuously displayed as it is, and in the method II, the authentication result displayed last time is updated to a new authentication result.
ステップＳ１４１１では、制御部１９９は、図１４のフローチャートに従った処理の終了条件が満たされたか否かを判断する。例えば制御部１９９は、ユーザが入力部１０４を操作して終了指示を入力した場合や、監視カメラ１０００からの全ての撮像画像についてステップＳ１４０１〜Ｓ１４１０の処理を行った場合には、終了条件が満たされたと判断する。 In step S1411, the control unit 199 determines whether or not an end condition for processing according to the flowchart of FIG. 14 is satisfied. For example, the control unit 199 satisfies the end condition when the user operates the input unit 104 to input an end instruction or when the processes of steps S1401 to S1410 are performed on all captured images from the monitoring camera 1000. Judge that it was done.
この判断の結果、終了条件が満たされたと判断した場合には、図１４のフローチャートに従った処理は完了し、終了条件が満たされていないと判断した場合には、処理はステップＳ１４０１に進む。 As a result of this determination, when it is determined that the end condition is satisfied, the process according to the flowchart of FIG. 14 is completed, and when it is determined that the end condition is not satisfied, the process proceeds to step S1401.
このように、本実施形態では、尤度の最大値が更新された際に登録画像が更新されて表示されるため、撮像画像中の人物と登録画像との比較を容易に行うことが可能となる。そのため、顔認証結果を目視確認するときに、どのグループに属する人物が存在する可能性が高いかをすぐに分かり易く理解でき、また、表示された登録画像と撮像画像を目視比較して、重要人物の存在可否をすばやく確認できる。これにより、重要人物に対する迅速な対応を促すことができる。 Thus, in this embodiment, since the registered image is updated and displayed when the maximum likelihood value is updated, it is possible to easily compare the person in the captured image with the registered image. Become. Therefore, when visually confirming the face authentication result, it is easy to understand which group is likely to exist, and it is important to visually compare the displayed registered image with the captured image. You can quickly check whether a person exists. As a result, prompt response to an important person can be promoted.
＜変形例＞
第１の実施形態では、人物の顔を認証の対象として説明したが、認証の対象は人物の顔に限らない。また、表示する認証結果のレイアウトは図８に示したレイアウトに限らない。また、認証結果の表示／非表示は入力部１０４を用いたユーザ操作に応じて切り替えるようにしても良い。
<Modification>
In the first embodiment, a person's face has been described as an authentication target, but the authentication target is not limited to a person's face. Further, the layout of the authentication result to be displayed is not limited to the layout shown in FIG. The display / non-display of the authentication result may be switched according to a user operation using the input unit 104.
また、図１に示した各機能部のうち１つ以上を認証部２０００とは別個の装置としても良い。例えば、処理部１０５を認証部２０００と通信可能な別個の装置としても良い。この場合、この処理部１０５は、監視カメラ１０００に組み込んでも良いし、可搬型のコンピュータ装置としても良い。 In addition, one or more of the functional units illustrated in FIG. 1 may be a separate device from the authentication unit 2000. For example, the processing unit 105 may be a separate device that can communicate with the authentication unit 2000. In this case, the processing unit 105 may be incorporated in the monitoring camera 1000 or may be a portable computer device.
［第２の実施形態］
第１の実施形態では、ｎの値は図１４のフローチャートに従った処理の開始前に設定されているものとして説明したが、図１４のフローチャートに従った処理の開始後に動的に変更するようにしても良い。上記のｎの値を動的に変更することが有効であると考えられるケースとしては、例えば、以下のような２つのケース（ケース１、ケース２）がある。
[Second Embodiment]
In the first embodiment, it has been described that the value of n is set before the start of the process according to the flowchart of FIG. 14, but the value is dynamically changed after the start of the process according to the flowchart of FIG. 14. Anyway. Examples of cases where it is considered effective to dynamically change the value of n include the following two cases (Case 1 and Case 2).
＜ケース１＞
尤度が高い（例えば尤度が規定値以上）登録画像の枚数が現在のｎより大きく、かつ尤度同士の大きさが拮抗している（例えば尤度間の差が規定値未満）場合には、尤度が高い順に登録画像を並べた場合、ｎ番目以降に正解の人物が存在する可能性がある。そのため、撮像画像の中に正解の人物が存在する可能性を高めるために、ｎをより大きな値に変更することが有用である場合がある。よって、このような場合、例えば、尤度の値を既存のクラスタリング手法等で複数のグループに分割しておき、尤度が最も高いグループに分類された登録画像の枚数をｎとすれば良い。但し、一般的には登録画像の表示領域には面積の制限があるため、あらかじめ表示枚数の上限を設定しておくと良い。なお、「尤度が高い（例えば尤度が規定値以上）登録画像の枚数が現在のｎより大きく、かつ尤度同士の大きさが拮抗している場合」を判定する方法には様々な方法がある。また、ｎの変更制御は全てのグループで一律に行っても良いし、グループごとに行っても良い。
<Case 1>
When the likelihood is high (for example, the likelihood is equal to or greater than a predetermined value), the number of registered images is larger than the current n, and the likelihoods are antagonized (for example, the difference between the likelihoods is less than the predetermined value). In the case where registered images are arranged in descending order of likelihood, there is a possibility that a correct person exists after the nth. Therefore, it may be useful to change n to a larger value in order to increase the possibility that a correct person exists in the captured image. Therefore, in such a case, for example, the likelihood value may be divided into a plurality of groups by an existing clustering method or the like, and the number of registered images classified into the group with the highest likelihood may be n. However, since the display area of the registered image is generally limited in area, it is preferable to set an upper limit on the number of displayed images in advance. There are various methods for determining “when the likelihood is high (for example, the likelihood is equal to or greater than a predetermined value) and the number of registered images is larger than the current n and the sizes of the likelihoods are antagonizing”. There is. Further, the change control of n may be performed uniformly for all groups or may be performed for each group.
＜ケース２＞
尤度が全体的に低い（例えば尤度の平均値が規定値未満）場合には、登録画像の中に正解の人物が存在しない可能性があるため、ユーザの目視確認の負担を減らすために、ｎをより小さい値に変更することが有用である場合がある。このような場合には、あらかじめ尤度の最小値（最小尤度値）を設定しておき、尤度の順位が現在のｎ以上であっても、最小尤度値を下回る尤度である登録画像は非表示とすることで、結果としてｎを小さくすれば良い。
<Case 2>
If the likelihood is low overall (for example, the average value of the likelihood is less than the specified value), there is a possibility that the correct person does not exist in the registered image. , N may be useful to change to a smaller value. In such a case, a minimum likelihood value (minimum likelihood value) is set in advance, and even if the likelihood rank is equal to or higher than the current n, the registration is a likelihood lower than the minimum likelihood value. The image is not displayed, and as a result, n may be reduced.
また、第１の実施形態では、尤度が高い順にｎ枚の登録画像を表示する際に、フレーム間で最大の尤度を持つ登録画像が変化した場合にのみ表示する登録画像を更新することで、表示される登録画像の切り替わりの頻発を抑制している。しかし、それでもなお、表示される登録画像の表示／非表示の切り替わりが頻発して結局どの人物であるのかが分かりづらい場合がある。その場合、登録画像の表示は行わず、グループごとに、該グループに属する種別の人物である尤度のみを表示しても良い。「グループに属する種別の人物である尤度」を求める為の方法の一例を図１２を用いて説明する。 In the first embodiment, when displaying n registered images in descending order of likelihood, the registered image to be displayed is updated only when the registered image having the maximum likelihood changes between frames. Thus, frequent switching of the displayed registered image is suppressed. However, there are still cases where it is difficult to determine who the person is in the end due to frequent switching between display / non-display of the displayed registered image. In that case, the registration image may not be displayed, and only the likelihood of being a person of the type belonging to the group may be displayed for each group. An example of a method for obtaining “the likelihood of being a person of a type belonging to a group” will be described with reference to FIG.
図１２（ａ）に示す如く、グループ名「２０代男性」のグループに登録画像Ａ，Ｂ，Ｃが属しているとする。そして、過去フレームの顔画像に対する登録画像Ａ，Ｂ，Ｃのそれぞれの尤度が図１２（ｂ）に示す如く、ＬＡ −１（＝１４０）、ＬＢ −１（＝１０）、ＬＣ −１（＝８０）であるとする。また、現フレームの顔画像に対する登録画像Ａ，Ｂ，Ｃのそれぞれの尤度が図１２（ｃ）に示す如く、ＬＡ ０（＝４０）、ＬＢ ０（＝１３０）、ＬＣ ０（＝２０）であるとする。このとき、「グループに属する種別の人物である尤度」Ｌは、図１２（ｃ）の下側に示す如く、Ｌ＝（ＬＡ −１＋ＬＢ −１＋ＬＣ −１＋ＬＡ ０＋ＬＢ ０＋ＬＣ ０）／６を計算することで求めることができる。これは他のグループについても同様である。 As shown in FIG. 12A, it is assumed that registered images A, B, and C belong to a group having a group name “male in their 20s”. Then, the likelihood of each of the registered images A, B, and C with respect to the face image of the past frame is L A −1 (= 140), L B −1 (= 10), L C as shown in FIG. −1 (= 80). Further, as shown in FIG. 12C, the likelihood of each of the registered images A, B, and C with respect to the face image of the current frame is L A 0 (= 40), L B 0 (= 130), L C 0 ( = 20). In this case, "a person in which the likelihood of type belonging to the group" L, as shown in the lower part of FIG. 12 (c), L = ( L A -1 + L B -1 + L C -1 + L A 0 + L B It can be obtained by calculating 0 + L C 0 ) / 6. The same applies to the other groups.
なお、ここでは尤度Ｌを現フレームよりも１フレーム過去のフレーム及び現フレームの２フレーム分の尤度を用いて求めているが、３フレーム分以上の尤度の平均をＬとして求めても良い。つまり、尤度の平均を求めるために過去フレームは１フレーム以上参照しても良い。 Here, the likelihood L is obtained using the likelihood of one frame past the current frame and the likelihood of two frames of the current frame, but the average of the likelihoods of three frames or more may be obtained as L. good. That is, one or more past frames may be referred to in order to obtain the average likelihood.
また、グループのみを表示する（第２の実施形態）か、グループ及び登録画像の両方を表示する（第１の実施形態）かの切り替えは、自動的に切り替わる方式を用いても良いし、ユーザ操作によって手動で切り替えられる方法を用いて実現しても良い。以下では、自動的に切り替わる方式の例を３点挙げる。なお、ここでは各登録画像に対する尤度とグループに対する尤度を明確に分けて記載するために、各登録画像に対する尤度を「個人の尤度」、グループに属する種別の人物である尤度を「グループの尤度」とそれぞれ記載する。 In addition, switching between displaying only a group (second embodiment) or displaying both a group and a registered image (first embodiment) may be performed using a method of automatically switching, or a user You may implement | achieve using the method switched manually by operation. In the following, three examples of the automatic switching method are given. Here, in order to clearly describe the likelihood for each registered image and the likelihood for the group, the likelihood for each registered image is “individual likelihood”, and the likelihood of being a person of a type belonging to the group. It is described as “group likelihood”.
＜例１＞
個人の尤度が全体的に低い（例えば尤度の平均値が規定値未満）場合には、表示される登録画像の表示／非表示の切り替わりが頻発して結局どの人物であるのかが分かりづらい場合がある。その場合、はじめに個人の尤度及びグループの尤度の両方を求め、個人の尤度の大きさに基づいて表示の切り替えを行うと良い。切り替えを行う方法の一例を、図１４に示されたフローチャートと同様に、図１７のフローチャートに従って説明する。
<Example 1>
When the likelihood of an individual is low overall (for example, the average value of the likelihood is less than a specified value), switching of display / non-display of the displayed registered image occurs frequently, and it is difficult to determine who the person is after all. There is a case. In this case, it is preferable to first obtain both the individual likelihood and the group likelihood, and to switch the display based on the individual likelihood. An example of a method for performing the switching will be described with reference to the flowchart of FIG. 17 as in the flowchart shown in FIG.
ステップＳ１７０１では、撮像画像を取得し、ステップＳ１７０２では、該撮像画像より顔の領域を抽出する。ステップＳ１７０３では、個人の尤度及びグループの尤度を求める。ステップＳ１７０４では、個人の尤度と予め設定した閾値との間で大きさを比較し、個人の尤度が閾値以上の場合には、ステップＳ１７０６に進み、閾値未満の場合にはステップＳ１７０５に進む。 In step S1701, a captured image is acquired, and in step S1702, a face area is extracted from the captured image. In step S1703, the likelihood of the individual and the likelihood of the group are obtained. In step S1704, the magnitude is compared between the individual likelihood and a preset threshold value. If the individual likelihood is equal to or greater than the threshold value, the process proceeds to step S1706. If the individual likelihood is less than the threshold value, the process proceeds to step S1705. .
ステップＳ１７０５では、現在のフレームと１つ前のフレームにおいて、尤度の最も高い個人が同じであるか否かを求め、同じである場合にはステップＳ１７０６に進み、同じでない場合にはステップＳ１７０７に進む。 In step S1705, it is determined whether or not the individual with the highest likelihood is the same in the current frame and the previous frame. If they are the same, the process proceeds to step S1706, and if not, the process proceeds to step S1707. move on.
ステップＳ１７０６では、認証結果として、グループ及び登録画像の両方を表示する。ステップＳ１７０７では、尤度が高い（例えば尤度が規定値以上）グループのみを表示する。例えば図１９に示す如く、中央のフレームはＤさんと認識されており、これは直前のフレーム（左端のフレーム）における認識結果（Ａさん）とは異なり、且つ中央のフレームにおける尤度は閾値未満であるため、「３０代男性」というグループ名を表示する。同様に、右端のフレームはＢさんと認識されており、これは直前のフレーム（中央のフレーム）における認識結果（Ｂさん）とは異なり、且つ右端のフレームにおける尤度は閾値未満であるため、「３０代男性」というグループ名を表示する。なお、グループ名は、社員、駅員、警察など、ほかのグループ名であっても良い。 In step S1706, both the group and the registered image are displayed as the authentication result. In step S1707, only the groups having a high likelihood (for example, the likelihood is equal to or higher than a specified value) are displayed. For example, as shown in FIG. 19, the center frame is recognized as Mr. D, which is different from the recognition result (Mr. A) in the immediately preceding frame (the leftmost frame), and the likelihood in the center frame is less than the threshold. Therefore, the group name “male in their 30s” is displayed. Similarly, the rightmost frame is recognized as Mr. B, which is different from the recognition result (Mr. B) in the immediately preceding frame (center frame), and the likelihood in the rightmost frame is less than the threshold. The group name “Male in 30's” is displayed. The group name may be another group name such as an employee, a station employee, or the police.
ステップＳ１７０６もしくはステップＳ１７０７の処理が終了した後は、ステップＳ１７０８へ進む。ステップＳ１７０８では、処理の終了条件が満たされたか否かを判断する。終了条件が満たされたと判断された場合には、処理は完了し、終了条件が満たされていないと判断された場合には、処理はステップＳ１７０１に戻る。なお、上述した「１つ前のフレーム」、「直前のフレーム」はそれぞれ「１つ前の認証処理対象のフレーム」、「直前の認証処理対象のフレーム」を意図している。 After the process of step S1706 or step S1707 is completed, the process proceeds to step S1708. In step S1708, it is determined whether a process termination condition is satisfied. If it is determined that the end condition is satisfied, the process is completed. If it is determined that the end condition is not satisfied, the process returns to step S1701. Note that the above-mentioned “previous frame” and “previous frame” are intended as “previous authentication process target frame” and “previous authentication process target frame”, respectively.
＜例２＞
尤度の計算は、認証開始の初期のフレームでは不安定であるが、時間が経過する（フレーム数が増える）と情報量が増加して安定化する場合がある。この要因としては、例えば、初めに背面を向いていた人物が、時間の経過によって正面を向いて認証しやすくなるなどが考えられる。その場合、例えば、人物が出現した１フレーム目からｍ（ｍは２以上の整数）フレーム目まではグループのみを表示し、（ｍ＋１）フレーム目以降についてはグループ及び登録画像の両方を表示すると良い。切り替えを行う方法の一例を、図１４に示されたフローチャートと同様に、図１８のフローチャートに従って説明する。
<Example 2>
The likelihood calculation is unstable in the initial frame at the start of authentication, but the amount of information may increase and stabilize as time passes (the number of frames increases). As this factor, for example, it is conceivable that a person who first turned to the back face can easily authenticate to face the front face as time passes. In this case, for example, only the group is displayed from the first frame in which the person appears to the m (m is an integer of 2 or more) frame, and both the group and the registered image are displayed from the (m + 1) th frame. . An example of a method for performing the switching will be described according to the flowchart of FIG. 18 as in the flowchart shown in FIG.
ステップＳ１８０１では、撮像画像を取得し、ステップＳ１８０２では、該撮像画像より顔の領域を抽出する。ステップＳ１８０３では、個人の尤度及びグループの尤度を求める。ステップＳ１８０４では、人物出現後のフレーム数と予め設定した閾値との間で大きさを比較し、人物出現後のフレーム数が閾値以上の場合には、ステップＳ１８０５に進み、閾値未満の場合にはステップＳ１８０６に進む。ステップＳ１８０５では、認証結果として、グループ及び登録画像の両方を表示する。ステップＳ１８０６では、グループのみを表示する。 In step S1801, a captured image is acquired, and in step S1802, a face region is extracted from the captured image. In step S1803, individual likelihood and group likelihood are obtained. In step S1804, the size is compared between the number of frames after the appearance of the person and a preset threshold. If the number of frames after the appearance of the person is equal to or greater than the threshold, the process proceeds to step S1805. The process proceeds to step S1806. In step S1805, both the group and the registered image are displayed as the authentication result. In step S1806, only the group is displayed.
ステップＳ１８０５もしくはステップＳ１８０６の処理が終了した後は、ステップＳ１８０７へ進む。ステップＳ１８０７では、処理の終了条件が満たされたか否かを判断する。終了条件が満たされたと判断された場合には、処理は完了し、終了条件が満たされていないと判断された場合には、処理はステップＳ１８０１に戻る。 After the process of step S1805 or step S1806 is completed, the process proceeds to step S1807. In step S1807, it is determined whether a process end condition is satisfied. If it is determined that the end condition is satisfied, the process is completed. If it is determined that the end condition is not satisfied, the process returns to step S1801.
＜例３＞
多くのフレームで得られた尤度を統合して切り替えを行っても良い。例えば、１フレーム目からｍ（ｍは２以上の整数）フレーム目まではグループのみを表示し、（ｍ＋１）フレーム目以降については、「直前のｎフレーム連続（ｎは２以上の整数）で最も尤度が高い人物が同一である」という条件が成立した際に、グループ及び登録画像の両方を表示する方法に切り替える、などの方法を利用すればよい。また、直前の連続ｎフレーム分の尤度計算結果に基づき、尤度の順位の変化の量が小さい場合にのみ、登録画像を表示する、などの方法で、動的に２つの表示方法を切り替えながら利用しても良い。
<Example 3>
Switching may be performed by integrating likelihoods obtained in many frames. For example, only the group is displayed from the first frame to m (m is an integer greater than or equal to 2), and for the (m + 1) th and subsequent frames, “the last consecutive n frames (n is an integer greater than or equal to 2)” When the condition that “the person with the highest likelihood is the same” is satisfied, a method of switching to a method of displaying both the group and the registered image may be used. In addition, based on the likelihood calculation results for the immediately preceding n frames, the two display methods are dynamically switched by displaying a registered image only when the amount of change in the likelihood ranking is small. You may use it.
第１の実施形態では、尤度が高い順にｎ枚の登録画像を表示する際に、尤度が最も大きい登録画像が変化した場合にのみ表示する登録画像を更新するが、これに限らない。例えば、尤度の順位が１位から３位までの登録画像が１つでもフレーム間で変化したグループがあれば、表示する登録画像を更新し、なければ更新しない。このように、任意（規定）の順位（ｐ（ｐは２以上の整数）番目に大きい順位）までの登録画像がフレーム間で変化した際に表示する登録画像を更新する（上記の方法ＩＩ）方法でも良い。 In the first embodiment, when displaying n registered images in descending order of likelihood, the registered image to be displayed is updated only when the registered image having the highest likelihood changes, but the present invention is not limited to this. For example, if there is a group in which even one registered image with the likelihood ranking from 1st to 3rd is changed between frames, the registered image to be displayed is updated, otherwise it is not updated. In this way, the registered image displayed when the registered image up to an arbitrary (specified) rank (p (p is an integer greater than or equal to 2)) is changed between frames is updated (method II above). The method is fine.
また、登録画像には関係なく、現フレームにおいて最も大きい尤度が、過去フレームにおいて最も大きい尤度を超えたグループがあれば表示する登録画像を更新し（上記の方法ＩＩ）、無ければ更新しない方法でもよい。また、尤度が最も大きい登録画像が変化し且つ現フレームにおいて最も大きい尤度が過去フレームにおいて最も大きい尤度を超えたグループがあれば、表示する登録画像を更新する（上記の方法ＩＩ）方法でもよい。 Regardless of the registered image, the registered image to be displayed is updated if there is a group whose maximum likelihood in the current frame exceeds the maximum likelihood in the past frame (the above method II), and is not updated if there is no group. The method may be used. Also, if there is a group in which the registered image with the highest likelihood changes and the maximum likelihood in the current frame exceeds the maximum likelihood in the past frame, the registered image to be displayed is updated (method II above) But you can.
また、第１の実施形態では、登録画像のグループ、及び各グループに属する登録画像は、あらかじめユーザが設定したものであるが、グループの定義を処理結果に基づいて動的に変更しても良い。例えば、監視カメラ１０００を用いてイベント会場等の入場受付窓口を監視（撮像）している場合、撮像画像には、受付手続きが未完了の人物のスペース、受付手続きが完了した人物のスペース、の両方が写っている場合がある。このような場合、認証部２０００が撮像画像における各スペースを定義する。そして認証部２０００は、撮像画像から顔画像を抽出した位置に該当するスペースが“受付手続きが未完了のスペース”であれば、認証結果として表示するグループ名を例えば“受付手続きが未完了のスペースに存在する要警戒人物”としても良い。 In the first embodiment, the group of registered images and the registered images belonging to each group are set in advance by the user, but the definition of the group may be dynamically changed based on the processing result. . For example, when an entrance reception desk such as an event venue is monitored (captured) using the monitoring camera 1000, the captured image includes a space for a person who has not completed the reception procedure, and a space for a person who has completed the reception procedure. Both may be reflected. In such a case, the authentication unit 2000 defines each space in the captured image. If the space corresponding to the position where the face image is extracted from the captured image is “a space where the reception procedure has not been completed”, the authentication unit 2000 sets a group name to be displayed as the authentication result, for example, “a space where the reception procedure has not been completed. It is also possible to be a “warning person”.
なお、上記の認証結果の表示の更新は、グループ単位で行っても良い。また、以上説明した各実施形態や変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や変形例の一部若しくは全部を選択的に使用しても構わない。 Note that the display of the authentication result may be updated on a group basis. Further, some or all of the embodiments and modifications described above may be used in appropriate combination. Also, some or all of the embodiments and modifications described above may be selectively used.
［第３の実施形態］
認証部２０００が有するものとして図１に示した各機能部はハードウェアで実装しても良いが、一部をソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このようなコンピュータプログラムを実行可能なコンピュータ装置は、認証部２０００に適用することができる。認証部２０００に適用可能なコンピュータ装置のハードウェア構成例について、図１６のブロック図を用いて説明する。
[Third Embodiment]
Each functional unit shown in FIG. 1 as what the authentication unit 2000 has may be implemented by hardware, but a part thereof may be implemented by software (computer program). In the latter case, a computer device capable of executing such a computer program can be applied to the authentication unit 2000. A hardware configuration example of a computer device applicable to the authentication unit 2000 will be described with reference to the block diagram of FIG.
ＣＰＵ１６０１は、ＲＡＭ１６０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１６０１は、コンピュータ装置全体の動作制御を行うと共に、認証部２０００が行うものとして上述した各処理を実行若しくは制御する。ＣＰＵ１６０１は、例えば、上記の制御部１９９としても機能する。 The CPU 1601 executes various processes using computer programs and data stored in the RAM 1602. As a result, the CPU 1601 controls the operation of the entire computer apparatus, and executes or controls each process described above as performed by the authentication unit 2000. For example, the CPU 1601 also functions as the control unit 199 described above.
ＲＡＭ１６０２は、ＲＯＭ１６０３や外部記憶装置１６０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１６０７を介して外部（例えば上記のネットワーク３０００）から受信したデータ、を格納するためのエリアを有する。さらにＲＡＭ１６０２は、ＣＰＵ１６０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１６０２は、各種のエリアを適宜提供することができる。ＲＡＭ１６０２は、上記のメモリ１９８としても機能する。 The RAM 1602 has an area for storing computer programs and data loaded from the ROM 1603 and the external storage device 1606 and data received from the outside (for example, the network 3000 described above) via the I / F (interface) 1607. Further, the RAM 1602 has a work area used when the CPU 1601 executes various processes. As described above, the RAM 1602 can provide various areas as appropriate. The RAM 1602 also functions as the memory 198 described above.
ＲＯＭ１６０３には、コンピュータ装置の設定データや起動プログラムなど、書換不要の情報が格納されている。 The ROM 1603 stores information that does not need to be rewritten, such as setting data and a startup program of the computer device.
操作部１６０４は、キーボード、マウス、タッチパネルなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の操作指示をＣＰＵ１６０１に対して入力することができる。操作部１６０４は、上記の入力部１０４としても機能する。 The operation unit 1604 is configured by a user interface such as a keyboard, a mouse, and a touch panel, and can input various operation instructions to the CPU 1601 when operated by the user. The operation unit 1604 also functions as the input unit 104 described above.
表示装置１６０５は、液晶画面やタッチパネル画面などにより構成されており、ＣＰＵ１６０１による処理結果を画像や文字などでもって表示することができる。表示装置１６０５は、上記の表示部１０６としても機能する。 The display device 1605 is configured by a liquid crystal screen, a touch panel screen, or the like, and can display a processing result by the CPU 1601 with an image, text, or the like. The display device 1605 also functions as the display unit 106 described above.
外部記憶装置１６０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１６０６には、ＯＳ（オペレーティングシステム）や、認証部２０００が行うものとして上述した各処理をＣＰＵ１６０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置１６０６に保存されているコンピュータプログラムには、取得部１０３、管理部１０２、処理部１０５、の機能をＣＰＵ１６０１に実行させるためのコンピュータプログラムが含まれている。また、外部記憶装置１６０６に保存されているデータには、上記の説明において既知の情報として取り扱った情報（設定情報、ｎの値など）が含まれている。外部記憶装置１６０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１６０１による制御に従って適宜ＲＡＭ１６０２にロードされ、ＣＰＵ１６０１による処理対象となる。なお、外部記憶装置１６０６は、上記のメモリ１９８としても機能する。 The external storage device 1606 is a large-capacity information storage device represented by a hard disk drive device. The external storage device 1606 stores an OS (Operating System) and computer programs and data for causing the CPU 1601 to execute or control the above-described processes performed by the authentication unit 2000. The computer program stored in the external storage device 1606 includes a computer program for causing the CPU 1601 to execute the functions of the acquisition unit 103, the management unit 102, and the processing unit 105. The data stored in the external storage device 1606 includes information (setting information, n value, etc.) handled as known information in the above description. Computer programs and data stored in the external storage device 1606 are appropriately loaded into the RAM 1602 under the control of the CPU 1601 and are processed by the CPU 1601. The external storage device 1606 also functions as the memory 198 described above.
Ｉ／Ｆ１６０７は、上記のネットワーク３０００との間のデータ通信を行うための通信インターフェースとして機能するものである。ＣＰＵ１６０１、ＲＡＭ１６０２、ＲＯＭ１６０３、操作部１６０４、表示装置１６０５、外部記憶装置１６０６、Ｉ／Ｆ１６０７は何れもバス１６０８に接続されている。 The I / F 1607 functions as a communication interface for performing data communication with the network 3000 described above. The CPU 1601, RAM 1602, ROM 1603, operation unit 1604, display device 1605, external storage device 1606, and I / F 1607 are all connected to the bus 1608.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１０２：管理部 １０３：取得部 １０４：入力部 １０５：処理部 １０６：表示部 １０９：顔検出部 １１０：尤度計算部 １１１：決定部 102: Management unit 103: Acquisition unit 104: Input unit 105: Processing unit 106: Display unit 109: Face detection unit 110: Likelihood calculation unit 111: Determination unit
Claims (12)
同じグループに属する複数の登録画像のそれぞれの前記入力画像に対する尤度を求め、該複数の登録画像のうち尤度が高い順に上位から規定数の登録画像を、前記入力画像に対する認証結果として選択する選択手段と、
第１フレームの入力画像に対する認証結果に含まれる登録画像の尤度と、該第１フレームよりも過去の第２フレームの入力画像に対する認証結果に含まれる登録画像の尤度と、に基づいて、前記第１フレームの入力画像に対する認証結果、前記第２フレームの入力画像に対する認証結果、のうち何れか一方を表示する表示制御手段と
を備えることを特徴とする画像処理装置。 Acquisition means for sequentially acquiring input images;
The likelihood for each input image of a plurality of registered images belonging to the same group is obtained, and a prescribed number of registered images are selected from the top of the plurality of registered images in descending order of likelihood as the authentication result for the input image. A selection means;
Based on the likelihood of the registered image included in the authentication result for the input image of the first frame and the likelihood of the registered image included in the authentication result for the input image of the second frame in the past from the first frame, An image processing apparatus comprising: display control means for displaying either one of an authentication result for the input image of the first frame and an authentication result for the input image of the second frame.
前記表示制御手段は、前記第１フレームの入力画像に対する認証結果に含まれる登録画像のうち最も大きい尤度の登録画像と、前記第２フレームの入力画像に対する認証結果に含まれる登録画像のうち最も大きい尤度の登録画像と、が同じであるか否かをグループごとに判断し、各グループで同じであると判断した場合には、前記第２フレームの入力画像に対する認証結果を表示し、少なくとも１つのグループで同じではないと判断した場合には、前記第１フレームの入力画像に対する認証結果を表示する
ことを特徴とする請求項１に記載の画像処理装置。 The selection means selects, for each group, the prescribed number of registered images as an authentication result for the input image,
The display control means includes a registration image having the highest likelihood among registered images included in an authentication result for the input image of the first frame and a registration image included in an authentication result for the input image of the second frame. It is determined for each group whether or not the registered image with a large likelihood is the same, and if it is determined that each group is the same, an authentication result for the input image of the second frame is displayed, and at least The image processing apparatus according to claim 1, wherein if it is determined that they are not the same in one group, an authentication result for the input image of the first frame is displayed.
前記表示制御手段は、前記第１フレームの入力画像に対する認証結果に含まれる登録画像のうち尤度が大きい順に規定の順位までの登録画像と、前記第２フレームの入力画像に対する認証結果に含まれる登録画像のうち尤度が大きい順に規定の順位までの登録画像と、が同じではないグループがなければ、前記第２フレームの入力画像に対する認証結果を表示し、あれば、前記第１フレームの入力画像に対する認証結果を表示する
ことを特徴とする請求項１に記載の画像処理装置。 The selection means selects, for each group, the prescribed number of registered images as an authentication result for the input image,
The display control means is included in the registered images up to a prescribed order in descending order of likelihood among the registered images included in the authentication result for the input image of the first frame and the authentication result for the input image of the second frame. If there is no group whose registered images are not the same as the registered images in the descending order of likelihood, the authentication result for the input image of the second frame is displayed. The image processing apparatus according to claim 1, wherein an authentication result for the image is displayed.
前記表示制御手段は、前記第１フレームの入力画像に対する認証結果に含まれる登録画像のうち最も大きい尤度が、前記第２フレームの入力画像に対する認証結果に含まれる登録画像のうち最も大きい尤度を超えたグループがない場合には、前記第２フレームの入力画像に対する認証結果を表示し、ある場合には、前記第１フレームの入力画像に対する認証結果を表示する
ことを特徴とする請求項１に記載の画像処理装置。 The selection means selects, for each group, the prescribed number of registered images as an authentication result for the input image,
The display control means has the largest likelihood among the registered images included in the authentication result for the input image of the second frame, the largest likelihood among the registered images included in the authentication result for the input image of the first frame. The authentication result for the input image of the second frame is displayed when there is no group exceeding the threshold, and the authentication result for the input image of the first frame is displayed when there is no group. An image processing apparatus according to 1.
同じグループに属する複数の登録画像のそれぞれの第１フレームの入力画像に対する尤度と、該複数の登録画像のそれぞれの該第１フレームよりも過去の第２フレームの入力画像に対する尤度と、の平均を前記第１フレームの入力画像に対する認証結果として表示する表示制御手段と
を備えることを特徴とする画像処理装置。 Acquisition means for sequentially acquiring input images;
The likelihood of each of the plurality of registered images belonging to the same group with respect to the input image of the first frame, and the likelihood of each of the plurality of registered images with respect to the input image of the second frame past the first frame, An image processing apparatus comprising: display control means for displaying an average as an authentication result for the input image of the first frame.
前記画像処理装置の取得手段が、入力画像を順次、取得する取得工程と、
前記画像処理装置の選択手段が、同じグループに属する複数の登録画像のそれぞれの前記入力画像に対する尤度を求め、該複数の登録画像のうち尤度が高い順に上位から規定数の登録画像を、前記入力画像に対する認証結果として選択する選択工程と、
前記画像処理装置の表示制御手段が、第１フレームの入力画像に対する認証結果に含まれる登録画像の尤度と、該第１フレームよりも過去の第２フレームの入力画像に対する認証結果に含まれる登録画像の尤度と、に基づいて、前記第１フレームの入力画像に対する認証結果、前記第２フレームの入力画像に対する認証結果、のうち何れか一方を表示する表示制御工程と
を備えることを特徴とする画像処理方法。 An image processing method performed by an image processing apparatus,
An acquisition step in which the acquisition unit of the image processing apparatus sequentially acquires input images;
The selection unit of the image processing device obtains a likelihood for each of the input images of a plurality of registered images belonging to the same group, and a prescribed number of registered images from the top in the descending order of the likelihood among the plurality of registered images, A selection step of selecting as an authentication result for the input image;
The display control means of the image processing apparatus includes the likelihood of the registered image included in the authentication result for the input image of the first frame and the registration included in the authentication result for the input image of the second frame that is earlier than the first frame. A display control step for displaying one of an authentication result for the input image of the first frame and an authentication result for the input image of the second frame based on the likelihood of the image. Image processing method.
前記表示制御工程は、前記計算工程による尤度の計算結果に基づき、グループ、もしくは登録画像およびグループの両方を表示する工程をさらに備えることを特徴とする請求項９に記載の画像処理方法。 The selection step further includes a calculation step of obtaining a likelihood for each group of the input images,
The image processing method according to claim 9, wherein the display control step further includes a step of displaying a group or both a registered image and a group based on a likelihood calculation result obtained by the calculation step.
前記画像処理装置の取得手段が、入力画像を順次、取得する取得工程と、
前記画像処理装置の表示制御手段が、同じグループに属する複数の登録画像のそれぞれの第１フレームの入力画像に対する尤度と、該複数の登録画像のそれぞれの該第１フレームよりも過去の第２フレームの入力画像に対する尤度と、の平均を前記第１フレームの入力画像に対する認証結果として表示する表示制御工程と
を備えることを特徴とする画像処理方法。 An image processing method performed by an image processing apparatus,
An acquisition step in which the acquisition unit of the image processing apparatus sequentially acquires input images;
The display control means of the image processing apparatus has a likelihood of each of the plurality of registered images belonging to the same group with respect to the input image of the first frame and a second past of the first frame of each of the plurality of registered images. An image processing method comprising: a display control step of displaying an average of likelihood of an input image of a frame and an authentication result of the input image of the first frame.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/413,678 US11095814B2 (en) | 2018-05-25 | 2019-05-16 | Image processing apparatus and image processing method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018100865 | 2018-05-25 | ||
| JP2018100865 | 2018-05-25 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019207676A true JP2019207676A (en) | 2019-12-05 |
| JP2019207676A5 JP2019207676A5 (en) | 2022-02-16 |
| JP7311977B2 JP7311977B2 (en) | 2023-07-20 |
Family
ID=68767697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019019961A Active JP7311977B2 (en) | 2018-05-25 | 2019-02-06 | Image processing device, image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7311977B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002157592A (en) * | 2000-11-16 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for registering personal information and recording medium recording its program |
| JP2013065118A (en) * | 2011-09-15 | 2013-04-11 | Toshiba Corp | Face recognition device and face recognition method |
| WO2015098442A1 (en) * | 2013-12-26 | 2015-07-02 | 株式会社日立国際電気 | Video search system and video search method |
-
2019
- 2019-02-06 JP JP2019019961A patent/JP7311977B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002157592A (en) * | 2000-11-16 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for registering personal information and recording medium recording its program |
| JP2013065118A (en) * | 2011-09-15 | 2013-04-11 | Toshiba Corp | Face recognition device and face recognition method |
| WO2015098442A1 (en) * | 2013-12-26 | 2015-07-02 | 株式会社日立国際電気 | Video search system and video search method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7311977B2 (en) | 2023-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7282851B2 (en) | Apparatus, method and program | |
| JP6362674B2 (en) | Video surveillance support apparatus, video surveillance support method, and program | |
| JP5500303B1 (en) | MONITORING SYSTEM, MONITORING METHOD, MONITORING PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM | |
| JP2022082561A (en) | Analysis server, monitoring system, monitoring method, and program | |
| CN109284729A (en) | Method, apparatus and medium based on video acquisition human face recognition model training data | |
| JP5568153B1 (en) | Passenger detection system | |
| JP2018160219A (en) | Moving route prediction device and method for predicting moving route | |
| JP2021132267A (en) | Video monitoring system and video monitoring method | |
| WO2021051547A1 (en) | Violent behavior detection method and system | |
| CN113205037B (en) | Event detection method, event detection device, electronic equipment and readable storage medium | |
| US20210090611A1 (en) | Information processing apparatus, control method, and program | |
| JP7145622B2 (en) | Information processing device, information processing device control method, subject detection system, and program | |
| JP6270488B2 (en) | Operator monitoring control device and operator monitoring control method | |
| WO2020153338A1 (en) | Information processing device, information processing method, and recording medium | |
| CN110505438B (en) | Queuing data acquisition method and camera | |
| JP6862596B1 (en) | How to select video analysis equipment, wide area surveillance system and camera | |
| US20180197000A1 (en) | Image processing device and image processing system | |
| CN116824455A (en) | Event detection method, device, equipment and storage medium | |
| JPWO2018179119A1 (en) | Video analysis device, video analysis method, and program | |
| JP2019207676A (en) | Image processing apparatus and image processing method | |
| JP2020166590A (en) | Monitoring system, monitoring device, monitoring method, and monitoring program | |
| WO2022059223A1 (en) | Video analyzing system and video analyzing method | |
| US11749021B2 (en) | Retrieval device, control method, and non-transitory storage medium | |
| JP2015187770A (en) | Image recognition device, image recognition method, and program | |
| JP2016197345A (en) | Image analyzer, image analysis method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220207 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230609 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230707 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7311977 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |