JP2021009728A - Image processing apparatus, image processing method, and program - Google Patents

Image processing apparatus, image processing method, and program Download PDF

Info

Publication number
JP2021009728A
JP2021009728A JP2020173083A JP2020173083A JP2021009728A JP 2021009728 A JP2021009728 A JP 2021009728A JP 2020173083 A JP2020173083 A JP 2020173083A JP 2020173083 A JP2020173083 A JP 2020173083A JP 2021009728 A JP2021009728 A JP 2021009728A
Authority
JP
Japan
Prior art keywords
estimation
region
image processing
image
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020173083A
Other languages
Japanese (ja)
Other versions
JP6995960B2 (en
Inventor
康夫 馬塲
Yasuo Baba
康夫 馬塲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020173083A priority Critical patent/JP6995960B2/en
Publication of JP2021009728A publication Critical patent/JP2021009728A/en
Priority to JP2021203261A priority patent/JP7314244B2/en
Application granted granted Critical
Publication of JP6995960B2 publication Critical patent/JP6995960B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

To more accurately estimate the number of specific objects in an image by combining a plurality of number of people estimation methods.SOLUTION: An image processing apparatus of the present invention comprises: first estimation means that estimates the number of specific objects included in a first area of an image by using first estimation processing; second estimation means that estimates the number of specific objects included in a second area of the image by using second estimation processing different from the first estimation processing; and integration means that integrates a result of estimation performed by the first estimation means and a result of estimation performed by the second estimation means. The first estimation processing is processing of estimating the number of specific objects by using detection processing of detecting the specific objects included in the image, and the second estimation processing is processing of estimating the number of specific objects by using a recognition model obtained through learning that uses a plurality of images including the known number of people as learning data.SELECTED DRAWING: Figure 2

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method and a program.

近年、撮像装置で所定の領域を撮影して、撮影した画像を解析することによって画像中の人物の数を計測するシステムが提案されている。このようなシステムは、公共の空間での混雑の検知及び混雑時の人の流れを把握することでイベント時の混雑解消や災害時の避難誘導への活用が期待されている。
このような画像中の人物の数を計測する方法としては、人体検出手段によって検出した人物の数を計数する方法（特許文献１）がある。以下、この方法を「検出ベース人数推定法」と呼ぶ。また、機械学習によって得た認識モデルを用いて、画像の所定の領域に映る人数を直接推定する方法（非特許文献１）も提案されている。以下、この方法を「回帰ベース人数推定法」と呼ぶ。 In recent years, a system has been proposed in which a predetermined area is photographed by an imaging device and the number of people in the image is measured by analyzing the photographed image. Such a system is expected to be used for eliminating congestion at events and guiding evacuation in the event of a disaster by detecting congestion in a public space and grasping the flow of people during congestion.
As a method of measuring the number of people in such an image, there is a method of counting the number of people detected by the human body detecting means (Patent Document 1). Hereinafter, this method will be referred to as a "detection-based number estimation method". In addition, a method of directly estimating the number of people appearing in a predetermined area of an image by using a recognition model obtained by machine learning (Non-Patent Document 1) has also been proposed. Hereinafter, this method will be referred to as a "regression-based number estimation method".

特開２００７−２０１５５６号公報JP-A-2007-201556

池田浩雄，大網亮磨，宮野博義．ＣＮＮを用いた群衆パッチ学習に基づく人数推定の高精度化．ＦＩＴ，２０１４Hiroo Ikeda, Ryoma Oami, Hiroyoshi Miyano. Higher accuracy of number estimation based on crowd patch learning using CNN. FIT, 2014

検出ベース人数推定法は、人がまばらに存在し、かつ、所定の大きさ以上で映る場合には、高精度で人数を推定できる。しかしながら、人が高密度で存在し人体の大部分が隠れている場合、又は人体が所定の大きさより小さく映る場合には、人体検出手段の精度が劣化するため、人数推定の精度も劣化するという課題がある。
回帰ベース人数推定法は、人が高密度で存在する場合や所定の大きさより小さく映る場合においては、検出ベース人数推定法よりも高精度に人数を推定できる。一方、回帰ベース人数推定法は、人がまばらに存在し、かつ、所定の大きさ以上で映る場合においては、人数推定精度は検出ベース人数推定法に劣る。
本発明は、複数の人数推定法を組み合わせて、画像中の特定物体の数をより高精度に推定することを目的とする。 The detection-based number estimation method can estimate the number of people with high accuracy when the number of people is sparse and the image is larger than a predetermined size. However, when a person exists at a high density and most of the human body is hidden, or when the human body appears smaller than a predetermined size, the accuracy of the human body detecting means deteriorates, so that the accuracy of the number estimation also deteriorates. There are challenges.
The regression-based number estimation method can estimate the number of people with higher accuracy than the detection-based number estimation method when people are present at a high density or appear smaller than a predetermined size. On the other hand, the regression-based number estimation method is inferior to the detection-based number estimation method in the case where the number of people is sparse and the image is displayed in a predetermined size or larger.
An object of the present invention is to combine a plurality of number estimation methods to estimate the number of specific objects in an image with higher accuracy.

本発明の画像処理装置は、画像の第１領域に含まれる特定物体の数を、第１推定処理を用いて推定する第１推定手段と、前記画像の第２領域に含まれる特定物体の数を、前記第１推定処理と異なる第２推定処理を用いて推定する第２推定手段と、前記第１推定手段による推定結果と、前記第２推定手段による推定結果とを統合する統合手段と、を有し、前記第１推定処理は、前記画像に含まれる特定物体を検出する検出処理を用いて前記特定物体の数を推定する処理であり、前記第２推定処理は、人数が既知である複数の画像を学習データとした学習により得られた認識モデルを用いて前記特定物体の数を推定する処理であることを特徴とする。 The image processing apparatus of the present invention has a first estimation means for estimating the number of specific objects included in the first region of an image by using the first estimation process, and the number of specific objects included in the second region of the image. A second estimation means that estimates using a second estimation process different from the first estimation process, an integrated means that integrates the estimation result by the first estimation means and the estimation result by the second estimation means, and The first estimation process is a process of estimating the number of the specific objects by using the detection process of detecting the specific objects included in the image, and the second estimation process is a process of estimating the number of people. It is characterized in that it is a process of estimating the number of the specific object by using a recognition model obtained by learning using a plurality of images as training data.

本発明によれば、複数の人数推定法を組み合わせて、画像中の特定物体の数をより高精度に推定することができる。 According to the present invention, the number of specific objects in an image can be estimated with higher accuracy by combining a plurality of number estimation methods.

画像処理装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of an image processing apparatus. 画像処理装置の機能構成の一例を示す図である。It is a figure which shows an example of the functional structure of an image processing apparatus. 画像処理装置による画像処理の一例を示すフローチャートである。It is a flowchart which shows an example of image processing by an image processing apparatus. 検出領域と回帰領域とを設定する方法を説明する図である。It is a figure explaining the method of setting the detection area and the regression area. 検出された人体の例を示す図である。It is a figure which shows the example of the detected human body. 回帰領域の小領域への分割例及び人数推定例を示す図である。It is a figure which shows the example of dividing the regression area into a small area, and the example of the number estimation. 回帰ベース人数推定時に分割した小領域の一例を示す図である。It is a figure which shows an example of the small area divided at the time of regression base number estimation. 表示方法の例を示す図である。It is a figure which shows the example of the display method. 人体検出器と回帰器とが同一の畳込み層を共有する構成を示す図である。It is a figure which shows the structure which the human body detector and a return device share the same convolution layer.

以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜第１の実施形態＞
図１は、画像処理装置１００のハードウェア構成の一例を示す図である。
画像処理装置１００は、ハードウェア構成として、ＣＰＵ１０と、メモリ１１と、ネットワークＩ／Ｆ１２と、表示装置１３と、入力装置１４と、を含む。ＣＰＵ１０は、画像処理装置１００の全体の制御を司る。メモリ１１は、ＣＰＵ１０が処理に利用するデータ、プログラム等を記憶する。入力装置１４は、マウス、又はボタン等であり、ユーザの操作を画像処理装置１００に入力する。表示装置１３は、液晶表示装置等であり、ＣＰＵ１０による処理の結果等を表示する。ネットワークＩ／Ｆ１２は、画像処理装置１００をネットワークに接続するインタフェースである。ＣＰＵ１０がメモリ１１に記憶されたプログラムに基づき処理を実行することにより、後述する図２の画像処理装置１００の機能構成及び後述する図３のフローチャートの処理が実現される。 <First Embodiment>
FIG. 1 is a diagram showing an example of a hardware configuration of the image processing device 100.
The image processing device 100 includes a CPU 10, a memory 11, a network I / F 12, a display device 13, and an input device 14 as hardware configurations. The CPU 10 controls the entire image processing device 100. The memory 11 stores data, programs, and the like used by the CPU 10 for processing. The input device 14 is a mouse, a button, or the like, and inputs a user's operation to the image processing device 100. The display device 13 is a liquid crystal display device or the like, and displays the result of processing by the CPU 10 or the like. The network I / F12 is an interface for connecting the image processing device 100 to the network. When the CPU 10 executes the process based on the program stored in the memory 11, the functional configuration of the image processing device 100 of FIG. 2 described later and the process of the flowchart of FIG. 3 described later are realized.

図２は、画像処理装置１００の機能構成の一例を示す図である。
画像処理装置１００は、機能構成として、画像取得部１０１、領域決定部１０２、第１推定部１０３、第２推定部１０４、人数統合部１０５、表示部１０６を含む。
画像取得部１０１は、人数を推定する対象となる画像を取得する。
領域決定部１０２は、検出ベース人数推定を実施する領域と、回帰ベース人数推定を実施する領域と、を決定する。以下、検出ベース人数推定を実施する領域を検出領域、回帰ベース人数推定を実施する領域を回帰領域という。
第１推定部１０３は、検出領域に対して、検出ベース人数推定を実施する。検出ベース人数推定は、特定物体の検出処理の一例である。また、画像中の人は、特定物体の一例である。
第２推定部１０４は、回帰領域に対して、回帰ベース人数推定を実施する。回帰ベース人数推定は、所定の領域ごとに特定物体の数を推定する回帰処理の一例である。
人数統合部１０５は、第１推定部１０３による人数推定結果と、第２推定部１０４による人数推定結果と、を統合する。
表示部１０６は、人数統合部１０５により統合した人数推定結果を、表示装置１３に表示する。 FIG. 2 is a diagram showing an example of the functional configuration of the image processing device 100.
The image processing device 100 includes an image acquisition unit 101, an area determination unit 102, a first estimation unit 103, a second estimation unit 104, a number of people integration unit 105, and a display unit 106 as functional configurations.
The image acquisition unit 101 acquires an image for which the number of people is estimated.
The area determination unit 102 determines an area for performing detection-based number estimation and an area for performing regression-based number estimation. Hereinafter, the area where the detection-based number of people is estimated is referred to as a detection area, and the area where the regression-based number of people is estimated is referred to as a regression area.
The first estimation unit 103 estimates the number of detection bases for the detection area. The detection-based number estimation is an example of the detection process of a specific object. The person in the image is an example of a specific object.
The second estimation unit 104 performs regression-based population estimation for the regression region. Regression-based number estimation is an example of regression processing that estimates the number of specific objects for each predetermined area.
The number integration unit 105 integrates the number estimation result by the first estimation unit 103 and the number estimation result by the second estimation unit 104.
The display unit 106 displays the number of people estimation result integrated by the number of people integration unit 105 on the display device 13.

図３は、画像処理装置１００による画像処理の一例を示すフローチャートである。
Ｓ２０１において、画像取得部１０１は、人数を推定する対象となる画像を取得する。画像取得部１０１は、ＣＭＯＳセンサやＣＣＤセンサ等の固体撮像素子から画像を取得してもよいし、ハードディスク等のメモリ１１から画像を取得してもよい。
Ｓ２０２において、領域決定部１０２は、検出領域と、回帰領域と、を決定する。領域の決定には任意の方法を取ってよい。
例えば一つ目の方法は、領域決定部１０２が検出領域と回帰領域との両方とも、画像全体とする方法である。
二つ目の方法は、領域決定部１０２が検出領域と人数推定とを実施する領域の両方を、ユーザの明示的に設定操作に基づき設定する方法である。領域決定部１０２は、例えば、表示装置１３、及び入力装置１４等を介したユーザの領域の設定操作に基づき、検出領域と人数推定とを実施する領域の両方を決定する。 FIG. 3 is a flowchart showing an example of image processing by the image processing device 100.
In S201, the image acquisition unit 101 acquires an image for which the number of people is estimated. The image acquisition unit 101 may acquire an image from a solid-state image sensor such as a CMOS sensor or a CCD sensor, or may acquire an image from a memory 11 such as a hard disk.
In S202, the region determination unit 102 determines the detection region and the regression region. Any method may be used to determine the region.
For example, in the first method, the region determination unit 102 uses the entire image as both the detection region and the regression region.
The second method is a method in which the area determination unit 102 sets both the detection area and the area in which the number of people is estimated based on the user's explicit setting operation. The area determination unit 102 determines both the detection area and the area for performing the number estimation based on, for example, the user's area setting operation via the display device 13, the input device 14, and the like.

三つ目の方法は、領域決定部１０２が人体の大きさに従って検出領域と回帰領域とを設定する方法である。例えば、領域決定部１０２は、人体が第一の所定の大きさ以上で映る領域を、検出領域とし、人体が第二の所定の大きさ以下で映る領域を、回帰領域と設定することができる。図４（ａ）に、所定の高さより高所に設置した撮像装置により撮像される画像の一例を示す。灰色の物体は人体を表す。撮像装置を斜めに設置した場合、図４のように、撮像装置に近い手前側の人体は大きく、撮像装置から離れた奥側の人体は小さく映る。図４（ｂ）の領域３１０は検出領域の例である。図４（ｃ）の領域３２０は回帰領域の例である。
画像上の人体の大きさは、ユーザが入力装置１４を用いて明示的に領域決定部１０２に与えてもよい。例えば、ユーザが、画像上の複数の地点における人体の平均的な大きさを教示することで、領域決定部１０２は、画像上の任意の地点における人体の平均的な大きさを補間により推定することができる。
また、領域決定部１０２は、画像上の人体の大きさを、統計処理により自動で推定してもよい。例えば、領域決定部１０２は、所定の学習画像群に対して画像全体に人体検出処理を行い、人体の位置を示す人体枠の集合を取得する。画像上の座標（ｘ，ｙ）における人体枠の大きさをｓとしたとき、ｓは、ｘ、ｙ及び未知の１個以上のパラメータによって表せると仮定する。例えば、ｓ＝ａｘ＋ｂｙ＋ｃと仮定する。この例では、未知のパラメータはａ、ｂ及びｃである。領域決定部１０２は、所定の学習画像群から取得した人体枠の集合を用いて、未知のパラメータを、例えば最小二乗法等の統計処理により求めることができる。領域決定部１０２は、この方法により、人が小さく映るために人体検出が失敗する領域における人体の大きさも推定することができる。 The third method is a method in which the region determination unit 102 sets the detection region and the regression region according to the size of the human body. For example, the region determination unit 102 can set a region in which the human body is projected in the first predetermined size or larger as a detection region and a region in which the human body is projected in the second predetermined size or smaller as a regression region. .. FIG. 4A shows an example of an image captured by an image pickup device installed at a height higher than a predetermined height. The gray object represents the human body. When the image pickup device is installed at an angle, as shown in FIG. 4, the human body on the front side near the image pickup device is large, and the human body on the back side away from the image pickup device is small. Region 310 in FIG. 4B is an example of a detection region. Region 320 in FIG. 4C is an example of a regression region.
The size of the human body on the image may be explicitly given to the area determination unit 102 by the user using the input device 14. For example, the user teaches the average size of the human body at a plurality of points on the image, and the region determination unit 102 estimates the average size of the human body at any point on the image by interpolation. be able to.
Further, the area determination unit 102 may automatically estimate the size of the human body on the image by statistical processing. For example, the region determination unit 102 performs a human body detection process on the entire image of a predetermined learning image group, and acquires a set of human body frames indicating the position of the human body. Assuming that the size of the human body frame at the coordinates (x, y) on the image is s, it is assumed that s can be represented by x, y and one or more unknown parameters. For example, assume that s = ax + by + c. In this example, the unknown parameters are a, b and c. The region determination unit 102 can obtain an unknown parameter by statistical processing such as the least squares method by using a set of human body frames acquired from a predetermined learning image group. By this method, the area determination unit 102 can also estimate the size of the human body in the area where the human body detection fails because the person appears small.

四つ目の方法は、領域決定部１０２が人の密集度に従って検出領域と回帰領域とを設定する方法である。例えば、領域決定部１０２は、人の密集度が所定の値以下である領域を検出領域とし、人の密集度が所定の値以上である領域を回帰領域と設定することができる。人の密集度は任意の方法で推定することができる。例えば、領域決定部１０２は、背景差分によって求めた動体領域に対して、動体が存在すると判定されたピクセル数の割合に従って密集度を推定できる。また、例えば、領域決定部１０２は、動きベクトル検出を所定の範囲に施し、動きベクトルの長さの和に従って密集度を推定できる。
領域の決定はこれらに限定されるものではない。例えば、領域決定部１０２は、三つ目の方法と四つ目の方法とを組み合わせ、人体の大きさと人の密集度との両方を考慮して領域を決定するようにしてもよい。また、領域決定部１０２は、検出領域を画面全体とし、回帰領域を三つ目の方法と四つ目の方法との内の少なくとも一方を用いて決定するようにしてもよい。領域決定部１０２は、一つ目の方法から四つ目の方法までの方法を任意に組み合わせて検出領域と回帰領域とを設定するようにしてもよい。また、領域決定部１０２は、時間帯や状況に応じて動的に領域を変化させてもよい。 The fourth method is a method in which the region determination unit 102 sets the detection region and the regression region according to the density of people. For example, the region determination unit 102 can set a region in which the density of people is equal to or less than a predetermined value as a detection region and a region in which the density of people is equal to or greater than a predetermined value as a regression region. The density of people can be estimated by any method. For example, the area determination unit 102 can estimate the density according to the ratio of the number of pixels determined to have a moving object to the moving object region obtained by background subtraction. Further, for example, the region determination unit 102 can perform motion vector detection within a predetermined range and estimate the density according to the sum of the lengths of the motion vectors.
The determination of the area is not limited to these. For example, the region determination unit 102 may combine the third method and the fourth method to determine the region in consideration of both the size of the human body and the density of people. Further, the region determination unit 102 may determine the detection region as the entire screen and the regression region by using at least one of the third method and the fourth method. The region determination unit 102 may set the detection region and the regression region by arbitrarily combining the methods from the first method to the fourth method. Further, the area determination unit 102 may dynamically change the area according to the time zone and the situation.

Ｓ２０３において、第１推定部１０３は、Ｓ２０２にて設定された検出領域に対して、既知のパターン認識や機械学習の各種手法を利用し、人体検出を行う。ここで、人体検出とは、顔や人体の全体又はその一部等、予め定められた部位の位置を特定する処理を指す。以下では、人の頭部位置を検出する人体検出器を利用するものとする。第１推定部１０３は、例えば、画像の大きさを変更しながら照合パターンを画像全域に用いて複数の局所パターンを抽出し、それぞれの局所特徴量を算出する。そして、第１推定部１０３は、局所特徴量に重み付けを行った結果の総和から人体であるか否かを判定する。図５に、検出された人体の例を示す。矩形４０１は、人体検出処理によって得られた人体枠を表す。
ここで、第１推定部１０３は、Ｓ２０２において求められた人体の大きさの推定値を利用して、画像の大きさの変更範囲を限定することで、照合パターンの照合回数を減らし、計算量を削減してもよい。
次いで、第１推定部１０３は、検出された人体の数を数え上げ、推定人数を得る。 In S203, the first estimation unit 103 detects the human body for the detection region set in S202 by using various known pattern recognition and machine learning methods. Here, the human body detection refers to a process of specifying the position of a predetermined part such as the face or the whole or a part of the human body. In the following, a human body detector that detects the position of a person's head shall be used. The first estimation unit 103 extracts a plurality of local patterns by using the collation pattern over the entire image while changing the size of the image, and calculates the local feature amount of each. Then, the first estimation unit 103 determines whether or not the local feature is a human body from the sum of the results of weighting the local features. FIG. 5 shows an example of the detected human body. The rectangle 401 represents the human body frame obtained by the human body detection process.
Here, the first estimation unit 103 reduces the number of times of collation of the collation pattern by limiting the range of change in the size of the image by using the estimated value of the size of the human body obtained in S202, and the calculation amount. May be reduced.
Next, the first estimation unit 103 counts the number of detected human bodies and obtains an estimated number of people.

Ｓ２０４において、第２推定部１０４は、Ｓ２０２にて設定された回帰領域に対して、既知の回帰ベース人数推定手法を利用し、人数を直接推定する。一例として、ある固定サイズの小画像を入力とし、その小画像に映る人の数を出力とする回帰器を用いる手法について説明する。第２推定部１０４は、予め、人数が既知である大量の小画像を学習データとして、サポートベクターマシンや深層学習等既知の機械学習手法に基づいて回帰器を学習しておく。第２推定部１０４は、人数推定時には、入力画像の回帰領域を、人数推定を行う単位である小領域に分割する。そして、第２推定部１０４は、各小領域を固定サイズにリサイズして小画像とし、各小画像を回帰器の入力とすることで、各小領域の人数を推定する。図６（ａ）に回帰領域の小領域への分割例及び人数推定例を示す。この例では、第２推定部１０４は、回帰領域３２０を同一サイズの小領域５１０で分割している。また、図６（ａ）では小領域５１０ごとに回帰器を用いて推定した人数を、小領域の内部に数値で表している。第２推定部１０４が推定する人数は必ずしも整数とは限らず、実数を取ることもありえる。第２推定部１０４は、実数を四捨五入により整数に丸めて扱ってもよいし、実数のまま扱ってもよい。
第２推定部１０４は、小領域のサイズと人のサイズとの比率がほぼ一定となるように制約を加えることで、回帰器の精度向上を図ることもできる。第２推定部１０４は、Ｓ２０２で求められた人体の大きさの推定値を利用することで、小領域のサイズに対する人体のサイズがほぼ同一になるように、画像上で異なるサイズの小領域をとることができる。図６（ｂ）に回帰領域の分割例を示す。この例では、回帰領域３２０を異なるサイズの小領域５２０で分割している。分割された小領域５２０はそれぞれリサイズを経て固定サイズの小画像に変形され、回帰器に入力される。
回帰ベース人数推定については、非特許文献１を参照することができる。 In S204, the second estimation unit 104 directly estimates the number of people for the regression region set in S202 by using a known regression-based number estimation method. As an example, a method using a regressionr that takes a small image of a fixed size as an input and outputs the number of people reflected in the small image will be described. The second estimation unit 104 learns the regression device in advance based on a known machine learning method such as a support vector machine or deep learning, using a large number of small images with a known number of people as training data. At the time of estimating the number of people, the second estimation unit 104 divides the regression area of the input image into a small area which is a unit for estimating the number of people. Then, the second estimation unit 104 estimates the number of people in each small area by resizing each small area to a fixed size to make a small image and using each small image as an input of the regression device. FIG. 6A shows an example of dividing the regression region into small regions and an example of estimating the number of people. In this example, the second estimation unit 104 divides the regression region 320 into small regions 510 of the same size. Further, in FIG. 6A, the number of people estimated by using the regression device for each small area 510 is numerically represented inside the small area. The number of people estimated by the second estimation unit 104 is not necessarily an integer, and may be a real number. The second estimation unit 104 may round the real number into an integer by rounding, or may handle the real number as it is.
The second estimation unit 104 can also improve the accuracy of the regressor by adding a constraint so that the ratio between the size of the small area and the size of the person is substantially constant. By using the estimated value of the human body size obtained in S202, the second estimation unit 104 creates small regions of different sizes on the image so that the size of the human body is almost the same as the size of the small region. Can be taken. FIG. 6B shows an example of dividing the regression region. In this example, the regression region 320 is divided into small regions 520 of different sizes. Each of the divided small areas 520 is resized and transformed into a fixed-sized small image, which is input to the regressor.
Non-Patent Document 1 can be referred to for regression-based population estimation.

Ｓ２０５において、人数統合部１０５は、第１推定部１０３による人数推定結果と、第２推定部１０４による人数推定結果と、を統合する。
検出領域と回帰領域とに重複がない場合、人数統合部１０５は、第１推定部１０３による人数推定結果と、第２推定部１０４による人数推定結果と、の両方を合計することで、統合後の人数推定結果を得ることができる。
検出領域と回帰領域とに重複がある場合の統合例について以下に詳述する。
人数統合部１０５は、入力画像のうち、検出領域のみが設定されている領域に対しては、検出ベース人数推定の結果を統合後の推定人数とする。
また、人数統合部１０５は、入力画像のうち、回帰領域のみが設定されている領域に対しては、回帰ベース人数推定の結果を統合後の推定人数とする。
また、人数統合部１０５は、入力画像のうち、検出領域と回帰領域との両方が設定されている領域に対しては、双方の人数推定の結果を用いた任意の式を用いて、統合後の推定人数を算出する。人数統合部１０５は、式として、例えば推定人数の合計値を取る式、推定人数のうち小さい方を取る式、推定人数のうち大きい方を取る式、推定人数の平均を取る式、又は任意の重みによる重みづけ平均を取る式を用いることができる。
例として、図７に、回帰ベース人数推定時に分割した小領域６０１を示す。小領域６０１に対する回帰ベース人数推定の結果は６人であったとする。また、検出ベース人数推定によって得られた人体枠のうち、その重心が小領域６００に含まれる人体枠の数が４であったとする。その人体枠を図７の６１１、６１２、６１３、６１４に示す。人数統合部１０５は、小領域６０１に対する検出ベース人数推定の推定人数は、４人とみなす。
人数統合部１０５が二つの推定人数のうち小さい方を取る場合、統合後の推定人数は４人となる。人数統合部１０５が二つの推定人数のうち大きい方を取る場合、統合後の推定
人数は６人となる。人数統合部１０５が二つの推定人数の平均を取る場合、統合後の推定人数は５人となる。人数統合部１０５が二つの推定人数を、回帰ベース人数推定の結果と検出ベース人数推定の結果とを３：５の重みで重みづけ平均をとる場合、統合後の推定人数は４．７５人となる。 In S205, the number of people integration unit 105 integrates the number of people estimation result by the first estimation unit 103 and the number of people estimation result by the second estimation unit 104.
If there is no overlap between the detection area and the regression area, the number integration unit 105 totals both the number estimation result by the first estimation unit 103 and the number estimation result by the second estimation unit 104, and after integration. The number of people estimation result can be obtained.
An example of integration when the detection region and the regression region overlap will be described in detail below.
The number integration unit 105 uses the result of the detection base number estimation as the estimated number of people after integration for the area in which only the detection area is set in the input image.
In addition, the number integration unit 105 uses the result of regression-based number estimation as the estimated number of people after integration for the region in which only the regression region is set in the input image.
In addition, the number integration unit 105 uses an arbitrary formula using the results of both number estimations for the region in which both the detection region and the regression region are set in the input image, and after integration. Calculate the estimated number of people. The number integration unit 105 may include, for example, a formula for taking the total value of the estimated number of people, a formula for taking the smaller of the estimated number of people, a formula for taking the larger of the estimated number of people, a formula for taking the average of the estimated number of people, or an arbitrary formula. An equation that takes a weighted average by weight can be used.
As an example, FIG. 7 shows a small region 601 divided during regression-based population estimation. It is assumed that the result of regression-based number estimation for the small area 601 is 6. Further, it is assumed that among the human body frames obtained by the detection-based number estimation, the number of human body frames whose center of gravity is included in the small area 600 is 4. The human body frame is shown in FIGS. 611, 612, 613, and 614. The number integration unit 105 considers that the estimated number of people in the detection base number estimation for the small area 601 is four.
If the number integration unit 105 takes the smaller of the two estimated numbers, the estimated number of people after integration will be four. If the number integration unit 105 takes the larger of the two estimated numbers, the estimated number of people after integration will be six. If the number integration unit 105 takes the average of the two estimated numbers, the estimated number of people after the integration will be five. When the number integration unit 105 weights the two estimated numbers, the result of regression-based number estimation and the result of detection-based number estimation with a weight of 3: 5, and averages them, the estimated number of people after integration is 4.75. Become.

推定人数の統合方法は、これらに限定されるものではない。例えば、人数統合部１０５は、画像の位置に応じて、異なる重みで重みづけ平均をとってもよい。より具体的には、人数統合部１０５は、人体が所定の大きさより大きく映る位置では検出ベース人数推定結果の重みを所定の重みより大きくし、人体が所定の大きさより小さく映る位置では回帰ベース人数推定結果の重みを所定の重みより大きくしてもよい。また、例えば、人数統合部１０５は、密集度に応じて、異なる重みで重みづけ平均をとってもよい。より具体的には、人数統合部１０５は、密集度が所定の値より小さい地点では検出ベース人数推定結果の重みを所定の値より大きくし、密集度が所定の値より大きい地点では回帰ベース人数推定結果の重みを所定の値より大きくしてもよい。 The method of integrating the estimated number of people is not limited to these. For example, the number-of-person integration unit 105 may take a weighted average with different weights depending on the position of the image. More specifically, the number integration unit 105 makes the weight of the detection base number estimation result larger than the predetermined weight at the position where the human body appears larger than the predetermined size, and the regression base number at the position where the human body appears smaller than the predetermined size. The weight of the estimation result may be larger than the predetermined weight. Further, for example, the number-of-person integration unit 105 may take a weighted average with different weights according to the degree of density. More specifically, the number integration unit 105 makes the weight of the detection base number estimation result larger than the predetermined value at the point where the density is smaller than the predetermined value, and the regression-based number of people at the point where the density is larger than the predetermined value. The weight of the estimation result may be larger than a predetermined value.

Ｓ２０６において、表示部１０６は、人数統合部１０５により統合した人数推定結果を、表示装置１３等に表示する。
まず、表示部１０６は、画像全体の統合後の人数推定結果を表示する。この際、表示部１０６は、Ｓ２０２にて設定された検出領域及び回帰領域を画像上に明示してもよい。また、表示部１０６は、Ｓ２０３において推定された検出領域における人数推定結果と、Ｓ２０４において推定された回帰領域における人数推定結果とをそれぞれ表示してもよい。
また、表示部１０６は、画像の位置ごとに推定人数が分かるように、より詳細な表示を行ってもよい。その方法の例を以下に示す。
一つ目の表示方法は、統合後の推定人数と等しい数の人体枠を画像上に重畳表示する方法である。図８（ａ）を用いて説明する。例えばＳ２０５において、図７の小領域６０１の推定人数を５人とした場合を考える。この場合、小領域６０１に対する検出ベース人数推定による推定人数は４人であったので、人体枠が１人分足りない。表示部１０６は、小領域６０１内のランダムな位置を選んで、不足する分の人体枠を重畳（ここでは枠７０１）することで、推定人数と等しい数の人体枠を画像上に重畳表示できる。この際、人体枠の大きさを、Ｓ２０２で述べた方法で推定することで、表示部１０６は、自然な大きさの人体枠を重畳できる。逆に、検出ベース人数推定結果が、統合後の推定人数を上回る場合は、表示部１０６は、ランダムに人体枠を選んで削除する処理を必要回数行えばよい。 In S206, the display unit 106 displays the number of people estimation result integrated by the number of people integration unit 105 on the display device 13 and the like.
First, the display unit 106 displays the result of estimating the number of people after the integration of the entire image. At this time, the display unit 106 may clearly indicate the detection area and the regression area set in S202 on the image. Further, the display unit 106 may display the number of people estimation result in the detection area estimated in S203 and the number of people estimation result in the regression area estimated in S204, respectively.
Further, the display unit 106 may perform more detailed display so that the estimated number of people can be known for each position of the image. An example of the method is shown below.
The first display method is a method of superimposing and displaying a number of human body frames equal to the estimated number of people after integration on the image. This will be described with reference to FIG. 8 (a). For example, in S205, consider the case where the estimated number of people in the small area 601 of FIG. 7 is five. In this case, the estimated number of people by the detection base number estimation for the small area 601 was 4, so the human body frame is insufficient for one person. The display unit 106 can superimpose and display the number of human body frames equal to the estimated number of people on the image by selecting a random position in the small area 601 and superimposing the shortage of human body frames (here, frame 701). .. At this time, by estimating the size of the human body frame by the method described in S202, the display unit 106 can superimpose the human body frame of a natural size. On the contrary, when the detection-based number of people estimation result exceeds the estimated number of people after integration, the display unit 106 may perform a process of randomly selecting and deleting the human body frame as many times as necessary.

二つ目の表示方法は、回帰ベース人数推定時に分割した小領域ごとに、推定人数を表示する方法である。図８（ｂ）を用いて説明する。例えばＳ２０５において、図７の小領域６０１の推定人数を５人とした場合を考える。この場合、表示部１０６は、小領域６０１に存在すると推定される人数を、小領域６０１に重畳して表示する。また、表示部１０６は、人数の多さに応じて、視覚的に異なる画像処理を各領域に施してもよい。例えば、表示部１０６は、人数が他の領域に比べて多い領域ほど色を濃くする（例えば、赤色）ように表示してもよい。二つ目の表示方法の処理は、所定の領域ごとに所定の領域に存在する特定物体の数に応じた表示処理を行う一例である。
三つ目の表示方法は、画像の場所によって異なる表示を行う方法である。例えば、表示部１０６は、人体枠が所定の大きさよりも大きく表示される領域においては、一つ目の表示方法を用い、それ以外の領域においては、二つ目の表示方法を用いる。三つ目の表示方法の処理は、画像の位置に応じて画像に対して異なる表示処理を行う一例である。
四つ目の表示方法は、人数によって異なる表示を行う方法である。例えば、表示部１０６は、推定人数が所定の値よりも小さい領域においては、一つ目の表示方法を用い、それ以外の領域においては、二つ目の表示方法を用いる。四つ目の表示方法の処理は、画像の特定物体の数に応じて画像に対して異なる表示処理を行う一例である。
三つ目の表示方法や四つ目の表示方法をとることにより、例えば、人が密集している領
域に対しては、図８（ｂ）のような表示を行い、人が密集していない領域に対しては、図８（ａ）のような表示を行うことができる。したがって、ユーザは、人が密集している領域において、人が何人いるか速やかに把握することができる。 The second display method is a method of displaying the estimated number of people for each small area divided at the time of regression-based number of people estimation. This will be described with reference to FIG. 8 (b). For example, in S205, consider the case where the estimated number of people in the small area 601 of FIG. 7 is five. In this case, the display unit 106 superimposes and displays the number of people estimated to exist in the small area 601 on the small area 601. Further, the display unit 106 may perform visually different image processing on each area according to the number of people. For example, the display unit 106 may display so that the color becomes darker (for example, red) in an area where the number of people is larger than in other areas. The processing of the second display method is an example of performing display processing according to the number of specific objects existing in a predetermined area for each predetermined area.
The third display method is a method of displaying different images depending on the location of the image. For example, the display unit 106 uses the first display method in an area where the human body frame is displayed larger than a predetermined size, and uses the second display method in other areas. The processing of the third display method is an example of performing different display processing on the image depending on the position of the image.
The fourth display method is a method of displaying differently depending on the number of people. For example, the display unit 106 uses the first display method in an area where the estimated number of people is smaller than a predetermined value, and uses the second display method in other areas. The processing of the fourth display method is an example of performing different display processing on the image according to the number of specific objects in the image.
By adopting the third display method and the fourth display method, for example, in an area where people are crowded, the display as shown in FIG. 8B is performed, and people are not crowded. The area can be displayed as shown in FIG. 8A. Therefore, the user can quickly grasp how many people there are in a densely populated area.

＜第２の実施形態＞
検出ベース人数推定に用いる人体検出器及び回帰ベース人数推定に用いる回帰器は、共に既存の深層学習の手法を用いて学習してもよい。この際、ＣＰＵ１０は、人体検出器と回帰器とが、同一の畳込み層を共有する構成にしてもよい。構成例を図９に示す。 <Second embodiment>
Both the human body detector used for the detection-based number estimation and the regression device used for the regression-based number estimation may be learned using the existing deep learning method. At this time, the CPU 10 may be configured such that the human body detector and the regression device share the same convolution layer. A configuration example is shown in FIG.

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 <Other Embodiments>
The present invention supplies a system or device via a network or storage medium with a program that realizes one or more functions of the above-described embodiment. It can also be realized by a process in which one or more processors in the computer of the system or device reads and executes a program. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した実施形態では、推定の対象として人を例にとって説明を行った。しかし、人を例えば人以外の動物や自動車、自転車等の車、微生物等の任意の特定物体に読み替えることで、上述した実施形態の構成、情報処理を任意の特定物体の数の推定に利用することができる。 Although the preferred embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment. In the above-described embodiment, a person has been used as an example for estimation. However, by replacing a person with an arbitrary specific object such as an animal other than a human, an automobile, a car such as a bicycle, or a microorganism, the configuration and information processing of the above-described embodiment are used for estimating the number of an arbitrary specific object. be able to.

以上、上述した各実施形態によれば、検出ベース人数推定法を適用する領域及び回帰ベース人数推定法を適用する領域を自動で決定し、それぞれの結果を統合することで、単独の人数推定方法を用いる場合よりも高精度に人数推定することができる。
よって、複数の人数推定法を組み合わせて、画像中の特定物体の数をより高精度に推定することができる。 As described above, according to each of the above-described embodiments, an area to which the detection-based number estimation method is applied and an area to which the regression-based number estimation method is applied are automatically determined, and the results of each are integrated to obtain a single number estimation method. It is possible to estimate the number of people with higher accuracy than when using.
Therefore, the number of specific objects in the image can be estimated with higher accuracy by combining a plurality of number estimation methods.

１０ ＣＰＵ
１１ メモリ
１００ 画像処理装置 10 CPU
11 Memory 100 Image processing device

Claims (26)

画像の第１領域に含まれる特定物体の数を、第１推定処理を用いて推定する第１推定手段と、
前記画像の第２領域に含まれる特定物体の数を、前記第１推定処理と異なる第２推定処理を用いて推定する第２推定手段と、
前記第１推定手段による推定結果と、前記第２推定手段による推定結果とを統合する統合手段と、を有し、
前記第１推定処理は、前記画像に含まれる特定物体を検出する検出処理を用いて前記特定物体の数を推定する処理であり、
前記第２推定処理は、人数が既知である複数の画像を学習データとした学習により得られた認識モデルを用いて前記特定物体の数を推定する処理であることを特徴とする画像処理装置。 A first estimation means that estimates the number of specific objects included in the first region of an image using the first estimation process, and
A second estimation means that estimates the number of specific objects included in the second region of the image using a second estimation process different from the first estimation process.
It has an integrated means for integrating the estimation result by the first estimation means and the estimation result by the second estimation means.
The first estimation process is a process of estimating the number of the specific objects by using the detection process of detecting the specific objects included in the image.
The second estimation process is an image processing device that estimates the number of the specific objects by using a recognition model obtained by learning using a plurality of images with a known number of people as learning data. 前記画像の全体を前記第１領域、及び前記第２領域と決定する領域決定手段を更に有する請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising a region determining means for determining the entire image as the first region and the second region. ユーザの設定操作に基づいて前記第１領域と前記第２領域とを決定する領域決定手段を更に有する請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising a region determining means for determining the first region and the second region based on a user setting operation. 前記画像の特定物体の大きさに基づいて前記第１領域と前記第２領域との内の少なくとも一方を決定する領域決定手段を更に有する請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising a region determining means for determining at least one of the first region and the second region based on the size of a specific object in the image. 前記領域決定手段は、前記特定物体の大きさを推定し、推定した前記特定物体の大きさに基づいて前記第１領域と前記第２領域との内の少なくとも一方を決定する請求項４記載の画像処理装置。 The fourth aspect of claim 4, wherein the region determining means estimates the size of the specific object and determines at least one of the first region and the second region based on the estimated size of the specific object. Image processing device. 前記画像の特定物体の密集度に基づいて前記第１領域と前記第２領域との内の少なくとも一方を決定する領域決定手段を更に有する請求項１記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising a region determining means for determining at least one of the first region and the second region based on the density of a specific object in the image. 前記領域決定手段は、動体、又は動きベクトルに基づいて前記密集度を推定し、推定した前記密集度に基づいて前記第１領域と前記第２領域との内の少なくとも一方を決定する請求項６記載の画像処理装置。 6. The region determining means estimates the density based on a moving body or a motion vector, and determines at least one of the first region and the second region based on the estimated density. The image processing apparatus described. 前記統合手段は、前記第１推定手段による推定結果と前記第２推定手段による推定結果とを合計することで統合する請求項１乃至７の何れか１項記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 7, wherein the integrated means integrates the estimation result by the first estimation means and the estimation result by the second estimation means. 前記統合手段は、前記第１領域と前記第２領域とに重複している領域がない場合、前記第１推定手段による推定結果と前記第２推定手段による推定結果とを合計することで統合する請求項８記載の画像処理装置。 When there is no overlapping region between the first region and the second region, the integration means integrates by summing the estimation result by the first estimation means and the estimation result by the second estimation means. The image processing apparatus according to claim 8. 前記統合手段は、前記第１領域と前記第２領域とに重複している領域がある場合、前記第１領域のみの領域に対しては前記第１推定手段による推定結果を統合後の特定物体の数とし、前記第２領域のみの領域に対しては前記第２推定手段による推定結果を統合後の特定物体の数とし、前記重複している領域に対しては前記第１推定手段による推定結果と前記第２推定手段による推定結果とに基づいて統合後の特定物体の数を求めることで統合する請求項１乃至７の何れか１項記載の画像処理装置。 When the first region and the second region overlap with each other, the integration means integrates the estimation results of the first estimation means into the specific object for the region of only the first region. For the region of only the second region, the estimation result by the second estimation means is used as the number of specific objects after integration, and for the overlapping region, the estimation by the first estimation means is used. The image processing apparatus according to any one of claims 1 to 7, which integrates by obtaining the number of specific objects after integration based on the result and the estimation result by the second estimation means. 前記統合手段は、前記重複している領域に対しては前記第１推定手段による推定結果と前記第２推定手段による推定結果とを合計することで統合後の特定物体の数を求める請求項１０記載の画像処理装置。 Claim 10 for the integrating means to obtain the number of specific objects after integration by summing the estimation result by the first estimation means and the estimation result by the second estimation means for the overlapping region. The image processing apparatus described. 前記統合手段は、前記重複している領域に対しては前記第１推定手段による推定結果と前記第２推定手段による推定結果とに基づいて小さい方の値とすることで統合後の特定物体の数を求める請求項１０記載の画像処理装置。 The integrating means sets the overlapping region to a smaller value based on the estimation result by the first estimation means and the estimation result by the second estimation means, so that the integrated means can be used as a specific object after integration. The image processing apparatus according to claim 10, wherein the number is obtained. 前記統合手段は、前記重複している領域に対しては前記第１推定手段による推定結果と前記第２推定手段による推定結果とに基づいて大きい方の値とすることで統合後の特定物体の数を求める請求項１０記載の画像処理装置。 The integrating means sets the overlapping region to a larger value based on the estimation result by the first estimation means and the estimation result by the second estimation means, so that the integrated means can be used as a specific object after integration. The image processing apparatus according to claim 10, wherein the number is obtained. 前記統合手段は、前記重複している領域に対しては前記第１推定手段による推定結果と前記第２推定手段による推定結果とに基づいて平均をとることで統合後の特定物体の数を求める請求項１０記載の画像処理装置。 The integrating means obtains the number of specific objects after integration by averaging the overlapping regions based on the estimation result by the first estimation means and the estimation result by the second estimation means. The image processing apparatus according to claim 10. 前記統合手段は、前記重複している領域に対しては前記第１推定手段による推定結果と前記第２推定手段による推定結果とに基づいて重みづけ平均をとることで統合後の特定物体の数を求める請求項１０記載の画像処理装置。 The integrating means is the number of specific objects after integration by taking a weighted average for the overlapping region based on the estimation result by the first estimation means and the estimation result by the second estimation means. 10. The image processing apparatus according to claim 10. 前記統合手段は、前記画像の位置、又は特定物体の密集度に基づいて前記重みづけを変化させる請求項１５記載の画像処理装置。 The image processing apparatus according to claim 15, wherein the integrating means changes the weighting based on the position of the image or the density of a specific object. 前記統合手段による統合の結果、求められた前記画像の特定物体の数を表示手段に表示させる表示制御手段を更に有する請求項１乃至１６の何れか１項記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 16, further comprising a display control means for displaying the number of specific objects of the image obtained as a result of integration by the integration means on the display means. 前記表示制御手段は、前記第１領域と前記第２領域とを更に前記表示手段に表示させる請求項１７記載の画像処理装置。 The image processing device according to claim 17, wherein the display control means further displays the first region and the second region on the display means. 前記表示制御手段は、前記第１推定手段による推定結果と前記第２推定手段による推定結果とを更に前記表示手段に表示させる請求項１７又は１８記載の画像処理装置。 The image processing device according to claim 17 or 18, wherein the display control means further displays the estimation result by the first estimation means and the estimation result by the second estimation means on the display means. 前記第２推定手段は、前記画像の前記第２領域における所定領域ごとに前記第２推定処理を実行することで、前記第２領域に含まれる前記特定物体の数を推定し、
前記表示制御手段は、前記所定領域の各々について、当該所定領域において推定された前記特定物体の数を示す情報を前記表示手段に表示させる請求項１７記載の画像処理装置。 The second estimation means estimates the number of the specific objects included in the second region by executing the second estimation process for each predetermined region in the second region of the image.
The image processing device according to claim 17, wherein the display control means causes the display means to display information indicating the number of the specific objects estimated in the predetermined area for each of the predetermined areas. 前記表示制御手段は、前記所定領域の各々について、当該所定領域において推定された前記特定物体の数に応じた表示処理を行う請求項２０記載の画像処理装置。 The image processing apparatus according to claim 20, wherein the display control means performs display processing for each of the predetermined areas according to the number of the specific objects estimated in the predetermined area. 前記第２推定手段は、前記画像の前記第２領域における所定領域ごとに前記第２推定処理を実行することで、前記第２領域に含まれる前記特定物体の数を推定する請求項１乃至１９の何れか１項記載の画像処理装置。 Claims 1 to 19 estimate the number of the specific object included in the second region by executing the second estimation process for each predetermined region in the second region of the image. The image processing apparatus according to any one of the above. 前記特定物体は、人、人以外の動物、微生物、車の何れかである請求項１乃至２２の何れか１項記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 22, wherein the specific object is a person, an animal other than a person, a microorganism, or a car. 前記認識モデルは、人数が既知である前記複数の画像を学習データとした機械学習によって構築されるモデルである請求項１乃至２３の何れか１項記載の画像処理装置。 The image processing device according to any one of claims 1 to 23, wherein the recognition model is a model constructed by machine learning using the plurality of images whose number of people is known as learning data. 画像の第１領域に含まれる特定物体の数を、第１推定処理を用いて推定する第１推定工程と、
前記画像の第２領域に含まれる特定物体の数を、前記第１推定処理と異なる第２推定処理を用いて推定する第２推定工程と、
前記第１推定工程における推定結果と、前記第２推定工程における推定結果とを統合する統合工程と、を有し、
前記第１推定処理は、前記画像に含まれる特定物体を検出する検出処理を用いて前記特定物体の数を推定する処理であり、
前記第２推定処理は、人数が既知である複数の画像を学習データとした学習により得られた認識モデルを用いて前記特定物体の数を推定する処理であることを特徴とする画像処理方法。 The first estimation step of estimating the number of specific objects included in the first region of the image using the first estimation process, and
A second estimation step of estimating the number of specific objects included in the second region of the image using a second estimation process different from the first estimation process.
It has an integrated step of integrating the estimation result in the first estimation step and the estimation result in the second estimation step.
The first estimation process is a process of estimating the number of the specific objects by using the detection process of detecting the specific objects included in the image.
The second estimation process is an image processing method characterized in that the number of the specific objects is estimated by using a recognition model obtained by learning using a plurality of images with a known number of people as learning data. コンピュータを、請求項１乃至２４の何れか１項記載の画像処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the image processing apparatus according to any one of claims 1 to 24.
JP2020173083A 2020-10-14 2020-10-14 Image processing equipment, image processing methods and programs Active JP6995960B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020173083A JP6995960B2 (en) 2020-10-14 2020-10-14 Image processing equipment, image processing methods and programs
JP2021203261A JP7314244B2 (en) 2020-10-14 2021-12-15 Image processing device, image processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020173083A JP6995960B2 (en) 2020-10-14 2020-10-14 Image processing equipment, image processing methods and programs

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016153072A Division JP6779699B2 (en) 2016-08-03 2016-08-03 Image processing equipment, information processing methods and programs

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021203261A Division JP7314244B2 (en) 2020-10-14 2021-12-15 Image processing device, image processing method and program

Publications (2)

Publication Number Publication Date
JP2021009728A true JP2021009728A (en) 2021-01-28
JP6995960B2 JP6995960B2 (en) 2022-01-17

Family

ID=74199317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020173083A Active JP6995960B2 (en) 2020-10-14 2020-10-14 Image processing equipment, image processing methods and programs

Country Status (1)

Country Link
JP (1) JP6995960B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03195922A (en) * 1989-12-25 1991-08-27 Mitsubishi Electric Corp Detecting apparatus for degree of congestion

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3195922B2 (en) 1993-02-09 2001-08-06 東洋機械金属株式会社 Molding machine

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03195922A (en) * 1989-12-25 1991-08-27 Mitsubishi Electric Corp Detecting apparatus for degree of congestion

Also Published As

Publication number Publication date
JP6995960B2 (en) 2022-01-17

Similar Documents

Publication Publication Date Title
JP6779699B2 (en) Image processing equipment, information processing methods and programs
Kumar et al. Sharpness estimation for document and scene images
US9367734B2 (en) Apparatus, control method, and storage medium for setting object detection region in an image
JP6793151B2 (en) Object tracking device, object tracking method and object tracking program
JP2018116692A (en) Human flow analysis apparatus and system
CN108140291A (en) Mist detecting device, method and image processing equipment
JP6024658B2 (en) Object detection apparatus, object detection method, and program
JP2018180619A (en) Information processing device, information processing and program
JP2015528614A5 (en)
US11915430B2 (en) Image analysis apparatus, image analysis method, and storage medium to display information representing flow quantity
WO2016107638A1 (en) An image face processing method and apparatus
JP2017129567A5 (en)
CN110211021B (en) Image processing apparatus, image processing method, and storage medium
JP2013206259A (en) Region estimation device, region estimation method and region estimation program
JP2012057974A (en) Photographing object size estimation device, photographic object size estimation method and program therefor
JP4818285B2 (en) Congestion retention detection system
JP7266599B2 (en) Devices, systems and methods for sensing patient body movement
US9478032B2 (en) Image monitoring apparatus for estimating size of singleton, and method therefor
US12100212B2 (en) Method, system and computer readable media for object detection coverage estimation
JP6995960B2 (en) Image processing equipment, image processing methods and programs
JP7190871B2 (en) Image analysis device, image analysis method, and program
JP7309392B2 (en) Image processing device, image processing method and program
JP7370840B2 (en) Image processing device, image processing method, computer program and storage medium
JP2021047538A (en) Image processing device, image processing method, and program
JP2022033169A (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211215

R151 Written notification of patent or utility model registration

Ref document number: 6995960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151