JP2020205586A - Video configuration updating device, method, and electronic equipment - Google Patents
Video configuration updating device, method, and electronic equipment Download PDFInfo
- Publication number
- JP2020205586A JP2020205586A JP2020092420A JP2020092420A JP2020205586A JP 2020205586 A JP2020205586 A JP 2020205586A JP 2020092420 A JP2020092420 A JP 2020092420A JP 2020092420 A JP2020092420 A JP 2020092420A JP 2020205586 A JP2020205586 A JP 2020205586A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- video
- image
- optical flow
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 71
- 238000004364 calculation method Methods 0.000 claims abstract description 67
- 238000001514 detection method Methods 0.000 claims description 57
- 230000008859 change Effects 0.000 claims description 43
- 238000012937 correction Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 15
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000004886 process control Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000005945 translocation Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明の実施例は、ビデオ監視の技術分野に関する。 Examples of the present invention relate to the technical field of video surveillance.
ビデオ監視システムは、日常生活で広く使用されており、例えば、カメラにより様々な交通事故を検出できる。イベントを検出するために、車線領域、車線方向、車線境界線などのビデオ撮影の構成情報（以下は、ビデオ構成と略称する）を予め設定する必要がある。 Video surveillance systems are widely used in everyday life, for example, cameras can detect various traffic accidents. In order to detect an event, it is necessary to preset video shooting configuration information (hereinafter, abbreviated as video configuration) such as a lane area, a lane direction, and a lane boundary line.
なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。 It should be noted that the above-mentioned explanation of the technical background is an explanation for making the technical proposal of the present invention clearly and completely understood, and is described for making a person skilled in the art understand. These technical proposals have been described merely as background technical parts of the present invention, and are not well known to those skilled in the art.
本発明の発明者の発見によると、カメラの視野角が制限されており、ビデオ監視分野のカメラ（例えばＰＴＺ ｃａｍｅｒａ）が外力などによりずれ（例えば平行移動又は回転）が発生し、撮影されたシーンが変化する可能性がある。カメラのずれが発生した場合、ビデオ監視の正確性を確保するために、ビデオ構成をリセットする必要がある。 According to the discovery of the inventor of the present invention, the viewing angle of the camera is limited, and a camera in the field of video surveillance (for example, PTZ camera) is displaced (for example, translation or rotation) due to an external force or the like, and the captured scene is taken. May change. In the event of camera misalignment, the video configuration needs to be reset to ensure the accuracy of the video surveillance.
上記の技術的問題の少なくとも１つを鑑み、本発明の実施例は、ビデオ構成の更新装置、方法及び電子機器を提供する。 In view of at least one of the above technical issues, embodiments of the present invention provide video configuration updaters, methods and electronic devices.
本発明の実施例の第１態様では、ビデオ構成の更新装置であって、ビデオ画像における複数のフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ撮影のシーンが変化したか否かを検出するシーン検出部と、前記シーンが変化した場合、ブロックごとに現在のフレームと複数の所定画像とのマッチング度をそれぞれ計算し、現在のシーンに最も近いマッチング画像を取得する画像マッチング部と、前記ビデオ撮影の構成を、前記最も近いマッチング画像に対応する構成に更新する構成更新部と、を含む、装置を提供する。 In the first aspect of the embodiment of the present invention, the video configuration updater performs optical flow calculation based on the feature points of a plurality of frames in the video image, and detects whether or not the video shooting scene has changed. An image matching unit that calculates the degree of matching between the current frame and a plurality of predetermined images for each block when the scene changes, and an image matching unit that acquires the matching image closest to the current scene. Provided is an apparatus including a configuration update unit that updates a video shooting configuration to a configuration corresponding to the closest matching image.
本発明の実施例の第２態様では、ビデオ構成の更新方法であって、ビデオ画像における複数のフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ撮影のシーンが変化したか否かを検出するステップと、前記シーンが変化した場合、ブロックごとに現在のフレームと複数の所定画像とのマッチング度をそれぞれ計算し、現在のシーンに最も近いマッチング画像を取得するステップと、前記ビデオ撮影の構成を、前記最も近いマッチング画像に対応する構成に更新するステップと、を含む、方法を提供する。 The second aspect of the embodiment of the present invention is a method of updating a video configuration, in which an optical flow calculation is performed based on feature points of a plurality of frames in a video image to detect whether or not a video shooting scene has changed. Steps to be performed, when the scene changes, the degree of matching between the current frame and a plurality of predetermined images is calculated for each block, and the matching image closest to the current scene is acquired, and the configuration of the video shooting. Provided a method comprising the step of updating to the configuration corresponding to the closest matching image.
本発明の実施例の第３態様では、コンピュータプログラムが記憶されているメモリと、プロセッサと、を含む電子機器であって、前記プロセッサは、ビデオ画像における複数のフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ撮影のシーンが変化したか否かを検出するステップと、前記シーンが変化した場合、ブロックごとに現在のフレームと複数の所定画像とのマッチング度をそれぞれ計算し、現在のシーンに最も近いマッチング画像を取得するステップと、前記ビデオ撮影の構成を、前記最も近いマッチング画像に対応する構成に更新するステップと、を実行する、電子機器を提供する。 A third aspect of an embodiment of the present invention is an electronic device comprising a memory in which a computer program is stored and a processor, wherein the processor is an optical flow based on the feature points of a plurality of frames in a video image. The step of performing calculation to detect whether or not the scene of video shooting has changed, and when the scene has changed, the degree of matching between the current frame and a plurality of predetermined images is calculated for each block, and the current scene is calculated. Provided is an electronic device that executes a step of acquiring a matching image closest to the image and a step of updating the configuration of the video recording to a configuration corresponding to the closest matching image.
本発明の実施例の有利な効果は以下の通りである。ビデオ画像における複数のフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ撮影のシーンが変化したか否かを検出し、シーンが変化した場合、ブロックごとに現在のフレームと複数の所定画像とのマッチング度をそれぞれ計算し、現在のシーンに最も近いマッチング画像を取得し、ビデオ撮影の構成を、前記最も近いマッチング画像に対応する構成に更新する。これによって、制御信号を処理する必要がなく、ビデオ信号を用いてビデオ構成の更新を実現することができ、構成の更新をイベント分析に簡単に統合することができる。 The advantageous effects of the examples of the present invention are as follows. Optical flow calculation is performed based on the feature points of multiple frames in the video image to detect whether or not the video shooting scene has changed. If the scene changes, the current frame and multiple predetermined images are displayed for each block. The matching degree of each is calculated, the matching image closest to the current scene is acquired, and the configuration of video shooting is updated to the configuration corresponding to the closest matching image. This makes it possible to implement video configuration updates using video signals without having to process control signals, and configuration updates can be easily integrated into event analysis.
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。 Specific embodiments of the present invention are disclosed in detail and show a method in which the principles of the present invention can be adopted, as shown in the following description and drawings. The embodiment of the present invention is not limited to the scope. Embodiments of the present invention include various modifications, modifications, and equivalents within the scope of the appended claims and content.
ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。 The features described and / or shown in one embodiment may be used in one or many other embodiments in the same or similar manner, or may be combined with features in another embodiment. Features in other embodiments may be substituted.
なお、用語「含む／有する」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。 The term "contains / has" means the existence of a feature, element, step or constituent when used in the text, and the existence or existence of one or more other features, elements, steps or constituents. It does not rule out additions.
ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
本発明の上記及びその他の特徴は、図面及び下記の説明により明確になる。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。 The above and other features of the present invention will be clarified by the drawings and the following description. The specification and drawings disclose specific embodiments of the invention, that is, some embodiments according to the principles of the invention. It should be noted that the present invention is not limited to the embodiments described, and the present invention includes all modifications, modifications, and equivalents within the scope of the claims.
本発明の実施例では、用語「第１」、「第２」は異なる要素を名称で区分するためのものであり、これらの要素の空間的配列又は時間的順序などを意味するものではなく、これらの要素はこれらの用語に限定されない。用語「及び／又は」は列挙された用語の１つ又は複数のうち何れか及びその組み合わせを含む。用語「包括」、「含む」、「有する」は説明された特徴、要素、素子又は部材の存在を意味するが、他の１つ又は複数の特徴、要素、素子又は部材の存在又は追加を排除するものではない。 In the examples of the present invention, the terms "first" and "second" are for distinguishing different elements by name, and do not mean the spatial arrangement or temporal order of these elements. These elements are not limited to these terms. The term "and / or" includes any or a combination of one or more of the listed terms. The terms "inclusive," "include," and "have" mean the presence or absence of the described feature, element, element or member, but exclude the presence or addition of one or more other features, elements, elements or members. It's not something to do.
本発明の実施例では、単数形の「一」、「該」等は複数形を含み、「一種」又は「一類」を意味し、「１つ」に限定するものではない。また、用語「前記」は、文脈上明確に指示されない限り、単数形及び複数形両方を含む。また、文脈上明確に指示されない限り、用語「応じて」は「少なくとも部分的に応じて」を意味し、用語「に基づいて」は「少なくとも部分的に基づいて」を意味する。 In the examples of the present invention, the singular forms "one", "the" and the like include the plural form, mean "one kind" or "one kind", and are not limited to "one". Also, the term "above" includes both the singular and the plural, unless explicitly stated in the context. Also, unless explicitly stated in the context, the term "according" means "at least partially responding" and the term "based on" means "at least partially based".
本発明の実施例では、交通イベント（事件）及び交通監視を一例にして説明し、カメラにより複数のフレームを含むビデオ画像を取得してもよく、該カメラは、インテリジェント交通（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ）のビデオ監視のためのＰＴＺカメラであってもよく、監視領域を連続的に撮影する。本発明は、これに限定されず、例えば駐車場のビデオ監視シーン、セキュリティのビデオ監視シーンなどの他のビデオ監視シーンに適用されてもよい。以下は、交通ビデオ監視シーンを一例にして説明する。 In the embodiment of the present invention, a traffic event (incident) and traffic monitoring will be described as an example, and a video image including a plurality of frames may be acquired by a camera, in which the camera is a video of intelligent transportation. It may be a PTZ camera for surveillance, and the surveillance area is continuously photographed. The present invention is not limited to this, and may be applied to other video surveillance scenes such as a parking lot video surveillance scene and a security video surveillance scene. The following will explain the traffic video surveillance scene as an example.
＜第１実施例＞
本発明の実施例はビデオ構成の更新方法を提供する。図１は本発明の実施例のビデオ構成の更新方法を示す図である。図１に示すように、該方法は以下のステップを含む。
<First Example>
Examples of the present invention provide a method of updating a video configuration. FIG. 1 is a diagram showing a method of updating a video configuration according to an embodiment of the present invention. As shown in FIG. 1, the method includes the following steps.
ステップ１０１：ビデオ画像における複数のフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ撮影のシーンが変化したか否かを検出する。 Step 101: An optical flow calculation is performed based on the feature points of a plurality of frames in the video image to detect whether or not the video shooting scene has changed.
ステップ１０２：シーンが変化した場合、ブロックごとに現在のフレームと複数の所定画像とのマッチング度をそれぞれ計算し、現在のシーンに最も近いマッチング画像を取得する。 Step 102: When the scene changes, the degree of matching between the current frame and the plurality of predetermined images is calculated for each block, and the matching image closest to the current scene is acquired.
ステップ１０３：ビデオ撮影の構成を、最も近いマッチング画像に対応する構成に更新する。 Step 103: Update the video capture configuration to the configuration corresponding to the closest matching image.
本発明の実施例では、制御信号を処理する必要がなく、ビデオ信号を用いてビデオ構成の更新を実現することができ、構成の更新をイベント分析に簡単に統合することができる。また、無人の場合であっても、シーン検出及び画像マッチングを自動的に実現することができるため、人間が関与する必要がなく、構成更新を自動的に行うことができる。 In the embodiment of the present invention, it is not necessary to process the control signal, the video signal can be used to realize the update of the video configuration, and the update of the configuration can be easily integrated into the event analysis. Further, even in the case of an unmanned person, since the scene detection and the image matching can be automatically realized, the configuration can be automatically updated without the need for human involvement.
なお、図１は単なる本発明の実施例を例示的に説明するためのものであり、本発明はこれに限定されない。例えば、各処理の実行順序を適宜調整してもよいし、他の処理を追加し、或いはその一部の処理を削除してもよい。当業者は上記の内容に基づいて変形を適宜行ってもよく、上記の図１の記載に限定されない。 It should be noted that FIG. 1 is merely for exemplifying an embodiment of the present invention, and the present invention is not limited thereto. For example, the execution order of each process may be adjusted as appropriate, other processes may be added, or a part of the processes may be deleted. Those skilled in the art may appropriately make modifications based on the above contents, and are not limited to the above description in FIG.
１つの実施例では、ステップ１０１のシーン検出（シーン変化の検出と称されてもよい）は、ビデオ画像から参照フレームを選択し、該参照フレームから複数の特徴点を抽出するステップと、オプティカルフロー計算により複数の特徴点からビデオ画像における背景領域（又は比較的に静止している領域）の特徴点を選択するステップと、オプティカルフロー計算により特徴点を分類し、分類後の特徴点の数に基づいてシーン変化率を計算し、シーン変化率に基づいてシーンが変化したか否かを決定するステップと、を含む。 In one embodiment, the scene detection in step 101 (which may be referred to as scene change detection) involves selecting a reference frame from the video image and extracting a plurality of feature points from the reference frame, and an optical flow. The step of selecting the feature points of the background area (or the relatively stationary area) in the video image from multiple feature points by calculation, and the feature points are classified by the optical flow calculation, and the number of feature points after classification is calculated. Includes a step of calculating the scene change rate based on and determining whether or not the scene has changed based on the scene change rate.
例えば、特徴点及びオプティカルフロー計算を用いてシーン変化を検出してもよい。シーン検出は、前処理の一部であってもよく、Ｎフレームごとにシーン検出を１回呼び出してもよい。シーン検出は、３つの段階、即ち初期化段階、選択段階、検出段階（又は決定段階）を含んでもよく、上記の任意の１つ又は複数の段階で行われてもよい。例えば、シーン検出の１回の呼び出しでは、初期化段階及び選択段階が完了した後に検出段階に入ってもよいし、トリガー条件なしで検出段階に直接入ってもよい。 For example, scene changes may be detected using feature points and optical flow calculations. The scene detection may be a part of the preprocessing, or the scene detection may be called once every N frames. The scene detection may include three stages, namely, an initialization stage, a selection stage, a detection stage (or a determination stage), and may be performed in any one or more of the above stages. For example, a single call to scene detection may enter the detection stage after the initialization and selection stages are complete, or may enter the detection stage directly without trigger conditions.
計算量を低減させるために、シーン検出を行うための画像は、グレースケール画像（ｗ×ｈ）に変換されて、αｗ×αｈ（０＜α≦１）に調整されてもよい。１番目のフレームが受信され、或いは初期化フラグが真（ｔｒｕｅ）に設定された場合、シーン検出の初期化を行う。 In order to reduce the amount of calculation, the image for performing scene detection may be converted into a grayscale image (w × h) and adjusted to αw × αh (0 <α ≦ 1). When the first frame is received or the initialization flag is set to true, the scene detection is initialized.
初期化段階では、現在のフレーム（例えば１番目のフレーム）を参照フレームとして選択してもよい。そして、参照フレームから特徴点を抽出してもよい。特徴点は、Ｓｈｉ−Ｔｏｍａｓｉコーナーポイント、Ｈａｒｒｉｓコーナーポイント、又は他の特徴点であってもよく、本発明はこれに限定されない。特徴点の数が不十分である（例えば所定の閾値よりも少ない）場合、シーン検出は、次回の呼び出しで再初期化される。シーン検出が正常に初期化された場合、初期化フラグが偽（ｆａｌｓｅ）に設定される。 At the initialization stage, the current frame (for example, the first frame) may be selected as the reference frame. Then, the feature points may be extracted from the reference frame. The feature points may be Shi-Tomasi corner points, Harris corner points, or other feature points, and the present invention is not limited thereto. If the number of feature points is insufficient (eg, less than a predetermined threshold), the scene detection will be reinitialized on the next call. If the scene detection is successfully initialized, the initialization flag is set to false.
選択段階は、連続的に複数回呼び出されてもよく、特徴点のオプティカルフローは毎回計算される。背景領域における特徴点のオプティカルフローを用いてシーン変化を検出してもよい。しかし、特徴点は参照フレームの前景領域（例えば移動物体）に生じる場合もあるため、これらの特徴点をフィルタリングにより除去する必要がある。 The selection stage may be called multiple times in succession, and the optical flow of feature points is calculated each time. Scene changes may be detected using the optical flow of feature points in the background area. However, since the feature points may occur in the foreground region (for example, a moving object) of the reference frame, it is necessary to remove these feature points by filtering.
１つの実施例では、特徴点のスコアを計算し、スコアに基づいて、該特徴点がビデオ画像における背景領域の特徴点であるか否かを決定してもよい。例えば、オプティカルフロー計算により該現在のフレームにおける対応点が取得されたか否かの条件、オプティカルフロー計算の誤差が第１閾値よりも大きいか否かの条件、及び該参照フレームにおける特徴点と該現在のフレームにおける対応点との距離が第２閾値よりも大きいか否かの条件のうちの少なくとも１つの条件に基づいて、該特徴点のスコアを計算してもよい。 In one embodiment, the score of the feature points may be calculated and based on the score it may be determined whether or not the feature points are feature points in the background region of the video image. For example, the condition of whether or not the corresponding point in the current frame is acquired by the optical flow calculation, the condition of whether or not the error of the optical flow calculation is larger than the first threshold value, and the feature point in the reference frame and the present. The score of the feature point may be calculated based on at least one of the conditions of whether or not the distance to the corresponding point in the frame is larger than the second threshold value.
例えば、各特徴点についてスコアＭを予め設定し、オプティカルフロー計算により現在のフレームにおける対応点が取得されていない場合、オプティカルフロー計算の誤差がＴ１よりも大きい場合、又は参照フレームにおける特徴点と現在のフレームにおける対応点との距離が第２閾値Ｔ２よりも大きい場合、スコアから１点を減算してもよい。 For example, if the score M is set in advance for each feature point and the corresponding point in the current frame is not acquired by the optical flow calculation, the error in the optical flow calculation is larger than T1, or the feature point and the present in the reference frame. If the distance to the corresponding point in the frame is larger than the second threshold value T2, one point may be subtracted from the score.
Ｍ回のオプティカルフロー計算の後に、特徴点集合から、スコアがＴＭよりも小さい点をフィルタリングにより除去する。残りの特徴点の数が十分でない場合、初期化フラグを真に設定してもよい。これは、ＰＴＺカメラが回転しており、或いは背景領域を遮蔽する移動物体が多いことを意味するからである。 After M times optical flow calculation, from the feature point set, to filter out points score is less than T M. If the number of remaining feature points is not sufficient, the initialization flag may be set to true. This is because the PTZ camera is rotating or there are many moving objects that shield the background area.
なお、特徴点の抽出及びオプティカルフロー計算は関連技術を参照してもよく、本明細書ではその詳細な説明を省略する。また、オプティカルフロー計算の誤差の取得方法及びフレーム間の距離の計算方法などについて、関連技術を参照してもよい。また、上記の閾値の具体的な数値は、実際の条件及び経験値に応じて決定されてもよく、本発明の実施例はこれに限定されない。 For the extraction of feature points and the calculation of optical flow, related techniques may be referred to, and detailed description thereof will be omitted in the present specification. Further, related techniques may be referred to for a method of acquiring an error in optical flow calculation and a method of calculating a distance between frames. Further, the specific numerical value of the above threshold value may be determined according to actual conditions and empirical values, and the examples of the present invention are not limited thereto.
検出段階では、特徴点のオプティカルフロー量を計算し、所定のルールに従って特徴点を分類してもよい。例えば、これらの点を４種類、即ち第１類点（見つからない点）、第２類点（良い点）、第３類点（不安定な点）及び第４類点（悪い点）に分類する。 In the detection stage, the optical flow amount of the feature points may be calculated and the feature points may be classified according to a predetermined rule. For example, these points are classified into four types: first category (not found), second category (good point), third category (unstable point), and fourth category (bad point). To do.
例えば、特徴点を分類する際に、オプティカルフロー計算により該現在のフレームにおける対応点が取得されていない場合、該特徴点を第１類点に分類し、且つ／或いはオプティカルフロー計算の誤差が第３閾値（Ｔ３）よりも小さい場合、該特徴点を第２類点に分類し、且つ／或いはオプティカルフロー計算の誤差が該第３閾値（Ｔ３）以上であり、且つ参照フレームにおける特徴点と現在のフレームにおける対応点との距離が第４閾値（Ｔ４）よりも小さい場合、該特徴点を第３類点に分類し、且つ／或いはオプティカルフロー計算の誤差が該第３閾値（Ｔ３）以上であり、且つ参照フレームにおける特徴点と現在のフレームにおける対応点との距離が第４閾値（Ｔ４）以上である場合、該特徴点を第４類点に分類してもよい。 For example, when classifying feature points, if the corresponding points in the current frame are not acquired by the optical flow calculation, the feature points are classified into the first category and / or the error of the optical flow calculation is the first. If it is smaller than the 3rd threshold (T3), the feature point is classified as a second category, and / or the error of the optical flow calculation is equal to or more than the 3rd threshold (T3), and the feature point in the reference frame and the present. When the distance to the corresponding point in the frame is smaller than the fourth threshold value (T4), the feature point is classified into the third category point, and / or the error of the optical flow calculation is equal to or more than the third threshold value (T3). If there is, and the distance between the feature point in the reference frame and the corresponding point in the current frame is equal to or greater than the fourth threshold value (T4), the feature point may be classified into the fourth category point.
また、例えば、以下の式に従ってシーン変化率を計算してもよい。 Further, for example, the scene change rate may be calculated according to the following formula.
Ｒｓｃ＝（Ｎ４＋Ｎ１）／（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４）
ここで、Ｎ１は第１類点の数（Ｎｎｏｔと表されてもよい）を表し、Ｎ２は第２類点の数（Ｎｇｏｏｄと表されてもよい）を表し、Ｎ３は第３類点の数（Ｎｕｎｓｔａｂｌｅと表されてもよい）を表し、Ｎ４は第４類点の数（Ｎｂａｄと表されてもよい）を表す。
R sc = (N 4 + N 1 ) / (N 1 + N 2 + N 3 + N 4 )
Here, N 1 represents the number of first category points (may be expressed as N not ), N 2 represents the number of second category points (may be expressed as N good ), and N 3 represents the number of second category points. It represents the number of third category points (which may be expressed as N untable ), and N 4 represents the number of fourth category points (which may be expressed as N bad ).
図２は本発明の実施例の分類点の状態の１つの例を示す図であり、特徴点、オプティカルフロー（点の間の線分で表される）及び分類点の数を示している。図２に示しように、例えば、良い点（ｇｏｏｄＰｔｓ）の数が４９であり、不安定な点（ｕｎｓｔａｂｌｅＰｔｓ）の数が８であり、悪い点（ｂａｄＰｔｓ）の数が２であり、見つからない点（ｎｏｔｆｏｕｎｄＰｔｓ）の数が０である場合、算出されたシーン変化率（ｅｒｒＲａｔｅ）は０．０３３８９８であり、閾値（Ｔｈｒｅｓｈｏｌｄ）０．５よりも低いため、シーンが変化していないと決定してもよい。 FIG. 2 is a diagram showing one example of the state of the classification points according to the embodiment of the present invention, and shows the feature points, the optical flow (represented by the line segment between the points), and the number of classification points. As shown in FIG. 2, for example, the number of good points (goodPts) is 49, the number of unstable points (threshold Pts) is 8, the number of bad points (bad Pts) is 2, and the points that cannot be found. When the number of (notfound Pts) is 0, the calculated scene change rate (errRate) is 0.033898, which is lower than the threshold value (Threshold) 0.5, so even if it is determined that the scene has not changed. Good.
図３は本発明の実施例の分類点の状態のもう１つの例を示す図であり、特徴点、オプティカルフロー（点の間の線分で表される）及び分類点の数を示している。図３に示しように、例えば、良い点（ｇｏｏｄＰｔｓ）の数が２であり、不安定な点（ｕｎｓｔａｂｌｅＰｔｓ）の数が６であり、悪い点（ｂａｄＰｔｓ）の数が５０であり、見つからない点（ｎｏｔｆｏｕｎｄＰｔｓ）の数が１である場合、算出されたシーン変化率（ｅｒｒＲａｔｅ）は０．８６４４０７であり、閾値（Ｔｈｒｅｓｈｏｌｄ）０．５よりも高いため、シーンが変化したと決定してもよい。 FIG. 3 is a diagram showing another example of the state of the classification points according to the embodiment of the present invention, showing the feature points, the optical flow (represented by the line segment between the points), and the number of classification points. .. As shown in FIG. 3, for example, the number of good points (goodPts) is 2, the number of unstable points (threshold Pts) is 6, the number of bad points (badPts) is 50, and the points that cannot be found. When the number of (notfound Pts) is 1, the calculated scene change rate (errRate) is 0.864407, which is higher than the threshold value (Threshold) 0.5, and therefore it may be determined that the scene has changed.
なお、以上は単に上記の条件及び分類点を一例にして説明しているが、本発明はこれに限定されない。例えば、他の条件及び他の分類方法を用いてもよく、分類点の種類は４種類に限定されず、シーンに応じて他の具体的な条件を決定してもよい。 The above description is given simply by taking the above conditions and classification points as an example, but the present invention is not limited thereto. For example, other conditions and other classification methods may be used, and the types of classification points are not limited to four types, and other specific conditions may be determined according to the scene.
１つの実施例では、シーン変化率及び／又は特徴点の数に基づいてシーン変化に対して第１計数を行い、第１計数が第５閾値（Ｔ５）に増加した場合、シーンが変化したと決定する。 In one embodiment, the first count is performed for the scene change based on the scene change rate and / or the number of feature points, and when the first count increases to the fifth threshold (T5), the scene has changed. decide.
例えば、シーン検出をより安定化し、環境ノイズによる誤検出を低減させるために、シーン変化のカウンタを設定してもよい。シーン変化率Ｒｓｃが閾値Ｔｓｃよりも大きい場合、シーン変化カウンタに１を加算する。一方、シーン変化率Ｒｓｃが閾値Ｔｓｃよりも小さい場合、シーン変化カウンタを０に設定する。シーン変化カウンタがＴ５に達した場合、シーン変化フラグを真に設定し、シーンが変化したと決定する。 For example, a scene change counter may be set in order to further stabilize the scene detection and reduce false detection due to environmental noise. When the scene change rate R sc is larger than the threshold value T sc , 1 is added to the scene change counter. On the other hand, when the scene change rate R sc is smaller than the threshold value T sc , the scene change counter is set to 0. When the scene change counter reaches T5, the scene change flag is set to true and it is determined that the scene has changed.
また、例えば、シーン検出をより安定化するために、特徴点の数を条件としてもよい。例えば、良い点と不安定な点との合計をチェックし、Ｎｇｏｏｄ＋Ｎｕｎｓｔａｂｌｅが閾値Ｔｇｏｏｄ＋ｕｎｓｔａｂｌｅよりも小さい場合、シーン変化カウンタに１を加算する。 Further, for example, in order to further stabilize the scene detection, the number of feature points may be a condition. For example, the sum of good points and unstable points is checked, and if N good + N untable is smaller than the threshold value T good + unstand , 1 is added to the scene change counter.
１つの実施例では、シーン検出によりシーン変化遅延に対して第２計数を行い、第２計数がゼロに減少した場合、シーン検出の初期化を行ってもよい。これによって、カメラの回転が停止した後に構成更新を行うことを確保することができる。 In one embodiment, the scene detection may perform a second count on the scene change delay, and when the second count decreases to zero, the scene detection may be initialized. As a result, it is possible to ensure that the configuration is updated after the rotation of the camera is stopped.
例えば、シーン変化遅延カウンタを設定し、初期値をＤに予め設定する。シーン検出を行う度に、シーン変化遅延カウンタから１を減算する。シーン変化遅延カウンタがゼロに減少した場合、初期化フラグを真に設定し、シーン変化フラグを偽に設定する。 For example, a scene change delay counter is set, and the initial value is set to D in advance. Every time a scene is detected, 1 is subtracted from the scene change delay counter. If the scene change delay counter is reduced to zero, set the initialization flag to true and the scene change flag to false.
以上はステップ１０１におけるシーン検出を例示的に説明しているが、以下はステップ１０２における画像マッチングを説明する。
The above describes the scene detection in
例えば、ＰＴＺカメラの撮影シーンが変化したと検出された場合、以前のビデオ構成が現在の位置に適していないため、カメラの回転が停止した後に、現在の位置と所定位置とのマッチングを行う必要がある。１つのＰＴＺカメラについて幾つかの可能な所定位置及び対応するビデオ構成を設定し、所定マッチングを行うために所定位置の画像（所定画像）を保存してもよい。ビデオ構成は必要な交通イベントによって異なり、例えば逆検出機能について、車線位置及び方向を設定する必要がある。 For example, if it is detected that the shooting scene of the PTZ camera has changed, it is necessary to match the current position with the predetermined position after the camera has stopped rotating because the previous video configuration is not suitable for the current position. There is. Several possible predetermined positions and corresponding video configurations may be set for one PTZ camera and an image of the predetermined position (predetermined image) may be stored for predetermined matching. The video configuration depends on the traffic event required and it is necessary to set the lane position and direction, for example for the reverse detection function.
１つの実施例では、テンプレートマッチングの方法を用いてもよい。例えば、マッチング範囲がＷ×Ｈである場合、ｂｌｏｂテンプレートはｗ×ｈであり、各ｂｌｏｂのグレースケール画像をテンプレートとしてもよい。マッチング関数をＷ×Ｈの背景画像でスライドさせ、ｗ×ｈの重複ブロックを比較し、比較結果を行列に保存し、結果行列の大きさは（Ｗ−ｗ＋１）×（Ｈ−ｈ＋１）である。 In one embodiment, a template matching method may be used. For example, when the matching range is W × H, the blob template is w × h, and a grayscale image of each blob may be used as a template. The matching function is slid on the W × H background image, the overlapping blocks of w × h are compared, the comparison result is saved in the matrix, and the size of the result matrix is (W-w + 1) × (H-h + 1). ..
また、例えば、次の式（１）に従って、正規化相関係数方法を用いてテンプレートマッチングを行ってもよい。
Ｉは入力画像を表し、Ｔはテンプレートであり、Ｒは結果行列である。類似度を計算する前に、画像及びテンプレートを正規化することで、光照明の変化による誤差を回避することができる。Ｒの値は−１〜１の範囲内にあり、１は画像とテンプレートとが同一であることを表し、−１は逆であることを表し、０は線形関係がないことを表す。 I represents the input image, T is the template, and R is the result matrix. By normalizing the images and templates before calculating the similarity, errors due to changes in light illumination can be avoided. The value of R is in the range of -1 to 1, where 1 indicates that the image and the template are the same, -1 indicates that they are opposite, and 0 indicates that there is no linear relationship.
１つの実施例では、現在のフレーム（現在の画像）及び１つの所定画像を複数のブロック（例えば９個のブロック）に分割し、各ブロックについてテンプレートマッチング方法を適用する。所定画像におけるブロックをテンプレートとし、現在の画像における対応するブロックの範囲を拡張し、該拡張ブロックを入力画像とする。 In one embodiment, the current frame (current image) and one predetermined image are divided into a plurality of blocks (for example, nine blocks), and a template matching method is applied to each block. The block in the predetermined image is used as a template, the range of the corresponding block in the current image is expanded, and the extended block is used as the input image.
図４は、本発明の実施例の所定画像の１つの例を示す図であり、所定画像１が９個のブロックに分割される場合を示している。図５は、本発明の実施例の現在の画像と所定画像とのマッチングの１つの例を示す図であり、所定画像１と現在の画像とのマッチングの場合を示している。図４及び図５に示すように、４０１で示されるグリッドはブロックを表し、５０１で示されるグリッドはテンプレートマッチングの拡張範囲を表す。 FIG. 4 is a diagram showing one example of a predetermined image according to an embodiment of the present invention, and shows a case where the predetermined image 1 is divided into nine blocks. FIG. 5 is a diagram showing one example of matching between the current image and the predetermined image according to the embodiment of the present invention, and shows the case of matching between the predetermined image 1 and the current image. As shown in FIGS. 4 and 5, the grid represented by 401 represents a block and the grid represented by 501 represents an extended range of template matching.
図６は、本発明の実施例の所定画像のもう１つの例を示す図であり、所定画像２が９個のブロックに分割される場合を示している。図７は、本発明の実施例の現在の画像と所定画像とのマッチングのもう１つの例を示す図であり、所定画像２と現在の画像とのマッチングの場合を示している。図６及び図７に示すように、６０１で示されるグリッドはブロックを表し、７０１で示されるグリッドはテンプレートマッチングの拡張範囲を表す。 FIG. 6 is a diagram showing another example of the predetermined image of the embodiment of the present invention, and shows a case where the predetermined image 2 is divided into nine blocks. FIG. 7 is a diagram showing another example of matching between the current image and the predetermined image according to the embodiment of the present invention, and shows the case of matching between the predetermined image 2 and the current image. As shown in FIGS. 6 and 7, the grid shown by 601 represents a block and the grid shown by 701 represents an extended range of template matching.
図４〜図７に示すように、テンプレートマッチング方法を用いてテンプレートブロック画像と入力ブロック画像とのマッチング度を計算し、各ブロックのマッチングスコアを取得してもよい。例えば、９個のブロックは９個のマッチング度を有する。図５及び図７は各ブロックのマッチング度をそれぞれ示している。 As shown in FIGS. 4 to 7, the degree of matching between the template block image and the input block image may be calculated by using the template matching method, and the matching score of each block may be obtained. For example, 9 blocks have 9 matching degrees. 5 and 7 show the degree of matching of each block.
例えば、ブロックが前景対象をカバーしている可能性があるため、マッチング度が低くなる。従って、マッチング度を並び替え、異常値を除外し、残りの値の平均値を計算してもよい。該平均値は、現在の画像と所定画像とのマッチングスコアと見なされる。現在の画像と各所定画像とのマッチングの後に、マッチングスコアが最も高い所定画像をマッチング結果として選択してもよい。そして、マッチした所定画像のビデオ構成を更新してもよい。 For example, the degree of matching is low because the block may cover the foreground object. Therefore, the degree of matching may be rearranged, outliers may be excluded, and the average value of the remaining values may be calculated. The average value is regarded as a matching score between the current image and the predetermined image. After matching the current image with each predetermined image, the predetermined image having the highest matching score may be selected as the matching result. Then, the video composition of the matched predetermined image may be updated.
例えば、図５における所定画像１の最終的なマッチングスコアは０．９１６であり、図７における所定画像２のマッチングスコアは０．１６９である。よって、所定画像１は現在の画像に最もマッチした画像であり、そのビデオ構成は、後続のイベント検出のためにバッファに更新される。 For example, the final matching score of the predetermined image 1 in FIG. 5 is 0.916, and the matching score of the predetermined image 2 in FIG. 7 is 0.169. Therefore, the predetermined image 1 is the image that best matches the current image, and its video configuration is updated in the buffer for subsequent event detection.
以上は画像マッチングを例示的に説明しているが、以下はずれ補正及び振れ補正を説明する。 Although the image matching has been described above as an example, the deviation correction and the runout correction will be described below.
１つの実施例では、マッチング画像におけるサンプリング点に基づいてオプティカルフロー計算を行い、現在のフレームとマッチング画像とのずれを検出し、ずれの検出結果に基づいてビデオ画像に対してずれ補正を行う。 In one embodiment, the optical flow calculation is performed based on the sampling points in the matching image, the deviation between the current frame and the matching image is detected, and the deviation correction is performed on the video image based on the deviation detection result.
例えば、ＰＴＺカメラの回転中に機械的エラーが発生する場合があるため、画像のずれ（変位）を検出する必要がある。上述したように、各シーンについて所定画像を設定してもよい。シーン変化を検出した後に、現在の画像と所定画像とがマッチした場合、現在の画像の所定画像に対するずれを計算してもよい。 For example, since a mechanical error may occur during the rotation of the PTZ camera, it is necessary to detect the displacement of the image. As described above, a predetermined image may be set for each scene. If the current image matches the predetermined image after the scene change is detected, the deviation of the current image with respect to the predetermined image may be calculated.
図８は本発明の実施例のマッチング画像に対するサンプリング、フィルタリング及び選択の一例を示す図である。例えば、マッチング画像において幾つかの点、例えば図８における８０１で示されるサンプリング点を平均的にサンプリングし、オプティカルフローを用いてこれらのサンプリング点の現在の画像における位置を追跡する。 FIG. 8 is a diagram showing an example of sampling, filtering, and selection for a matching image according to an embodiment of the present invention. For example, some points in the matching image, such as the sampling points shown in 801 in FIG. 8, are sampled on average and the positions of these sampling points in the current image are tracked using optical flow.
例えば、オプティカルフロー計算の後に、追跡できない点及びオプティカルフロー計算の誤差がＴ６よりも大きい点を省略してもよい。そして、現在の画像とマッチング画像における移動距離に基づいてこれらの点を並び替え、移動距離がＴ７よりも大きい点を並び替えの前に省略し、上位のＴ８％の点及び下位のＴ９％の点をさらに省略する。例えば、これらの省略点は図８における８０２で示される。 For example, after the optical flow calculation, points that cannot be tracked and points where the error in the optical flow calculation is larger than T6 may be omitted. Then, these points are rearranged based on the movement distance in the current image and the matching image, the points having the movement distance larger than T7 are omitted before the rearrangement, and the upper T8% points and the lower T9% points are omitted. The points are further omitted. For example, these omissions are shown in 802 in FIG.
次に、部分的アフィン転置行列（ｐａｒｔｉａｌ ａｆｆｉｎｅ ｔｒａｎｓｐｏｓｅ ｍａｔｒｉｘ）を計算し、現在の画像から残りの点及びその位置のずれを取得してもよい。例えば、これらの残りの点は図８における８０３で示される。ずれの計算は複数回行ってもよく、複数回の計算により取得されたずれ結果の平均値は補正に適用される。 Next, a partial affine transpose matrix may be calculated to obtain the remaining points and their positional deviations from the current image. For example, these remaining points are shown in 803 in FIG. The deviation calculation may be performed a plurality of times, and the average value of the deviation results obtained by the multiple calculations is applied to the correction.
図９は本発明の実施例のずれ補正の一例を示す図である。左部分はずれ画像を示し、右部分は該ずれ画像が補正されたことを示している。 FIG. 9 is a diagram showing an example of deviation correction according to the embodiment of the present invention. The left part shows a misaligned image, and the right part shows that the misaligned image has been corrected.
１つの実施例では、ビデオ画像における連続的な２つのフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ画像の振れを検出し、振れの検出結果に基づいてビデオ画像に対して振れ補正（ビデオ補正と称されてもよい）を行う。 In one embodiment, an optical flow calculation is performed based on the feature points of two consecutive frames in the video image, the shake of the video image is detected, and the shake correction (shake correction) is performed on the video image based on the detection result of the shake. Perform video correction).
例えば、風力や大型車両の通過によりビデオ画像が振れる場合があり、解析されたビデオが該振れにより不安定になるため、振れ補正を行う必要がある。これらの振れの影響を検出、補正するために、２つの連続的なフレームの変換行列を取得する必要がある。 For example, the video image may be shaken due to wind power or the passage of a large vehicle, and the analyzed video becomes unstable due to the shake, so it is necessary to correct the shake. In order to detect and correct the influence of these runouts, it is necessary to acquire the transformation matrix of two consecutive frames.
１番目のフレームから幾つかの特徴点を抽出し、オプティカルフロー計算によりこれらの特徴点の２番目のフレームにおける位置を追跡してもよい。ビデオにおける移動物体の影響を低減させるために、部分的アフィン転置行列のために適切な点を選択するための簡単なルールを設定してもよい。 Some feature points may be extracted from the first frame and the positions of these feature points in the second frame may be tracked by optical flow calculation. To reduce the effect of moving objects in the video, simple rules may be set to select the appropriate points for the partial affine translocation matrix.
例えば、２番目のフレームから位置が見つからない点を省略してもよい。オプティカルフロー計算の誤差を考慮し、誤差がＴ１０よりも大きい場合、これらの点を省略する。２つのフレーム間の移動距離に基づいて、残りの点を並び替える。上位のＴ１１％の点を省略し、下位のＴ１２％の点を省略してもよい。そして、２つの連続的なフレームにおいてこれらの残りの点の位置を用いて、部分的アフィン転置行列Ａを取得してもよい。 For example, the point where the position cannot be found from the second frame may be omitted. Considering the error of the optical flow calculation, if the error is larger than T10, these points are omitted. Sort the remaining points based on the distance traveled between the two frames. The upper T11% point may be omitted and the lower T12% point may be omitted. Then, the partial affine translocation matrix A may be obtained by using the positions of these remaining points in two consecutive frames.
部分的アフィン転置行列Ａを用いて、以下の方程式に従って振れ値（ｄｘ，ｄｙ，ｄθ）を計算してもよい。
振れ値が取得された後に、振れ補正を平滑化してノイズを低減させるために、カルマンフィルタなどを用いてもよい。カルマンフィルタから取得された新たな振れ値を振れ補正に適用してもよい。部分的アフィン転置行列及びオプティカルフロー計算の具体的な内容について関連技術を参照してもよい。また、閾値Ｔ１〜Ｔ１２の具体的な数値について、例えば経験値に応じて決定されてもよい。 After the runout value is acquired, a Kalman filter or the like may be used to smooth the runout correction and reduce noise. A new runout value obtained from the Kalman filter may be applied to runout correction. Related techniques may be referred to for the specific contents of the partial affine transposed matrix and the optical flow calculation. Further, the specific numerical values of the threshold values T1 to T12 may be determined according to, for example, an empirical value.
以上はずれ補正及び振れ補正を例示的に説明しているが、以下はビデオ構成の更新を例示的に説明する。 Although the deviation correction and the runout correction have been exemplified above, the update of the video configuration will be exemplified below.
図１０は本発明の実施例のビデオ監視処理を示す図であり、２つのスレッドを一例にしてビデオ監視処理を示している。図１０に示すように、例えば、前処理スレッド及び分析スレッドの２つのスレッドを用いてもよく、前処理スレッドはカメラの異常検出及び補正に用いられ、分析スレッドは交通イベントの分析に用いられる。 FIG. 10 is a diagram showing a video surveillance process according to an embodiment of the present invention, and shows the video surveillance process by taking two threads as an example. As shown in FIG. 10, for example, two threads, a preprocessing thread and an analysis thread, may be used, the preprocessing thread is used for camera abnormality detection and correction, and the analysis thread is used for analysis of traffic events.
例えば、前処理スレッドは、分析スレッドに以下の情報を提供する。
表１
Table 1
図１０に示すように、ビデオシーケンスを入力してもよい。新しいフレームが入力されると、１番目のフレームであるか否かを判断する（１００１）。１番目のフレームである場合、所定画像のマッチングを直接行い（１００２）、マッチング結果を分析スレッドに報告して初期化処理を行う（２００１）。１番目のフレームではない場合、シーン検出を行い（１００３）、シーンが変化したか否かを決定し（１００４）、例えばカメラが回転しているか否かを判断する。シーン変化が検出された場合、所定画像のマッチングを行い（１００２）、そして、所定画像のマッチング結果に基づいてビデオ構成を更新する（１００５）。 As shown in FIG. 10, a video sequence may be input. When a new frame is input, it is determined whether or not it is the first frame (1001). In the case of the first frame, the predetermined image is matched directly (1002), the matching result is reported to the analysis thread, and the initialization process is performed (2001). If it is not the first frame, scene detection is performed (1003) to determine if the scene has changed (1004), for example if the camera is rotating. When a scene change is detected, a predetermined image is matched (1002), and the video configuration is updated based on the matching result of the predetermined image (1005).
図１０に示すように、ずれ検出を行い、ずれがある場合にずれ補正をさらに行ってもよい（１００６）。また、図１０に示すように、振れ検出を行い、振れがある場合に振れ補正をさらに行い（１００７、ビデオ補正とも称される）、補正後の画像を分析スレッドに送信してもよい。なお、振れ補正は、必ずしもずれ補正の後に行う必要がなく、例えばシーン検出の前に行ってもよく、これによって、シーン検出の正確性をさらに向上させることができる。 As shown in FIG. 10, deviation detection may be performed, and if there is a deviation, deviation correction may be further performed (1006). Further, as shown in FIG. 10, the shake may be detected, the shake may be further corrected when there is a shake (1007, also referred to as video correction), and the corrected image may be transmitted to the analysis thread. It should be noted that the runout correction does not necessarily have to be performed after the deviation correction, and may be performed, for example, before the scene detection, whereby the accuracy of the scene detection can be further improved.
図１０に示すように、分析スレッドでは、初期化処理を行ってもよい（２００１）。また、前景検出（２００２）、目標検出（２００３）、追跡（２００４）及びイベント判断（２００５）などをさらに行ってもよく、その具体的な内容は関連技術を参照してもよい。 As shown in FIG. 10, the analysis thread may perform initialization processing (2001). Further, foreground detection (2002), target detection (2003), tracking (2004), event determination (2005), and the like may be further performed, and the specific contents thereof may refer to related technologies.
以上は、本発明に関連する各ステップ又はプロセスを説明しているが、本発明はこれに限定されない。ビデオ構成の更新方法は他のステップ又はプロセスをさらに含んでもよく、これらのステップ又はプロセスの具体的な内容について従来技術を参照してもよい。また、以上、単に上記の式を一例にして本発明の実施例を例示的に説明しているが、本発明はこれらの式に限定されず、これらの式に対して適切な変形を行ってもよく、これらの変形例は本発明の実施例の範囲内に含まれるべきである。 The above describes each step or process related to the present invention, but the present invention is not limited thereto. The method of updating the video configuration may further include other steps or processes, and the prior art may be referred to for the specific content of these steps or processes. Moreover, although the examples of the present invention have been exemplarily described above by simply taking the above formula as an example, the present invention is not limited to these formulas, and appropriate modifications are made to these formulas. Often, these modifications should be included within the scope of the embodiments of the present invention.
以上の各実施例は本発明の実施例を例示的に説明するためのものであり、本発明はこれに限定されず、以上の各実施例に基づいて変形を適宜行ってもよい。例えば、上記の各実施例を単独で用いてもよいし、各実施例の１つ又は複数を組み合わせてもよい。 Each of the above examples is for exemplifying the examples of the present invention, and the present invention is not limited to this, and modifications may be appropriately performed based on each of the above examples. For example, each of the above embodiments may be used alone, or one or more of the above embodiments may be combined.
本実施例では、ビデオ画像における複数のフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ撮影のシーンが変化したか否かを検出し、シーンが変化した場合、ブロックごとに現在のフレームと複数の所定画像とのマッチング度をそれぞれ計算し、現在のシーンに最も近いマッチング画像を取得し、ビデオ撮影の構成を、前記最も近いマッチング画像に対応する構成に更新する。これによって、制御信号を処理する必要がなく、ビデオ信号を用いてビデオ構成の更新を実現することができ、構成の更新をイベント分析に簡単に統合することができる。 In this embodiment, the optical flow calculation is performed based on the feature points of a plurality of frames in the video image, it is detected whether or not the scene of the video shooting has changed, and if the scene changes, the current frame is set for each block. The degree of matching with a plurality of predetermined images is calculated, the matching image closest to the current scene is acquired, and the configuration of video shooting is updated to the configuration corresponding to the closest matching image. This makes it possible to implement video configuration updates using video signals without the need to process control signals, and configuration updates can be easily integrated into event analysis.
＜第２実施例＞
本発明の実施例はビデオ構成の更新装置を提供し、第１実施例と同様な内容について説明を省略する。
<Second Example>
An embodiment of the present invention provides an update device for a video configuration, and description of the same contents as that of the first embodiment will be omitted.
図１１は本発明の実施例のビデオ構成の更新装置を示す図である。図１１に示すように、ビデオ構成の更新装置１１００は、シーン検出部１１０１、画像マッチング部１１０２、及び構成更新部１１０３を含む。
FIG. 11 is a diagram showing an update device for a video configuration according to an embodiment of the present invention. As shown in FIG. 11, the video
シーン検出部１１０１は、ビデオ画像における複数のフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ撮影のシーンが変化したか否かを検出する。
The
画像マッチング部１１０２は、シーンが変化した場合、ブロックごとに現在のフレームと複数の所定画像とのマッチング度をそれぞれ計算し、現在のシーンに最も近いマッチング画像を取得する。
When the scene changes, the
構成更新部１１０３は、ビデオ撮影の構成を、最も近いマッチング画像に対応する構成に更新する。
The
１つの実施例では、図１１に示すように、ビデオ構成の更新装置１１００は、ずれ検出部１１０４及びずれ補正部１１０５をさらに含む。
In one embodiment, as shown in FIG. 11, the
ずれ検出部１１０４は、マッチング画像におけるサンプリング点に基づいてオプティカルフロー計算を行い、現在のフレームと前記マッチング画像とのずれを検出する。
The
ずれ補正部１１０５は、ずれの検出結果に基づいてビデオ画像に対してずれ補正を行う。
The
１つの実施例では、図１１に示すように、ビデオ構成の更新装置１１００は、振れ検出部１１０６及び振れ補正部１１０７をさらに含む。
In one embodiment, as shown in FIG. 11, the
振れ検出部１１０６は、ビデオ画像における連続的な２つのフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ画像の振れを検出する。
The
振れ補正部１１０７は、振れの検出結果に基づいてビデオ画像に対して振れ補正を行う。
The
なお、以上は単に本発明に関連する各部を説明し、本発明はこれに限定されない。ビデオ構成の更新装置１１００は他の部材又はモジュールをさらに含んでもよく、これらの部材又はモジュールの具体的な内容について従来技術を参照してもよい。
It should be noted that the above description merely describes each part related to the present invention, and the present invention is not limited thereto. The
図１２は本発明の実施例のシーン検出部を示す図である。１つの実施例では、図１２に示すように、シーン検出部１１０１は、初期化部１２０１、選択部１２０２、及び決定部１２０３を含む。
FIG. 12 is a diagram showing a scene detection unit according to an embodiment of the present invention. In one embodiment, as shown in FIG. 12, the
初期化部１２０１は、ビデオ画像から参照フレームを選択し、参照フレームから複数の特徴点を抽出する。
The
選択部１２０２は、オプティカルフロー計算により複数の特徴点からビデオ画像における背景領域の特徴点を選択する。
The
決定部１２０３は、オプティカルフロー計算により特徴点を分類し、分類後の特徴点の数に基づいてシーン変化率を計算し、シーン変化率に基づいてシーンが変化したか否かを決定する。
The
１つの実施例では、選択部１２０２は、特徴点のスコアを計算し、スコアに基づいて、特徴点がビデオ画像における背景領域の特徴点であるか否かを決定する。
In one embodiment,
１つの実施例では、選択部１２０２は、オプティカルフロー計算により現在のフレームにおける対応点が取得されたか否かの条件、オプティカルフロー計算の誤差が第１閾値よりも大きいか否かの条件、及び参照フレームにおける特徴点と現在のフレームにおける対応点との距離が第２閾値よりも大きいか否かの条件のうちの少なくとも１つの条件に基づいて、特徴点のスコアを計算する。
In one embodiment, the
１つの実施例では、決定部１２０３は、特徴点を分類する際に、オプティカルフロー計算により現在のフレームにおける対応点が取得されていない場合、特徴点を第１類点に分類し、且つ／或いはオプティカルフロー計算の誤差が第３閾値よりも小さい場合、前記特徴点を第２類点に分類し、且つ／或いはオプティカルフロー計算の誤差が第３閾値以上であり、且つ参照フレームにおける特徴点と現在のフレームにおける対応点との距離が第４閾値よりも小さい場合、特徴点を第３類点に分類し、且つ／或いはオプティカルフロー計算の誤差が第３閾値以上であり、且つ参照フレームにおける特徴点と現在のフレームにおける対応点との距離が第４閾値以上である場合、特徴点を第４類点に分類する。
In one embodiment, the
１つの実施例では、決定部１２０３は、以下の式に従ってシーン変化率を計算する。
In one embodiment, the
Ｒｓｃ＝（Ｎ４＋Ｎ１）／（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４）
ここで、Ｎ１は該第１類点の数を表し、Ｎ２は該第２類点の数を表し、Ｎ３は該第３類点の数を表し、Ｎ４は該第４類点の数を表す。
R sc = (N 4 + N 1 ) / (N 1 + N 2 + N 3 + N 4 )
Here, N 1 represents the number of the first category points, N 2 represents the number of the second category points, N 3 represents the number of the third category points, and N 4 represents the fourth category point. Represents the number of.
１つの実施例では、決定部１２０３は、シーン変化率及び／又は特徴点の数に基づいてシーン変化に対して第１計数を行い、第１計数が第５閾値に増加した場合、シーンが変化したと決定する。
In one embodiment, the
１つの実施例では、決定部１２０３は、シーン検出によりシーン変化遅延に対して第２計数を行い、第２計数がゼロに減少した場合、シーン検出の初期化を行う。
In one embodiment, the
説明の便宜上、図１１及び図１２は、単なる各部材又はモジュール間の接続関係又は信号方向のみを例示的に示しているが、当業者はバス接続などの各種の関連技術を採用してもよい。上記の各部材又はモジュールは例えばプロセッサ、メモリなどのハードウェア機器により実現されてもよく、本発明の実施例はこれに限定されない。 For convenience of explanation, FIGS. 11 and 12 illustrate only the connection relationship or signal direction between each member or module, but those skilled in the art may adopt various related techniques such as bus connection. .. Each of the above members or modules may be realized by a hardware device such as a processor or a memory, and the embodiment of the present invention is not limited thereto.
以上の各実施例は本発明の実施例を例示的に説明しているが、本発明はこれに限定されず、各実施例に基づいて変形を適宜行ってもよい。例えば、上記の各実施例を単独で用いてもよいし、上記の各実施例の１つ又は複数を組み合わせてもよい。 Although each of the above examples illustrates the examples of the present invention, the present invention is not limited to this, and modifications may be appropriately performed based on the respective examples. For example, each of the above examples may be used alone, or one or a plurality of the above examples may be combined.
本実施例では、ビデオ画像における複数のフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ撮影のシーンが変化したか否かを検出し、シーンが変化した場合、ブロックごとに現在のフレームと複数の所定画像とのマッチング度をそれぞれ計算し、現在のシーンに最も近いマッチング画像を取得し、ビデオ撮影の構成を、前記最も近いマッチング画像に対応する構成に更新する。これによって、制御信号を処理する必要がなく、ビデオ信号を用いてビデオ構成の更新を実現することができ、構成の更新をイベント分析に簡単に統合することができる。 In this embodiment, the optical flow calculation is performed based on the feature points of a plurality of frames in the video image, it is detected whether or not the scene of the video shooting has changed, and if the scene changes, the current frame is set for each block. The degree of matching with a plurality of predetermined images is calculated, the matching image closest to the current scene is acquired, and the configuration of video shooting is updated to the configuration corresponding to the closest matching image. This makes it possible to implement video configuration updates using video signals without having to process control signals, and configuration updates can be easily integrated into event analysis.
＜第３実施例＞
本発明の実施例は、第２実施例に記載のビデオ構成の更新装置を含む電子機器をさらに提供し、ここでその内容を援用する。該電子機器は例えばコンピュータ、サーバ、ワークステーション、ラップトップコンピュータ、スマートフォンなどであってもよく、本発明の実施例はこれに限定されない。
<Third Example>
An embodiment of the present invention further provides an electronic device including the video configuration update device described in the second embodiment, the contents of which are incorporated herein by reference. The electronic device may be, for example, a computer, a server, a workstation, a laptop computer, a smartphone, and the like, and examples of the present invention are not limited thereto.
図１３は本発明の実施例の電子機器を示す図である。図１３に示すように、電子機器１３００は、プロセッサ（例えば中央処理装置：ＣＰＵ）１３１０及びメモリ１３２０を含んでもよく、メモリ１３２０はプロセッサ１３１０に接続される。メモリ１３２０は、各種のデータ及び情報処理のプログラム１３２１を記憶してもよく、プロセッサ１３１０の制御により該プログラム１３２１を実行する。
FIG. 13 is a diagram showing an electronic device according to an embodiment of the present invention. As shown in FIG. 13, the
１つの態様では、ビデオ構成の更新装置１１００の機能はプロセッサ１３１０に統合されてもよい。ここで、プロセッサ１３１０は、実施例１に説明されたビデオ構成の更新方法を実現するように構成されてもよい。
In one aspect, the functionality of the
もう１つの態様では、ビデオ構成の更新装置１１００はプロセッサ１３１０とそれぞれ配置されてもよく、例えば、ビデオ構成の更新装置１１００はプロセッサ１３１０に接続されたチップであり、プロセッサ１３１０の制御によりビデオ構成の更新装置１１００の機能を実現するように構成されてもよい。
In another aspect, the
１つの態様では、プロセッサ１３１０は、ビデオ画像における複数のフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ撮影のシーンが変化したか否かを検出し、シーンが変化した場合、ブロックごとに現在のフレームと複数の所定画像とのマッチング度をそれぞれ計算し、現在のシーンに最も近いマッチング画像を取得し、ビデオ撮影の構成を、最も近いマッチング画像に対応する構成に更新するように構成されている。
In one embodiment, the
１つの態様では、プロセッサ１３１０は、マッチング画像におけるサンプリング点に基づいてオプティカルフロー計算を行い、現在のフレームとマッチング画像とのずれを検出し、ずれの検出結果に基づいてビデオ画像に対してずれ補正を行うように構成されている。
In one embodiment, the
１つの態様では、プロセッサ１３１０は、ビデオ画像における連続的な２つのフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ画像の振れを検出し、振れの検出結果に基づいてビデオ画像に対して振れ補正を行うように構成されている。
In one embodiment, the
１つの態様では、プロセッサ１３１０は、ビデオ画像から参照フレームを選択し、参照フレームから複数の特徴点を抽出し、オプティカルフロー計算により複数の特徴点からビデオ画像における背景領域の特徴点を選択し、オプティカルフロー計算により特徴点を分類し、分類後の特徴点の数に基づいてシーン変化率を計算し、シーン変化率に基づいてシーンが変化したか否かを決定するように構成されている。
In one embodiment, the
１つの態様では、プロセッサ１３１０は、特徴点のスコアを計算し、スコアに基づいて、特徴点がビデオ画像における背景領域の特徴点であるか否かを決定するように構成されている。
In one aspect, the
１つの態様では、プロセッサ１３１０は、オプティカルフロー計算により現在のフレームにおける対応点が取得されたか否かの条件、オプティカルフロー計算の誤差が第１閾値よりも大きいか否かの条件、及び参照フレームにおける特徴点と現在のフレームにおける対応点との距離が第２閾値よりも大きいか否かの条件のうちの少なくとも１つの条件に基づいて、特徴点のスコアを計算するように構成されている。
In one embodiment, the
１つの態様では、プロセッサ１３１０は、特徴点を分類する際に、オプティカルフロー計算により現在のフレームにおける対応点が取得されていない場合、特徴点を第１類点に分類し、且つ／或いはオプティカルフロー計算の誤差が第３閾値よりも小さい場合、特徴点を第２類点に分類し、且つ／或いはオプティカルフロー計算の誤差が第３閾値以上であり、且つ参照フレームにおける特徴点と現在のフレームにおける対応点との距離が第４閾値よりも小さい場合、特徴点を第３類点に分類し、且つ／或いはオプティカルフロー計算の誤差が第３閾値以上であり、且つ参照フレームにおける特徴点と現在のフレームにおける対応点との距離が第４閾値以上である場合、前記特徴点を第４類点に分類するように構成されている。
In one aspect, the
１つの態様では、プロセッサ１３１０は、以下の式に従ってシーン変化率を計算するように構成されている。
In one embodiment, the
Ｒｓｃ＝（Ｎ４＋Ｎ１）／（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４）
ここで、Ｎ１は該第１類点の数を表し、Ｎ２は該第２類点の数を表し、Ｎ３は該第３類点の数を表し、Ｎ４は該第４類点の数を表す。
R sc = (N 4 + N 1 ) / (N 1 + N 2 + N 3 + N 4 )
Here, N 1 represents the number of the first category points, N 2 represents the number of the second category points, N 3 represents the number of the third category points, and N 4 represents the fourth category point. Represents the number of.
１つの態様では、プロセッサ１３１０は、シーン変化率及び／又は特徴点の数に基づいてシーン変化に対して第１計数を行い、第１計数が第５閾値に増加した場合、シーンが変化したと決定するように構成されている。
In one embodiment, the
１つの態様では、プロセッサ１３１０は、シーン検出によりシーン変化遅延に対して第２計数を行い、第２計数がゼロに減少した場合、シーン検出の初期化を行うように構成されている。
In one aspect, the
また、図１３に示すように、電子機器１３００は、入力出力（Ｉ／Ｏ）デバイス１３３０及びディスプレイ１３４０などをさらに含んでもよい。ここで、上記各部の機能は従来技術と類似し、ここでその説明を省略する。なお、電子機器１３００は、図１３に示す全ての構成部を含まなくてもよい。また、電子機器１３００は、図１３に示していない構成部を含んでもよく、従来技術を参考してもよい。
Further, as shown in FIG. 13, the
本発明の実施例は、電子機器においてプログラムを実行する際に、コンピュータに、該電子機器において第１実施例に記載のビデオ構成の更新方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。 An embodiment of the present invention further provides a computer-readable program that causes a computer to execute the method of updating the video configuration described in the first embodiment in the electronic device when the program is executed in the electronic device.
本発明の実施例は、コンピュータに、電子機器において第１実施例に記載のビデオ構成の更新方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。 An embodiment of the present invention further provides a storage medium for storing a computer-readable program for causing a computer to perform the method of updating a video configuration described in the first embodiment in an electronic device.
本発明の以上の装置及び方法は、ハードウェアにより実現されてもよく、ハードウェアとソフトウェアを結合して実現されてもよい。本発明はコンピュータが読み取り可能なプログラムに関し、該プログラムは論理部により実行される時に、該論理部に上述した装置又は構成要件を実現させる、或いは該論理部に上述した各種の方法又はステップを実現させることができる。本発明は上記のプログラムを記憶するための記憶媒体、例えばハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フラッシュメモリ等に関する。 The above-mentioned devices and methods of the present invention may be realized by hardware, or may be realized by combining hardware and software. The present invention relates to a computer-readable program, which, when executed by a logic unit, causes the logic unit to realize the above-mentioned device or configuration requirement, or realizes the above-mentioned various methods or steps in the logic unit. Can be made to. The present invention relates to a storage medium for storing the above program, such as a hard disk, a magnetic disk, an optical disk, a DVD, a flash memory, or the like.
本発明の実施例を参照しながら説明した方法／装置は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図面に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図面に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。 The methods / devices described with reference to the examples of the present invention may be implemented in hardware, software modules executed by a processor, or a combination thereof. For example, one or more of the functional block diagrams shown in the drawings, or one or more combinations of the functional block diagrams may correspond to each software module of the computer program flow, or each hardware module. You may. These software modules may correspond to each step shown in the drawings. These hardware modules may be realized by hardwareizing these software modules using, for example, a field programmable gate array (FPGA).
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ−ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、機器（例えば移動端末）が比較的に大きい容量のＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。 The software module may be located in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disks, mobile hard disks, CD-ROMs or any other form of storage medium known to those skilled in the art. The storage medium may be connected to the processor so that the processor reads information from the storage medium or writes information to the storage medium, or the storage medium may be a component of the processor. The processor and storage medium are located in the ASIC. The software module may be stored in the memory of the mobile terminal or may be stored in the memory card inserted in the mobile terminal. For example, if the device (eg, a mobile terminal) uses a relatively large capacity MEGA-SIM card or large capacity flash memory device, the software module is stored in the MEGA-SIM card or large capacity flash memory device. May be good.
図面に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本発明に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図面に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。 One or more functional blocks and / or one or more combinations of functional blocks described in the drawings are general purpose processors, digital signal processors (DSPs), and application specific integrated circuits for performing the functions described in the present invention. It may be implemented in an application specific integrated circuit (ASIC), field programmable gate array (FPGA) or other programmable logic device, discrete gate or transistor logic device, discrete hardware components, or any suitable combination thereof. One or more functional blocks and / or one or more combinations of functional blocks described in the drawings are, for example, a combination of computing devices, such as a combination of DSP and microprocessor, a combination of multiple microprocessors, DSP communication. It may be implemented with one or more microprocessors in combination with or any other configuration.
以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び修正を行ってもよく、これらの変形及び修正も本発明の範囲に属する。 Although the present invention has been described above with reference to specific embodiments, the above description is merely exemplary and does not limit the scope of protection of the present invention. Various modifications and modifications may be made to the present invention as long as the gist and principle of the present invention are not deviated, and these modifications and modifications also belong to the scope of the present invention.
Claims (10)
ビデオ画像における複数のフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ撮影のシーンが変化したか否かを検出するシーン検出部と、
前記シーンが変化した場合、ブロックごとに現在のフレームと複数の所定画像とのマッチング度をそれぞれ計算し、現在のシーンに最も近いマッチング画像を取得する画像マッチング部と、
前記ビデオ撮影の構成を、前記最も近いマッチング画像に対応する構成に更新する構成更新部と、を含む、装置。 It is a video configuration updater
A scene detection unit that performs optical flow calculation based on the feature points of multiple frames in a video image and detects whether or not the video shooting scene has changed.
When the scene changes, an image matching unit that calculates the degree of matching between the current frame and a plurality of predetermined images for each block and acquires the matching image closest to the current scene.
An apparatus including a configuration update unit that updates the configuration of the video shooting to a configuration corresponding to the closest matching image.
前記ずれの検出結果に基づいて前記ビデオ画像に対してずれ補正を行うずれ補正部と、さらに含む、請求項１に記載の装置。 A deviation detection unit that performs optical flow calculation based on sampling points in the matching image and detects a deviation between the current frame and the matching image.
The apparatus according to claim 1, further comprising a deviation correction unit that corrects deviation of the video image based on the deviation detection result.
前記振れの検出結果に基づいて前記ビデオ画像に対して振れ補正を行う振れ補正部と、さらに含む、請求項１に記載の装置。 A shake detection unit that performs optical flow calculation based on the feature points of two consecutive frames in the video image and detects the shake of the video image,
The apparatus according to claim 1, further comprising a runout correction unit that corrects runout of the video image based on the runout detection result.
前記ビデオ画像から参照フレームを選択し、前記参照フレームから複数の特徴点を抽出する初期化部と、
オプティカルフロー計算により前記複数の特徴点から前記ビデオ画像における背景領域の特徴点を選択する選択部と、
オプティカルフロー計算により前記特徴点を分類し、分類後の特徴点の数に基づいてシーン変化率を計算し、前記シーン変化率に基づいてシーンが変化したか否かを決定する決定部と、を含む、請求項１に記載の装置。 The scene detection unit
An initialization unit that selects a reference frame from the video image and extracts a plurality of feature points from the reference frame.
A selection unit that selects the feature points of the background area in the video image from the plurality of feature points by optical flow calculation, and
A decision unit that classifies the feature points by optical flow calculation, calculates the scene change rate based on the number of feature points after classification, and determines whether or not the scene has changed based on the scene change rate. The device according to claim 1, which includes.
前記選択部は、オプティカルフロー計算により前記現在のフレームにおける対応点が取得されたか否かの条件、オプティカルフロー計算の誤差が第１閾値よりも大きいか否かの条件、及び前記参照フレームにおける特徴点と前記現在のフレームにおける対応点との距離が第２閾値よりも大きいか否かの条件のうちの少なくとも１つの条件に基づいて、前記特徴点のスコアを計算する、請求項４に記載の装置。 The selection unit calculates a score of the feature point, and based on the score, determines whether or not the feature point is a feature point of the background region in the video image.
The selection unit includes a condition of whether or not the corresponding point in the current frame is acquired by the optical flow calculation, a condition of whether or not the error of the optical flow calculation is larger than the first threshold value, and a feature point in the reference frame. The device according to claim 4, wherein the score of the feature point is calculated based on at least one condition of whether or not the distance between the and the corresponding point in the current frame is larger than the second threshold value. ..
オプティカルフロー計算により前記現在のフレームにおける対応点が取得されていない場合、前記特徴点を第１類点に分類し、且つ／或いは
オプティカルフロー計算の誤差が第３閾値よりも小さい場合、前記特徴点を第２類点に分類し、且つ／或いは
オプティカルフロー計算の誤差が前記第３閾値以上であり、且つ前記参照フレームにおける特徴点と前記現在のフレームにおける対応点との距離が第４閾値よりも小さい場合、前記特徴点を第３類点に分類し、且つ／或いは
オプティカルフロー計算の誤差が前記第３閾値以上であり、且つ前記参照フレームにおける特徴点と前記現在のフレームにおける対応点との距離が前記第４閾値以上である場合、前記特徴点を第４類点に分類し、
前記決定部は、以下の式に従って前記シーン変化率を計算し、
Ｒｓｃ＝（Ｎ４＋Ｎ１）／（Ｎ１＋Ｎ２＋Ｎ３＋Ｎ４）
ここで、Ｎ１は前記第１類点の数を表し、Ｎ２は前記第２類点の数を表し、Ｎ３は前記第３類点の数を表し、Ｎ４は前記第４類点の数を表す、請求項４に記載の装置。 When classifying feature points, the determination unit
If the corresponding point in the current frame has not been acquired by the optical flow calculation, the feature point is classified as the first category point, and / or if the error of the optical flow calculation is smaller than the third threshold value, the feature point. Is classified into the second category, and / or the error of the optical flow calculation is equal to or greater than the third threshold value, and the distance between the feature point in the reference frame and the corresponding point in the current frame is greater than the fourth threshold value. If it is small, the feature points are classified into the third category, and / or the error of the optical flow calculation is equal to or more than the third threshold value, and the distance between the feature points in the reference frame and the corresponding points in the current frame. Is equal to or greater than the fourth threshold value, the feature points are classified into the fourth category, and
The determination unit calculates the scene change rate according to the following formula and calculates the scene change rate.
R sc = (N 4 + N 1 ) / (N 1 + N 2 + N 3 + N 4 )
Here, N 1 represents the number of the first category points, N 2 represents the number of the second category points, N 3 represents the number of the third category points, and N 4 represents the fourth category point. The device according to claim 4, which represents the number of.
ビデオ画像における複数のフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ撮影のシーンが変化したか否かを検出するステップと、
前記シーンが変化した場合、ブロックごとに現在のフレームと複数の所定画像とのマッチング度をそれぞれ計算し、現在のシーンに最も近いマッチング画像を取得するステップと、
前記ビデオ撮影の構成を、前記最も近いマッチング画像に対応する構成に更新するステップと、を含む、方法。 How to update the video configuration
A step of performing optical flow calculation based on the feature points of multiple frames in a video image to detect whether or not the video shooting scene has changed.
When the scene changes, the step of calculating the matching degree between the current frame and a plurality of predetermined images for each block and acquiring the matching image closest to the current scene, and
A method comprising updating the video capture configuration to a configuration corresponding to the closest matching image.
前記プロセッサは、
ビデオ画像における複数のフレームの特徴点に基づいてオプティカルフロー計算を行い、ビデオ撮影のシーンが変化したか否かを検出するステップと、
前記シーンが変化した場合、ブロックごとに現在のフレームと複数の所定画像とのマッチング度をそれぞれ計算し、現在のシーンに最も近いマッチング画像を取得するステップと、
前記ビデオ撮影の構成を、前記最も近いマッチング画像に対応する構成に更新するステップと、を実行する、電子機器。 An electronic device that includes a memory that stores computer programs and a processor.
The processor
A step of performing optical flow calculation based on the feature points of multiple frames in a video image to detect whether or not the video shooting scene has changed.
When the scene changes, the step of calculating the matching degree between the current frame and a plurality of predetermined images for each block and acquiring the matching image closest to the current scene, and
An electronic device that performs a step of updating the video capture configuration to a configuration corresponding to the closest matching image.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910515576.4 | 2019-06-14 | ||
| CN201910515576.4A CN112087593B (en) | 2019-06-14 | 2019-06-14 | Video configuration updating device and method and electronic equipment |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020205586A true JP2020205586A (en) | 2020-12-24 |
Family
ID=73733921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020092420A Pending JP2020205586A (en) | 2019-06-14 | 2020-05-27 | Video configuration updating device, method, and electronic equipment |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2020205586A (en) |
| CN (1) | CN112087593B (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113038176A (en) * | 2021-03-19 | 2021-06-25 | 北京字跳网络技术有限公司 | Video frame extraction method and device and electronic equipment |
| CN113421431A (en) * | 2021-06-17 | 2021-09-21 | 京东方科技集团股份有限公司 | Emergency channel monitoring method and device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112911149B (en) * | 2021-01-28 | 2022-08-16 | 维沃移动通信有限公司 | Image output method, image output device, electronic equipment and readable storage medium |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101246547B (en) * | 2008-03-03 | 2010-09-22 | 北京航空航天大学 | Method for detecting moving objects in video according to scene variation characteristic |
| CN101364265B (en) * | 2008-09-18 | 2013-04-24 | 北京中星微电子有限公司 | Method for auto configuring equipment parameter of electronic appliance and camera |
| JP5208893B2 (en) * | 2009-09-14 | 2013-06-12 | セコム株式会社 | Moving object tracking device |
| JP5569357B2 (en) * | 2010-11-19 | 2014-08-13 | 富士通株式会社 | Image processing apparatus, image processing method, and image processing program |
| CN102883099B (en) * | 2011-07-14 | 2015-03-11 | 中国移动通信有限公司 | Anti-shake method and device for shooting |
| CN103458155B (en) * | 2013-08-01 | 2016-10-19 | 北京邮电大学 | Video scene change detection method and system and Quality of experience detection method and system |
| CN103646391B (en) * | 2013-09-30 | 2016-09-28 | 浙江大学 | A kind of real-time video camera tracking method for dynamic scene change |
| EP3012777B1 (en) * | 2014-10-23 | 2017-03-15 | Axis AB | Modification of at least one parameter used by a video processing algorithm for monitoring of a scene |
| CN105847767B (en) * | 2016-05-31 | 2018-07-06 | 浪潮通用软件有限公司 | A kind of alarm method, apparatus and system |
| CN106851049B (en) * | 2017-03-06 | 2019-07-02 | 济南中维世纪科技有限公司 | A kind of scene alteration detection method and device based on video analysis |
-
2019
- 2019-06-14 CN CN201910515576.4A patent/CN112087593B/en active Active
-
2020
- 2020-05-27 JP JP2020092420A patent/JP2020205586A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113038176A (en) * | 2021-03-19 | 2021-06-25 | 北京字跳网络技术有限公司 | Video frame extraction method and device and electronic equipment |
| CN113421431A (en) * | 2021-06-17 | 2021-09-21 | 京东方科技集团股份有限公司 | Emergency channel monitoring method and device |
| CN113421431B (en) * | 2021-06-17 | 2022-12-02 | 京东方科技集团股份有限公司 | Emergency channel monitoring method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112087593A (en) | 2020-12-15 |
| CN112087593B (en) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2020205586A (en) | Video configuration updating device, method, and electronic equipment | |
| US11657514B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN109035304B (en) | Target tracking method, medium, computing device and apparatus | |
| US9773322B2 (en) | Image processing apparatus and image processing method which learn dictionary | |
| US9202126B2 (en) | Object detection apparatus and control method thereof, and storage medium | |
| KR20180084085A (en) | METHOD, APPARATUS AND ELECTRONIC DEVICE | |
| EP2965262A1 (en) | Method for detecting and tracking objects in sequence of images of scene acquired by stationary camera | |
| CN108647587B (en) | People counting method, device, terminal and storage medium | |
| CN112598746B (en) | Elevator door opening and closing detection method and device, readable medium and electronic equipment | |
| CN111079613B (en) | Gesture recognition method and device, electronic equipment and storage medium | |
| US11386576B2 (en) | Image processing apparatus, method of tracking a target object, and storage medium | |
| CN111414949A (en) | Picture clustering method and device, electronic equipment and storage medium | |
| CN109447022B (en) | Lens type identification method and device | |
| WO2019084712A1 (en) | Image processing method and apparatus, and terminal | |
| US10614336B2 (en) | Method, system, and computer-readable recording medium for image-based object tracking | |
| CN113657434A (en) | Human face and human body association method and system and computer readable storage medium | |
| Specker et al. | Improving multi-target multi-camera tracking by track refinement and completion | |
| US9947106B2 (en) | Method and electronic device for object tracking in a light-field capture | |
| CN113312949B (en) | Video data processing method, video data processing device and electronic equipment | |
| Almomani et al. | Segtrack: A novel tracking system with improved object segmentation | |
| TWI517100B (en) | Method for tracking moving object and electronic apparatus using the same | |
| TWI676965B (en) | Object image recognition system and object image recognition method | |
| CN109598195B (en) | Method and device for processing clear face image based on monitoring video | |
| JP5148573B2 (en) | Image processing system, image processing method, and program | |
| US11495006B2 (en) | Object detection method for static scene and associated electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240326 |