JP2019097020A

JP2019097020A - Imaging apparatus

Info

Publication number: JP2019097020A
Application number: JP2017224564A
Authority: JP
Inventors: 隆宏平松; Takahiro Hiramatsu
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-11-22
Filing date: 2017-11-22
Publication date: 2019-06-20
Anticipated expiration: 2037-11-22
Also published as: JP6996252B2

Abstract

To solve the problem of transmitting face images of low importance first in an imaging apparatus in a case of transmitting face images of a plurality of detected persons to an outside.SOLUTION: An imaging apparatus includes: an object detection unit for detecting a predetermined object from raw image data captured at the same time in the imaging apparatus; an image cutting unit for cutting out an image of a predetermined object from raw image data; and a transmitting unit for transmitting a plurality of images cut out by the image cutting unit from the raw image data captured at the same time in descending order of size on the basis of size information on the object corresponding to the image.SELECTED DRAWING: Figure 2

Description

この発明は、監視対象領域を撮像する撮像装置に関するものである。 The present invention relates to an imaging device for imaging a monitoring target area.

従来の撮像装置として、監視対象領域を撮像して得られた生画像データから人物の顔を検出し、当該生画像データから顔画像を切り出し、符号化して外部に送信するものがある（例えば、特許文献１参照）。 As a conventional imaging apparatus, there is one that detects a human face from raw image data obtained by imaging a monitoring target area, cuts out a face image from the raw image data, encodes it, and transmits it to the outside (for example, Patent Document 1).

特許第４６２２３０１号公報Patent No. 4622301

従来の撮像装置は、複数の人物の顔を検出した場合、顔画像の送信順序が規定されていないため、重要度の低い顔画像が先に送信されてしまうことがあるという課題があった。 The conventional imaging device has a problem in that when the faces of a plurality of persons are detected, the transmission order of the face images is not defined, so that face images with low importance may be transmitted first.

この発明は、上記のような課題を解決するためになされたもので、検出した所定の物体の画像を重要度の高い順序に送信できる撮像装置を得ることを目的とする。 The present invention has been made to solve the problems as described above, and it is an object of the present invention to obtain an imaging device capable of transmitting an image of a detected predetermined object in order of high importance.

この発明に係る撮像装置は、
監視対象領域を撮像し、生画像データを出力する撮像部と、
前記生画像データから所定の物体を検出し、検出した前記所定の物体のサイズ情報を出力する物体検出部と、
前記生画像データから前記物体検出部により検出された所定の物体の画像を切り出す画像切出部と、
同時刻に撮像された生画像データから前記画像切出部により切り出された複数の画像を、前記物体検出部から出力された当該画像に対応する物体のサイズ情報に基づき、サイズの大きい順に送信する送信部と
を備えるものである。 The imaging device according to the present invention is
An imaging unit that images a monitoring target area and outputs raw image data;
An object detection unit that detects a predetermined object from the raw image data and outputs size information of the detected predetermined object;
An image cutout unit that cuts out an image of a predetermined object detected by the object detection unit from the raw image data;
Based on the size information of an object corresponding to the image output from the object detection unit, the plurality of images cut out by the image extraction unit from the raw image data captured at the same time are transmitted in the order of large size And a transmitter.

この発明によれば、上記のように構成したので、監視対象領域を撮像する撮像装置において、検出した所定の物体の画像を重要度の高い順に送信できる。 According to the present invention, as configured as described above, in the imaging device for imaging the monitoring target area, it is possible to transmit the images of the detected predetermined object in the descending order of importance.

この発明の実施の形態１及び実施の形態２に係る監視システム構成図である。It is a monitoring system block diagram concerning Embodiment 1 and Embodiment 2 of this invention. この発明の実施の形態１に係る撮像装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the imaging device concerning Embodiment 1 of this invention. この発明の実施の形態２に係る撮像装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the imaging device which concerns on Embodiment 2 of this invention. この発明の実施の形態２に係る撮像装置における物体追跡部の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the object tracking part in the imaging device concerning Embodiment 2 of this invention.

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る監視システム構成例を示す図である。
監視システムは、図１に示すように、監視対象領域を撮像する撮像装置１０、撮像装置１０が出力する画像を受信し画像処理を行う画像処理装置１１を備えており、撮像装置１０と画像処理装置１１とは、Ｅｔｈｅｒｎｅｔ（登録商標）等のネットワークを介して接続される。図１では、監視対象領域に、人物１２Ａ、人物１２Ｂ及び人物１２Ｃが存在している。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1
FIG. 1 is a diagram showing an example of a monitoring system configuration according to Embodiment 1 of the present invention.
As shown in FIG. 1, the monitoring system includes an imaging device 10 for imaging a monitoring target area, and an image processing device 11 for receiving an image output from the imaging device 10 and performing image processing, and the imaging device 10 and the image processing The device 11 is connected via a network such as Ethernet (registered trademark). In FIG. 1, a person 12A, a person 12B, and a person 12C exist in the monitoring target area.

撮像装置１０は図示しない設置者によって、撮像対象となる人物や車両など被写体を撮像可能な位置に設置される。画像処理装置１１が行う画像処理としては、例えば、画像に映っている人物の顔の特徴を算出し、特定の人物であるか否かを判断する顔認証等が挙げられる。図１では、撮像装置１０は、人物１２Ａ、人物１２Ｂ及び人物１２Ｃを撮像している。ここで、人物１２Ａ、人物１２Ｂ及び人物１２Ｃは、いずれも撮像装置１０の方向を向いており、立ち止まっている、または、図中左から右に（すなわち撮像装置１０の方向に）向かって移動しているものとする。 The imaging device 10 is installed at a position where an object such as a person or a vehicle to be imaged can be imaged by an installer (not shown). Examples of the image processing performed by the image processing apparatus 11 include face authentication that calculates the feature of the face of the person appearing in the image and determines whether or not the person is a specific person. In FIG. 1, the imaging device 10 images a person 12A, a person 12B, and a person 12C. Here, the person 12A, the person 12B, and the person 12C are all facing the direction of the imaging device 10, and are stopped or moved from left to right in the figure (that is, toward the imaging device 10). It shall be.

図２は、この発明の実施の形態１に係る撮像装置１０の構成の一例を示すブロック図である。
図２に示すように、撮像装置１０は、集光部１０１、受光部１０２、物体検出部１０３、画像切出部１０４、符号化部１０５及び送信部１０６を備える。集光部１０１と受光部１０２とは、撮像部を構成する。 FIG. 2 is a block diagram showing an example of the configuration of the imaging device 10 according to Embodiment 1 of the present invention.
As shown in FIG. 2, the imaging device 10 includes a light collecting unit 101, a light receiving unit 102, an object detecting unit 103, an image cutting unit 104, an encoding unit 105, and a transmitting unit 106. The light collecting unit 101 and the light receiving unit 102 constitute an imaging unit.

集光部１０１は、撮像対象の人物や車両などが発する、または、反射する光を集光し、受光部１０２に出力するものである。 The condensing unit 101 condenses light emitted or reflected by a person or a vehicle to be imaged, and outputs the condensed light to the light receiving unit 102.

受光部１０２は、集光部１０１から出力された光を、電気信号である非圧縮画像データ（生画像データ）に変換し、毎秒あたり所定の枚数の生画像データを、物体検出部１０３及び画像切出部１０４に出力するものである。 The light receiving unit 102 converts the light output from the light collecting unit 101 into non-compressed image data (raw image data) which is an electrical signal, and a predetermined number of raw image data per second is transmitted to the object detection unit 103 and the image It is outputted to the cutout unit 104.

物体検出部１０３は、受光部１０２から出力された生画像データから、人物の顔など特定の物体を検出し、物体の生画像データ内での位置を示す座標情報（位置情報）及び物体の大きさを示す情報（サイズ情報）を、画像切出部１０４及び送信部１０６に出力するものである。 The object detection unit 103 detects a specific object such as a person's face from the raw image data output from the light receiving unit 102, and detects coordinate information (position information) indicating the position of the object in the raw image data and the size of the object. The information (size information) indicating the image size is output to the image cutout unit 104 and the transmission unit 106.

画像切出部１０４は、物体検出部１０３から出力された物体の生画像データ内での位置を示す座標情報と大きさの情報に基づき、受光部１０２から出力された生画像データから、物体検出部１０３が検出した物体を示す画像領域を切り出し、切り出した切出画像を、符号化部１０５に出力するものである。 The image cutout unit 104 detects an object from the raw image data output from the light receiving unit 102 based on the coordinate information indicating the position of the object in the raw image data output from the object detection unit 103 and the size information. The image area indicating the object detected by the unit 103 is cut out, and the cut out image cut out is output to the coding unit 105.

符号化部１０５は、画像切出部１０４から出力された切出画像を符号化し、符号化された符号化画像を、送信部１０６に出力するものである。 The encoding unit 105 encodes the extracted image output from the image extracting unit 104, and outputs the encoded image to the transmitting unit 106.

送信部１０６は、符号化部１０５から出力された符号化画像を、当該符号化画像のサイズに基づき、図示しないネットワークを介して、画像処理装置１１に出力するものである。 The transmitting unit 106 outputs the encoded image output from the encoding unit 105 to the image processing apparatus 11 via a network (not shown) based on the size of the encoded image.

物体検出部１０３及び画像切出部１０４の各機能は、不揮発性メモリに格納されるプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）または専用のハードウェアにより実現される。 Each function of the object detection unit 103 and the image extraction unit 104 is realized by a CPU (Central Processing Unit) that executes a program stored in the non-volatile memory or dedicated hardware.

物体検出部１０３及び画像切出部１０４の各機能が専用のハードウェアにより実現される場合、当該の専用のハードウェアは、例えば、システムＬＳＩ（Ｌａｒｇｅ−ＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、またはこれらを組み合わせたものが該当する。 When each function of the object detection unit 103 and the image extraction unit 104 is realized by dedicated hardware, the dedicated hardware may be, for example, a system LSI (Large-Scale Integration) or an ASIC (Application Specific Integrated Circuit). , FPGA (Field-Programmable Gate Array), or a combination thereof.

物体検出部１０３及び画像切出部１０４の各機能がＣＰＵにより実現される場合、物体検出部１０３及び画像切出部１０４の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、物体検出部１０３及び画像切出部１０４の各機能は、不揮発性メモリに記録されたプログラムを読み出してメモリに割り当てて実行するＣＰＵにより実現される。ここで、メモリとは、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、不揮発性メモリとは、例えば、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、及びＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）等が該当する。 When each function of the object detection unit 103 and the image extraction unit 104 is realized by a CPU, each function of the object detection unit 103 and the image extraction unit 104 is realized by software, firmware, or a combination of software and firmware. Be done. That is, each function of the object detection unit 103 and the image extraction unit 104 is realized by a CPU that reads a program stored in the non-volatile memory, assigns the program to the memory, and executes the program. Here, the memory is, for example, a random access memory (RAM), and the non-volatile memory is, for example, a flash memory, an erasable programmable read only memory (EPROM), or an electrically erasable programmable read only memory (EEPROM). Do.

なお、物体検出部１０３及び画像切出部１０４の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、物体検出部１０３については専用のハードウェアでその機能を実現し、画像切出部１０４についてはＣＰＵが不揮発性メモリに格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。 The functions of the object detection unit 103 and the image extraction unit 104 may be partially realized by dedicated hardware and partially realized by software or firmware. For example, the function of the object detection unit 103 may be realized by dedicated hardware, and the function of the image extraction unit 104 may be realized by the CPU reading and executing a program stored in the non-volatile memory. It is possible.

集光部１０１は、例えば、レンズにより実現される。
受光部１０２は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）またはＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子により実現される。
符号化部１０５は、例えば、ＦＰＧＡ及び映像処理ＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）により実現される。
送信部１０６は、例えば、ＦＰＧＡ及びネットワークインタフェースＩＣにより実現される。 The light collecting unit 101 is realized by, for example, a lens.
The light receiving unit 102 is realized by an imaging device such as, for example, a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
The encoding unit 105 is realized by, for example, an FPGA and a video processing IC (Integrated Circuit).
The transmitting unit 106 is realized by, for example, an FPGA and a network interface IC.

次に、撮像装置１０の基本的な動作について、図２を参照しながら説明する。
集光部１０１は人物１２Ａ、人物１２Ｂ及び人物１２Ｃが反射する光を集光し受光部１０２に出力する。受光部１０２は集光部１０１から出力された光を電気信号に変換し、量子化などの処理を行い、ある時刻に撮像されたＹＣｂＣｒ形式などの生画像データとして、物体検出部１０３及び画像切出部１０４に出力する。 Next, the basic operation of the imaging device 10 will be described with reference to FIG.
The condensing unit 101 condenses the light reflected by the person 12A, the person 12B, and the person 12C, and outputs the light to the light receiving unit 102. The light receiving unit 102 converts the light output from the light collecting unit 101 into an electric signal, performs processing such as quantization, and outputs the object detection unit 103 and the image cutting as raw image data in YCbCr format or the like captured at a certain time. Output to the output unit 104.

物体検出部１０３は所定の画像処理により、受光部１０２から出力された生画像データから、人物１２Ａ、人物１２Ｂ及び人物１２Ｃの顔を検出し、検出した顔の各々に対し固有の識別情報（ＩＤ）を付与するとともに、受光部１０２から出力された生画像データ内の位置を示す座標情報及び顔の大きさを示す情報（メタデータ）を、画像切出部１０４及び送信部１０６に出力する。表１に、物体検出部１０３が画像切出部１０４に出力するメタデータの一例を示す。 The object detection unit 103 detects faces of the person 12A, the person 12B, and the person 12C from the raw image data output from the light receiving unit 102 by predetermined image processing, and identification information unique to each of the detected faces (ID , And coordinate information indicating the position in the raw image data output from the light receiving unit 102 and information (metadata) indicating the size of the face to the image cutout unit 104 and the transmission unit 106. Table 1 shows an example of metadata output from the object detection unit 103 to the image cutout unit 104.

表１の例では、物体検出部１０３は、横位置２００、縦位置５００の座標（生画像データ内の位置を示す座標情報）に検出された横幅３０、縦幅５０（顔の大きさを示す情報）の顔に、ＩＤ１０００１を付与する。同様に、物体検出部１０３は、横位置４５０、縦位置８００の座標に検出された横幅４０、縦幅６０の顔に、ＩＤ１０００２を付与し、横位置７００、縦位置３００の座標に検出された横幅３５、縦幅５５の顔に、ＩＤ１０００３を付与する。 In the example of Table 1, the object detection unit 103 indicates the width 30 and the height 50 (face size) detected at the coordinates of the horizontal position 200 and the vertical position 500 (coordinate information indicating the position in the raw image data). An ID 10001 is assigned to the face of the information). Similarly, the object detection unit 103 assigns ID 10002 to faces of horizontal width 40 and vertical width 60 detected at the coordinates of horizontal position 450 and vertical position 800, and is detected at the coordinates of horizontal position 700 and vertical position 300. An ID 10003 is assigned to a face having a width of 35 and a height of 55.

画像切出部１０４は、物体検出部１０３から出力された人物１２Ａ、人物１２Ｂ及び人物１２Ｃの顔の生画像データ内での位置を示す座標情報と顔の大きさを示す情報とに基づき、受光部１０２から出力された生画像データから、物体検出部１０３が検出した人物１２Ａ、人物１２Ｂ及び人物１２Ｃの顔を示す画像領域を切り出し、切り出した切出画像を、それぞれ符号化部１０５に出力する。 The image cutout unit 104 receives light based on the coordinate information indicating the position of the face of the person 12A, the person 12B and the person 12C in the raw image data and the information indicating the size of the face, which are output from the object detection unit 103. From the raw image data output from the unit 102, image areas indicating the faces of the person 12A, the person 12B, and the person 12C detected by the object detection unit 103 are cut out, and the cut out images are respectively output to the coding unit 105 .

符号化部１０５は、画像切出部１０４から出力された各切出画像を符号化し、符号化された符号化顔画像を、送信部１０６に出力する。 The encoding unit 105 encodes each extracted image output from the image extracting unit 104, and outputs the encoded encoded face image to the transmitting unit 106.

送信部１０６は、符号化部１０５から出力された符号化顔画像について、物体検出部１０３からのメタデータに基づき、顔の画像サイズ（横幅×縦幅）の大きさが大きい順、すなわちＩＤ１０００２、ＩＤ１０００３、ＩＤ１０００１の順で、図示しないネットワークを介して、画像処理装置１１に出力する。この際、符号化顔画像と共に、ＩＤ、横位置、縦位置、横幅、縦幅のそれぞれの情報を送信しても良い。ＩＤ、横位置、縦位置、横幅、縦幅のそれぞれの情報を送信する手段としては、符号化顔画像のヘッダ領域に含めて送信しても良いし、ＲＴＰのヘッダ領域に含めて送信しても良いし、符号化顔画像とは別のストリームや別のプロトコルで送信しても良い。これにより、たとえば、画像処理装置１１における、監視対象領域上の各人物の位置の推定を支援することが可能となる。 For the encoded face image output from the encoding unit 105, the transmitting unit 106, based on the metadata from the object detection unit 103, in descending order of face image size (horizontal width × vertical width), that is, ID 10002, The image data is output to the image processing apparatus 11 via the network (not shown) in the order of ID10003 and ID10001. At this time, each information of ID, horizontal position, vertical position, horizontal width, vertical width may be transmitted together with the encoded face image. As means for transmitting each information of ID, horizontal position, vertical position, horizontal width, vertical width, it may be included in the header area of the encoded face image and transmitted, or it may be included in the RTP header area and transmitted. It may be transmitted by another stream or another protocol other than the encoded face image. Thereby, for example, it becomes possible to support the estimation of the position of each person on the monitoring target area in the image processing apparatus 11.

画像処理装置１１は、送信部１０６が送信する符号化画像のそれぞれを画像サイズ（横幅×縦幅）の大きさが大きい順で受信し、受信した順に、特定の人物であるか否かを判断する顔認証等の画像処理を行う。 The image processing apparatus 11 receives each of the encoded images transmitted by the transmission unit 106 in the order of large image size (horizontal width × vertical width), and determines in the order of reception whether it is a specific person or not. Perform image processing such as face recognition.

このように、本実施の形態に係る撮像装置は、同時刻に撮像された生画像データから切り出された複数の切出画像について、切出画像のサイズの大きさが大きい順で、外部に出力するように構成したので、撮像装置は、撮像装置の近くにいる可能性の高い人物、すなわち重要度の高い人物の顔から順に符号化顔画像を送信することが可能となり、画像処理装置１１は、撮像装置の近くにいる可能性の高い人物の顔から順に、符号化顔画像の画像処理を行うことが可能となる。 As described above, the imaging apparatus according to the present embodiment outputs the plurality of cut-out images cut out from the raw image data taken at the same time to the outside in descending order of the size of the cut-out image. Therefore, the imaging device can transmit encoded face images in order from the face of a person who is likely to be near the imaging device, that is, a person with a high degree of importance, and the image processing device 11 can It is possible to perform image processing of the encoded face image in order from the face of the person who is likely to be near the imaging device.

なお、本実施の形態１では、送信部１０６は、符号化画像を送信する際、符号化画像を送信する都度ＲＴＰヘッダに含まれるタイムスタンプの値に対して所定の値を加算するようにしてもよい。ＲＦＣ（ＲｅｑｕｅｓｔＦｏｒＣｏｍｍｅｎｔ）２４３５では、ＲＴＰヘッダに３２ビット整数の画像の生成タイミングを表すタイムスタンプを含むことと、ＪＰＥＧを送る場合のタイムスタンプは９００００ヘルツであることとが規定されているので、例えば毎秒５回画像を送信する場合、通常は、ある時刻に撮像された生画像データから切り出された符号化画像に付与されるタイムスタンプは、すべて同じ値となり、０．２秒後に撮像された生画像データから切り出された符号化画像に付与されるタイムスタンプは、すべて１８０００だけ加算された値となるところ、ある時刻に撮像された生画像データから切り出された符号化画像について、画像の送信する順に、タイムスタンプを昇順で付与する。たとえば、３枚の符号化顔画像が撮像された時刻を２０１７年１１月１１日１１時１１分１１秒とし、最初に送信するＩＤ１０００２の符号化画像にタイムスタンプの値として２００００００を付与したとすると、ＩＤ１０００３の符号化画像にタイムスタンプの値として２０００００１を、ＩＤ１０００１の符号化画像にタイムスタンプの値として２０００００２を付与する。さらに、続いて２０１７年１１月１１日１１時１１分１１．２秒に撮像された生画像データに顔を検出した場合、画像サイズの大きさが最も大きい符号化画像にタイムスタンプの値として２０１８０００を付与して送信する。これにより、図示しないネットワークを介する過程で符号化画像の伝送される順序が入れ替わったとしても、画像処理装置１１は、ＲＴＰヘッダに含まれるタイムスタンプの値を参照し、タイムスタンプが小さい順で、特定の人物であるか否かを判断する顔認証等の画像処理を行うことが可能となる。 In the first embodiment, when transmitting the encoded image, the transmitting unit 106 adds a predetermined value to the value of the time stamp included in the RTP header each time the encoded image is transmitted. It is also good. In RFC (Request For Comment) 2435, it is defined that the RTP header includes a timestamp that indicates the generation timing of the 32-bit integer image, and that the timestamp for sending a JPEG is 90000 hertz. For example, when transmitting an image 5 times per second, all time stamps given to encoded images cut out from raw image data taken at a certain time usually have the same value, and are taken 0.2 seconds later The time stamp given to the encoded image extracted from the raw image data is a value obtained by adding all 18000, and the image transmission is performed for the encoded image extracted from the raw image data captured at a certain time Time stamps are given in ascending order in the order of For example, it is assumed that the time at which three coded face images were captured is 11:11:11 on November 11, 2017, and 2000000 is added as a time stamp value to the coded image of ID 10002 to be transmitted first. As a time stamp value, 2000001 is given to the coded image of ID10003, and 2000002 is given to the coded image of ID10001 as a time stamp value. Furthermore, when a face is detected in the raw image data captured at 11: 11: 111.2 seconds on November 11, 2017, 2018000 is used as the value of the time stamp in the encoded image having the largest image size. Grant and send. As a result, even if the order of transmission of coded images is changed in a process via a network (not shown), the image processing apparatus 11 refers to the value of the time stamp included in the RTP header, and in ascending order of time stamps, It is possible to perform image processing such as face authentication to determine whether or not a specific person.

また、本実施の形態１では、符号化部１０５が符号化を行う例について示したが、符号化部１０５を設けず、符号化顔画像の代わりに切出画像を送信するよう構成してもよい。また、本実施の形態１では検出対象の物体として人物の顔を例に説明したが、人物の顔以外の物体、例えば車両に設置されたナンバープレートを検出するよう構成してもよい。 In the first embodiment, the coding unit 105 performs coding, but the coding unit 105 is not provided, and a cut image may be transmitted instead of the coded face image. Good. In the first embodiment, the face of a person is described as an example of an object to be detected. However, an object other than the face of a person, for example, a license plate installed in a vehicle may be detected.

また、本実施の形態１では、物体検出部１０３は、メタデータを画像切出部１０４及び送信部１０６に出力する例について示したが、画像切出部１０４のみに出力し、画像切出部１０４及び符号化部１０５を介して、送信部１０６に、メタデータを出力するように構成してもよい。 In the first embodiment, the object detection unit 103 outputs metadata to the image cutout unit 104 and the transmission unit 106. However, the object detection unit 103 outputs the metadata only to the image cutout unit 104, and the image cutout unit The metadata may be output to the transmitting unit 106 via the 104 and the encoding unit 105.

実施の形態２．
実施の形態２では、物体追跡部をさらに備えることにより、符号化顔画像の大きさに加え、撮影期間の長さを考慮して送信順を決定する撮像装置について説明する。 Second Embodiment
In the second embodiment, an imaging apparatus will be described in which the order of transmission is determined in consideration of the length of the imaging period in addition to the size of the encoded face image by further including an object tracking unit.

実施の形態２に係る監視システム構成例を示す図は、実施の形態１と同様であるので、説明を省略する。 The diagram showing the configuration example of the monitoring system according to the second embodiment is the same as that of the first embodiment, so the description will be omitted.

図３は、この発明の実施の形態２に係る撮像装置１３の構成の一例を示すブロック図である。図３において、図２と同一の符号は、同一または相当するものであるので、説明を省略する。 FIG. 3 is a block diagram showing an example of a configuration of an imaging device 13 according to Embodiment 2 of the present invention. In FIG. 3, the same reference numerals as those in FIG. 2 denote the same or corresponding parts, so the description will be omitted.

物体検出部１０７は、受光部１０２から出力された生画像データから、人物の顔など特定の物体を検出し、物体の生画像データ内での位置を示す座標情報及び大きさの情報を、物体追跡部１０８に出力し、物体の生画像データ内での位置を示す座標情報及び大きさの情報並びに物体を初めて検出した時刻（初出時刻）の情報（メタデータ）を画像切出部１０４及び送信部１１０に出力するものである。 The object detection unit 107 detects a specific object such as a person's face from the raw image data output from the light receiving unit 102, and detects coordinate information and size information indicating the position of the object in the raw image data, the object The image extraction unit 104 outputs coordinate information and size information indicating the position of the object in the raw image data and information (metadata) of the time (first appearance time) at which the object is detected for the first time. It is output to the part 110.

物体追跡部１０８は、物体検出部１０７が検出した人物の顔など特定の物体について、当該物体の初出時刻を物体検出部１０７に出力するものである。 The object tracking unit 108 outputs the first appearance time of the object to the object detection unit 107 for a specific object such as the face of a person detected by the object detection unit 107.

データベース１０９は、物体検出部１０７が検出した人物の顔など特定の物体について、当該物体の初出時刻を記憶するものである。 The database 109 stores, for a specific object such as the face of a person detected by the object detection unit 107, the first appearance time of the object.

送信部１１０は、符号化部１０５から出力された符号化画像を、初出時刻に基づき、図示しないネットワークを介して、画像処理装置１１に出力するものである。 The transmission unit 110 outputs the encoded image output from the encoding unit 105 to the image processing apparatus 11 via a network (not shown) based on the first appearance time.

物体検出部１０７及び物体追跡部１０８の各機能は、不揮発性メモリに格納されるプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）または専用のハードウェアにより実現される。 Each function of the object detection unit 107 and the object tracking unit 108 is realized by a CPU (Central Processing Unit) that executes a program stored in the non-volatile memory or dedicated hardware.

物体検出部１０７及び物体追跡部１０８の各機能が専用のハードウェアにより実現される場合、当該の専用のハードウェアは、例えば、システムＬＳＩ（Ｌａｒｇｅ−ＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、またはこれらを組み合わせたものが該当する。 When each function of the object detection unit 107 and the object tracking unit 108 is realized by dedicated hardware, the dedicated hardware is, for example, a system LSI (Large-Scale Integration), an ASIC (Application Specific Integrated Circuit), An FPGA (Field-Programmable Gate Array) or a combination thereof is applicable.

物体検出部１０７及び物体追跡部１０８の各機能がＣＰＵにより実現される場合、物体検出部１０７及び物体追跡部１０８の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、物体検出部１０７及び物体追跡部１０８の各機能は、不揮発性メモリに記録されたプログラムを読み出してメモリに割り当てて実行するＣＰＵにより実現される。ここで、メモリとは、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、不揮発性メモリとは、例えば、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、及びＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）等が該当する。 When each function of the object detection unit 107 and the object tracking unit 108 is realized by a CPU, each function of the object detection unit 107 and the object tracking unit 108 is realized by software, firmware, or a combination of software and firmware. . That is, each function of the object detection unit 107 and the object tracking unit 108 is realized by the CPU which reads the program recorded in the non-volatile memory, assigns it to the memory, and executes it. Here, the memory is, for example, a random access memory (RAM), and the non-volatile memory is, for example, a flash memory, an erasable programmable read only memory (EPROM), or an electrically erasable programmable read only memory (EEPROM). Do.

なお、物体検出部１０７及び物体追跡部１０８の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、物体検出部１０７については専用のハードウェアでその機能を実現し、物体追跡部１０８についてはＣＰＵが不揮発性メモリに格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。 The functions of the object detection unit 107 and the object tracking unit 108 may be partially realized by dedicated hardware and partially realized by software or firmware. For example, the function can be realized by realizing the function of the object detection unit 107 by dedicated hardware, and the CPU by reading and executing the program stored in the non-volatile memory with respect to the object tracking unit 108 It is.

データベース１０９は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、またはフラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、及びＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）等の不揮発性メモリにより実現される。 The database 109 is realized by, for example, a non-volatile memory such as a random access memory (RAM) or a flash memory, an erasable programmable read only memory (EPROM), and an electrically erasable programmable read only memory (EEPROM).

送信部１１０は、例えば、ＦＰＧＡ及びネットワークインタフェースＩＣにより実現される。 The transmission unit 110 is realized by, for example, an FPGA and a network interface IC.

次に、撮像装置１３の基本的な動作について、図３及び図４を参照しながら説明する。図３において、図２と同一の符号は、同一または相当するものであるので、説明を省略する。 Next, the basic operation of the imaging device 13 will be described with reference to FIGS. 3 and 4. In FIG. 3, the same reference numerals as those in FIG. 2 denote the same or corresponding parts, so the description will be omitted.

受光部１０２は集光部１０１から出力された光を電気信号に変換し、量子化などの処理を行い、ある時刻に撮像されたＹＣｂＣｒ形式などの生画像データとして、物体検出部１０７及び画像切出部１０４に出力する。 The light receiving unit 102 converts the light output from the light collecting unit 101 into an electrical signal, performs processing such as quantization, and outputs the object detection unit 107 and the image cutting as raw image data in YCbCr format or the like captured at a certain time. Output to the output unit 104.

物体検出部１０７は所定の画像処理により、受光部１０２から出力された生画像データから、人物１２Ａ、人物１２Ｂ及び人物１２Ｃの顔を検出し、検出した顔の各々に対し固有の識別情報（ＩＤ）を付与するとともに、受光部１０２から出力された生画像データ内の位置を示す座標情報と、顔の大きさを示す情報（メタデータ）を、物体追跡部１０８に出力する。 The object detection unit 107 detects faces of the person 12A, the person 12B, and the person 12C from the raw image data output from the light receiving unit 102 by predetermined image processing, and identification information unique to each of the detected faces (ID While the coordinate information indicating the position in the raw image data output from the light receiving unit 102 and the information (metadata) indicating the size of the face are output to the object tracking unit 108.

物体追跡部１０８は、物体検出部１０７からのメタデータの入力を受け（ステップＳ１）、当該メタデータに含まれるＩＤがデータベース１０９に登録されているか否かを判定する（ステップＳ２）。 The object tracking unit 108 receives the input of the metadata from the object detection unit 107 (step S1), and determines whether the ID included in the metadata is registered in the database 109 (step S2).

当該ＩＤがデータベース１０９に登録されていない場合、物体追跡部１０８は、生画像データが撮像された時刻を当該ＩＤの初出時刻とし（ステップＳ３）、初出時刻を当該ＩＤに紐付けてデータベース１０９に登録し（ステップＳ４）、登録した初出時刻をメタデータに追加し、メタデータを物体検出部１０７に出力する（ステップＳ６）。 If the ID is not registered in the database 109, the object tracking unit 108 sets the time when the raw image data is captured as the first appearance time of the ID (step S3), links the first appearance time to the ID, The registration is performed (step S4), the registered first appearance time is added to the metadata, and the metadata is output to the object detection unit 107 (step S6).

当該ＩＤがデータベース１０９に登録されている場合、物体追跡部１０８は、当該ＩＤに紐付けられた初出時刻をデータベース１０９から取り出し（ステップＳ５）、取り出した初出時刻をメタデータに追加し、メタデータを物体検出部１０７に出力する（ステップＳ６）。 If the ID is registered in the database 109, the object tracking unit 108 extracts the first appearance time associated with the ID from the database 109 (step S5), adds the extracted first appearance time to the metadata, and then the metadata Are output to the object detection unit 107 (step S6).

さらに、物体追跡部１０８は、物体検出部１０７からのメタデータに存在しないＩＤ（すなわち、物体検出部１０７により検出されなかった人物の顔のＩＤ）がデータベース１０９に登録されているか否かを判定する（ステップＳ７）。 Furthermore, the object tracking unit 108 determines whether an ID not present in the metadata from the object detection unit 107 (that is, the ID of the face of a person not detected by the object detection unit 107) is registered in the database 109. (Step S7).

物体検出部１０７により検出されなかった人物の顔のＩＤがデータベース１０９に登録されている場合、データベース１０９から、物体検出部１０７により検出されなかった人物の顔のＩＤ及び当該ＩＤに紐付けられた初出時刻を削除する（ステップＳ８）。 When the ID of the face of the person not detected by the object detection unit 107 is registered in the database 109, the ID of the face of the person not detected by the object detection unit 107 and the ID are linked from the database 109 The first appearance time is deleted (step S8).

次に、物体検出部１０７は、物体追跡部１０８からのメタデータの入力を受け、当該メタデータを、画像切出部１０４及び送信部１１０に出力する。 Next, the object detection unit 107 receives the input of the metadata from the object tracking unit 108, and outputs the metadata to the image cutout unit 104 and the transmission unit 110.

送信部１１０は、符号化部１０５から出力された符号化顔画像について、物体検出部１０７からのメタデータに基づき、初出時刻と現在時刻との差が所定の閾値以内の人物の顔を優先して送信する。すなわち、まず、初出時刻と現在時刻との差が所定の閾値以内の人物の顔について、顔の画像サイズ（横幅×縦幅）の大きさが大きい順に送信し、次に、初出時刻と現在時刻との差が所定の閾値を超える人物の顔について、顔の画像サイズ（横幅×縦幅）の大きさが大きい順に送信する。 The transmission unit 110 gives priority to the face of a person whose difference between the first appearance time and the current time is within a predetermined threshold based on the metadata from the object detection unit 107 for the encoded face image output from the encoding unit 105. To send. That is, first, with respect to the face of a person whose difference between the first appearance time and the current time is within a predetermined threshold, the images are transmitted in descending order of face image size (horizontal width × vertical width), and then the first appearance time and the current time For the face of a person whose difference between the above and the above exceeds a predetermined threshold, transmission is performed in the order of decreasing the size of the face image size (horizontal width × vertical width).

以上説明した動作について、以下、具体例を示す。 Specific examples of the operation described above will be shown below.

物体追跡部１０８は、２０１７年１１月１１日１１時１１分１１秒に表２に示すメタデータを、物体検出部１０７に出力したものとする。 The object tracking unit 108 outputs the metadata shown in Table 2 at November 11, 2017 11:11:11 to the object detection unit 107.

この場合、送信部１１０は、すべての顔画像の初出時刻が現在時刻と同時刻であるため、顔の画像サイズ（横幅×縦幅）の大きさが大きい順、すなわちＩＤ１０００２、ＩＤ１０００３、ＩＤ１０００１の順で、図示しないネットワークを介して、画像処理装置１１に出力する。 In this case, since the first appearance time of all the face images is the same time as the current time, the transmitting unit 110 arranges the size of the face image size (horizontal width × vertical width) in descending order, that is, in the order of ID10002, ID10003, ID10001. Then, the image is output to the image processing apparatus 11 via a network (not shown).

次に、物体追跡部１０８は、２０１７年１１月１１日１１時１１分１１．２秒に表３に示す情報を、物体検出部１０７に出力したものとする。 Next, the object tracking unit 108 outputs the information shown in Table 3 to the object detection unit 107 at November 11, 2017 at 11:11: 11.2.

この場合、送信部１１０は、すべての顔画像の初出時刻と現在時刻との差が０．２秒以内であるため、顔の画像サイズ（横幅×縦幅）の大きさが大きい順、すなわちＩＤ１０００２、ＩＤ１０００１、ＩＤ１０００４の順で、図示しないネットワークを介して、画像処理装置１１に出力する。 In this case, since the difference between the first appearance time of all face images and the current time is within 0.2 seconds in this case, the size of the face image size (horizontal width × vertical width) is in descending order, that is, ID 10002 , ID 10001, and ID 10004 in this order to the image processing apparatus 11 via a network (not shown).

次に、物体追跡部１０８は、２０１７年１１月１１日１１時１１分１１．４秒に表４に示す情報を、物体検出部１０７に出力したものとする。 Next, it is assumed that the object tracking unit 108 outputs the information shown in Table 4 to the object detection unit 107 at November 11, 2017 at 11:11:11.

この場合、送信部１１０は、まず、初出時刻と現在時刻との差が０．２秒以内である顔画像（ＩＤ１０００４）を、図示しないネットワークを介して、画像処理装置１１に出力し、次に初出時刻とが現在時刻との差が０．２秒を超える顔画像（ＩＤ１０００１、ＩＤ１０００２）について、顔の画像サイズ（横幅×縦幅）の大きさが大きい順、すなわちＩＤ１０００２、ＩＤ１０００１の順で、図示しないネットワークを介して、画像処理装置１１に出力する。 In this case, the transmission unit 110 first outputs a face image (ID 10004) in which the difference between the first appearance time and the current time is within 0.2 seconds to the image processing apparatus 11 via a network (not shown), and then For face images (ID 10001 and ID 10002) whose difference between the first appearance time and the current time exceeds 0.2 seconds, in order of decreasing size of face image size (horizontal width × vertical width), that is, in order of ID 10002 and ID 10001 The image is output to the image processing apparatus 11 via a network (not shown).

このように、本実施の形態に係る撮像装置は、同時刻に撮像された生画像データから切り出された複数の切出画像について、物体を初めて検出した時刻（初出時刻）と現在時刻との差が所定の閾値以内である画像を優先して外部に出力するように構成したので、撮像装置は、新たに検出した人物の顔、すなわち重要度の高い人物を優先して送信することが可能となり、画像処理装置１１は、新たに検出した人物の顔を優先して、符号化顔画像の画像処理を行うことが可能となる。 Thus, in the imaging apparatus according to the present embodiment, the difference between the time when an object is detected for the first time (first appearance time) and the current time is obtained for a plurality of cut-out images cut out from raw image data taken at the same time. Since the image having priority within the predetermined threshold is preferentially output to the outside, the imaging apparatus can transmit the face of the newly detected person, that is, the person with high importance priority. The image processing apparatus 11 can perform image processing of the encoded face image with priority given to the face of the newly detected person.

なお、本実施の形態２では、送信部１１０は、初出時刻と現在時刻との差の閾値を１つ設けているが、初出時刻と現在時刻との差の閾値を複数設けてもよい。たとえば、閾値を２つ設ける場合は、初出時刻と現在時刻との差が第一の値以内の人物の顔を優先して送信し、次に、初出時刻と現在時刻との差が第二の値以内の人物の顔を優先して送信する。この場合も、新たに検出した人物の顔を優先して送信することが可能である。 In the second embodiment, the transmitting unit 110 provides one threshold value for the difference between the first appearance time and the current time, but a plurality of threshold values for the difference between the first appearance time and the current time may be provided. For example, when two thresholds are provided, the difference between the first appearance time and the current time preferentially transmits the face of the person within the first value, and then the second time difference between the first appearance time and the current time is the second Priority is given to sending the person's face within the value. Also in this case, it is possible to prioritize and transmit the face of the newly detected person.

また、本実施の形態２では、送信部１１０は、初出時刻と現在時刻との差の閾値を１つ設けているが、閾値を設けずに、初出時刻の遅い順に、図示しないネットワークを介して、画像処理装置１１に出力するようにしてもよい。この場合も、新たに検出した人物の顔を優先して送信することが可能である。 Further, in the second embodiment, the transmitting unit 110 provides one threshold of the difference between the first appearance time and the current time, but without providing the threshold, in the order of later appearance of the first appearance time, via the network not shown. , And may be output to the image processing apparatus 11. Also in this case, it is possible to prioritize and transmit the face of the newly detected person.

また、本実施の形態２では、物体追跡部１０８は、物体検出部１０７により検出されなかった人物の顔のＩＤがデータベース１０９に登録されている場合、すぐにデータベース１０９から、物体検出部１０７により検出されなかった人物の顔のＩＤ及び当該ＩＤに紐付けられた初出時刻を削除している（ステップＳ８）が、物体検出部１０７により所定の期間連続して検出されなかった場合に、当該人物の顔のＩＤ及び当該ＩＤに紐付けられた初出時刻をデータベース１０９から削除するようにしてもよい。これにより、当該の人物が継続して監視対象領域に存在しているにも関わらず、何らかの要因で、短時間、物体検出部１０７により当該の人物の顔が検出されなかった場合でも、当該の人物の顔が新たに検出されたものと誤検出することを防止することが可能となる。 Further, in the second embodiment, when the ID of the face of a person not detected by object detection unit 107 is registered in database 109, object tracking unit 108 immediately starts processing by object detection unit 107 from database 109. If the ID of the face of the person not detected and the first appearance time associated with the ID are deleted (step S8) but the object detection unit 107 does not detect the face continuously for a predetermined period, the person The face ID and the first appearance time associated with the face ID may be deleted from the database 109. Thereby, even if the person is continuously detected in the monitoring target area, the object detection unit 107 does not detect the face of the person for a short time due to some cause. It is possible to prevent a person's face from being erroneously detected as newly detected one.

また、送信部１１０は、ある時刻に撮像された生画像データから切り出された符号化画像について、画像の送信する順に、タイムスタンプを昇順で付与するようにしてもよい。これにより、図示しないネットワークを介する過程で符号化画像の伝送される順が入れ替わったとしても、画像処理装置１１は、ＲＴＰヘッダに含まれるタイムスタンプの値を参照し、タイムスタンプが小さい順で、特定の人物であるか否かを判断する顔認証等の画像処理を行うことが可能となる。 In addition, the transmitting unit 110 may add time stamps in ascending order of transmission order of encoded images cut out from raw image data captured at a certain time. As a result, even if the transmission order of the encoded image is changed in the process through the network (not shown), the image processing apparatus 11 refers to the value of the timestamp included in the RTP header, and in ascending order of timestamps, It is possible to perform image processing such as face authentication to determine whether or not a specific person.

また、本実施の形態２では、物体検出部１０７は、メタデータを画像切出部１０４及び送信部１１０に出力する例について示したが、画像切出部１０４のみに出力し、画像切出部１０４及び符号化部１０５を介して、送信部１１０に、メタデータを出力するように構成してもよい。 In the second embodiment, the object detection unit 107 outputs metadata to the image cutout unit 104 and the transmission unit 110. However, the object detection unit 107 outputs the metadata only to the image cutout unit 104, and the image cutout unit The metadata may be output to the transmitting unit 110 via the 104 and the encoding unit 105.

また、本実施の形態２では、物体検出部と物体追跡部とが互いに独立するものとして構成したが、物体検出部と物体追跡部とをまとめて構成するようにしてもよい。
In the second embodiment, although the object detection unit and the object tracking unit are configured to be independent of each other, the object detection unit and the object tracking unit may be configured together.

１０撮像装置、
１１画像処理装置、
１２Ａ人物、
１２Ｂ人物、
１２Ｃ人物、
１３撮像装置、
１０１集光部、
１０２受光部、
１０３物体検出部、
１０４画像切出部、
１０５符号化部、
１０６送信部、
１０７物体検出部、
１０８物体追跡部、
１０９データベース、
１１０送信部 10 imaging devices,
11 image processing devices,
12A People,
12B People,
12C People,
13 Imaging device,
101 Focusing Unit,
102 light receiver,
103 object detection unit,
104 image cutout unit,
105 encoding unit,
106 transmitter,
107 object detection unit,
108 object tracking unit,
109 databases,
110 transmitter

Claims

An imaging unit that images a monitoring target area and outputs raw image data;
An object detection unit that detects a predetermined object from the raw image data and outputs size information of the detected predetermined object;
An image cutout unit that cuts out an image of a predetermined object detected by the object detection unit from the raw image data;
Based on the size information of an object corresponding to the image output from the object detection unit, the plurality of images cut out by the image extraction unit from the raw image data captured at the same time are transmitted in the order of large size An imaging device comprising: a transmitter unit.

It further comprises an object tracking unit that outputs a first appearance time when a predetermined object detected by the object detection unit is detected for the first time by the object detection unit,
The transmitting unit makes a first appearance of a plurality of images extracted by the image extracting unit from the raw image data captured at the same time, based on the first appearance time of an object corresponding to the image output from the object tracking unit. Priority is given to transmitting images that are late in time and transmission of multiple images with the same initial appearance time in descending order of size
The imaging device according to claim 1.

An imaging unit that images a monitoring target area and outputs raw image data;
An object detection unit that detects a predetermined object from the raw image data;
An object tracking unit that outputs a first appearance time when a predetermined object detected by the object detection unit is detected for the first time by the object detection unit;
An image cutout unit that cuts out an image of a predetermined object detected by the object detection unit from the raw image data;
Based on the first appearance time of an object corresponding to the image output from the object tracking section, the plurality of images cut out by the image extraction section from the raw image data captured at the same time, an image of the later appearance An image pickup apparatus comprising:

The transmitting unit adds time stamps in ascending order to the images, which are cut out by the video cutting unit from the imaging data captured at the same time, in the order of transmitting the images.
The imaging device according to any one of claims 1 to 3.