JP2012209831A - Image data control device - Google Patents
Image data control device Download PDFInfo
- Publication number
- JP2012209831A JP2012209831A JP2011075007A JP2011075007A JP2012209831A JP 2012209831 A JP2012209831 A JP 2012209831A JP 2011075007 A JP2011075007 A JP 2011075007A JP 2011075007 A JP2011075007 A JP 2011075007A JP 2012209831 A JP2012209831 A JP 2012209831A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- transmitted
- image data
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、監視カメラと監視モニタとを接続した監視カメラシステムにおいて、特に、監視モニタ装置へ送信する画像データを制御する画像データ制御装置に関するものである。 The present invention relates to a monitoring camera system in which a monitoring camera and a monitoring monitor are connected, and more particularly to an image data control device that controls image data transmitted to the monitoring monitor device.
近年、様々な場所に設置された多数の監視カメラが、ネットワークで接続された監視モニタに画像データを送信して、監視、モニタリングを行う監視システムに対するニーズは急速に拡大している。しかし、監視システムに利用できるネットワークの帯域は、データを送信する容量が十分に確保できない場合がある。多数の監視カメラが、同時に画像などの比較的データ量が大きいデータを大量に送信すると、ネットワークシステムに大きな負荷がかかる。最悪の場合ではネットワークシステムがダウンし、データ通信が行えなくなる問題が発生する。 In recent years, a need for a monitoring system in which a large number of monitoring cameras installed in various places transmit image data to a monitoring monitor connected via a network to perform monitoring and monitoring is rapidly expanding. However, there are cases where the network bandwidth that can be used for the monitoring system cannot secure a sufficient capacity for transmitting data. If a large number of monitoring cameras transmit a large amount of data such as images at the same time, a large load is imposed on the network system. In the worst case, the network system goes down, causing a problem that data communication cannot be performed.
従来の技術として、監視カメラが、撮像した画像データ全てを送るのではなく、監視対象の物体（例えば人間や移動する物体）を特定し、特定した物体を切り出した一部の画像データのみを送信する技術がある（例えば、特許文献１参照）。前記特許文献１に記載された技術では、監視対象の物体を切り出した一部の画像データのみを送信することで、全体の画像データを送信する場合よりも、相対的に送信するデータ量を減らすことができる。また、前記特許文献１に記載された技術では、監視カメラが、特定した物体の移動量が一定量を越えた時に切り出した画像データを送信することで、更に、送信するデータ量を減らすことができる。
As a conventional technique, the surveillance camera does not send all the captured image data, but identifies the object to be monitored (for example, a human being or a moving object) and transmits only a part of the image data obtained by cutting out the identified object. There is a technique (see, for example, Patent Document 1). In the technique described in
しかしながら、前記特許文献１の技術では、監視対象の物体の移動量が一定量を越えない場合、監視対象の物体の画像データを送信しない。このため、監視モニタに表示される画像は、監視対象の物体の画像が更新されず、監視者は、監視対象の物体の現在位置を正確に把握できなくなる。また、監視者は、監視対象の物体の移動途中の軌跡を詳細に把握することはできない。送信する頻度を高くした場合、相対的には全体画像データのデータ量よりも小さくなるが、画像データを送信することに変わりはなく、送信する画像のデータ量の総量が大きくなってしまう。
However, in the technique of
この課題を解決する従来の技術として、監視カメラにて撮像した画像データを画像解析して、監視対象の物体（例えば人間や移動する物体）を検出し、当該の物体の位置情報のみを送付する技術がある（例えば、特許文献２参照）。前記特許文献２に記載された技術では、映像監視モニタに表示する画像を、システムで複数種類定義して、システムで定義した複数の画像から指定した画像を、監視カメラから送付された位置情報の位置に表示するように監視システム構成する。画像データを送信せずに位置情報を送信するので、画像データを送信する場合よりもデータ量を減らしつつ、監視モニタの監視者は、監視カメラにて撮像する範囲内において、監視対象の物体がどこに位置するのかを把握することができる。
As a conventional technique for solving this problem, image data captured by a monitoring camera is subjected to image analysis, an object to be monitored (for example, a human or a moving object) is detected, and only position information of the object is sent. There is a technique (for example, refer to Patent Document 2). In the technique described in
しかしながら、前記従来の技術では、監視対象の物体の画像データを送信せずに位置情報を送信するので、監視対象の物体がどこに位置するのかを監視モニタに表示することはできるが、現在の画像を表示することができない。このため、監視モニタの監視者は、監視対象の物体がどこに位置するのかは把握できるが、どのような状態（様子）かを把握することができないという課題を有していた。 However, in the prior art, since the position information is transmitted without transmitting the image data of the object to be monitored, it is possible to display on the monitor monitor where the object to be monitored is located. Cannot be displayed. For this reason, the supervisor of the monitoring monitor can grasp where the object to be monitored is located, but has a problem that it cannot grasp what state (state) it is.
本発明は、前記従来の課題を解決するもので、監視カメラから送信するデータ量を削減し、監視対象の物体の位置と状態を把握することを可能とする画像データ制御装置を提供することを目的とする。 The present invention solves the above-described conventional problems, and provides an image data control device that can reduce the amount of data transmitted from a monitoring camera and grasp the position and state of an object to be monitored. Objective.
前記従来の課題を解決するために、本発明の画像データ制御装置は、入力した画像データから物体の検出を行い、前記検出した物体の画像を解析し、前記検出した物体の領域情報を出力する画像解析手段と、前記入力した画像データから、前記画像解析手段が出力した前記領域情報が示す領域の画像を切り出して出力する画像切り出し手段と、前記画像切り出し手段が出力した切り出し画像データを、エンコードして圧縮画像データを生成するエンコード手段と、画像データを識別する画像ＩＤを付与し、画像データと画像ＩＤと画像を対応付ける画像ＩＤ付与手段と、送信した画像データと、前記送信した画像データに付与された画像ＩＤとを送信済み画像確認リストとして蓄積し、送信履歴を管理する送信済み画像確認リスト蓄積手段と、前記画像解析手段が検出した物体の画像に対し、前記画像確認リスト蓄積手段に蓄積されている画像の中で、一番近い画像に分類するためのルールであるカテゴリー化ルールを保持するカテゴリー化ルール保持手段と、前記カテゴリー化ルール保持手段が保持している前記カテゴリー化ルールを用いて、前記画像解析手段が検出した物体の画像に対する分類を行い、一番近いと分類された送信済みの画像が、前記送信済み画像確認リストに蓄積されている場合に、前記画像解析手段が検出した物体の画像データを送信しないと判定する物体画像送信判定手段と、前記物体画像送信判定手段が、前記画像解析手段が検出した物体の画像データを送信しないと判定した場合、送信済み画像確認リストに蓄積されている一番近いと分類された送信済みの画像の画像ＩＤと、前記画像解析手段が検出した物体の領域情報を出力する送信制御手段とを備える。 In order to solve the conventional problem, the image data control apparatus of the present invention detects an object from input image data, analyzes the image of the detected object, and outputs region information of the detected object. Image analysis means, image cutout means for cutting out and outputting an image of the area indicated by the area information output from the image analysis means from the input image data, and encoding the cutout image data output by the image cutout means Encoding means for generating compressed image data, an image ID for identifying the image data, an image ID providing means for associating the image data with the image ID, the transmitted image data, and the transmitted image data A transmitted image confirmation list accumulating unit for accumulating the assigned image ID as a transmitted image confirmation list and managing a transmission history; A categorization rule that holds a categorization rule that is a rule for classifying an image of an object detected by the image analysis unit into the closest image among the images stored in the image confirmation list storage unit Using the categorization rule held by the holding means and the categorization rule holding means, classification is performed on the image of the object detected by the image analysis means, and the transmitted image classified as closest is The object image transmission determination means for determining that the image data of the object detected by the image analysis means is not transmitted when stored in the transmitted image confirmation list, and the object image transmission determination means are the image analysis If it is determined that the image data of the detected object is not transmitted, the transmission classified as the closest stored in the transmitted image confirmation list Comprising Mino image ID of the image, and a transmission control means for said image analysis means outputs region information of the object detected.
本構成によって、画像データ制御装置は、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知することができる。 With this configuration, when the image of the target object is similar in state to the image that has already been transmitted, the image data control device does not transmit the image data and identifies information that identifies the similar transmitted image. By transmitting, the state of the object can be notified.
本発明の画像データ制御装置によれば、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知することができる。これにより、画像データ制御装置を備えた監視カメラは、監視対象の物体の画像データを送信する場合と比べて、送信するデータ量を削減することができる。また、監視モニタは、画像データ制御装置が送信したデータを受け取り、監視対象の物体がどのような状態でどこに位置するかを表示することができる。これにより、監視モニタの監視者は、監視対象の物体の位置と状態を把握することが可能となる。 According to the image data control device of the present invention, when the state of the image of the target object is similar to the already transmitted image, the information for identifying the similar transmitted image without transmitting the image data. Can be notified of the state of the object. Thereby, the monitoring camera provided with the image data control device can reduce the amount of data to be transmitted compared to the case of transmitting image data of the object to be monitored. The monitoring monitor can receive the data transmitted by the image data control device and display in what state and where the object to be monitored is located. As a result, the monitor of the monitoring monitor can grasp the position and state of the object to be monitored.
以下本発明の実施の形態について、図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
（実施の形態１）
図１は、本発明の画像データ制御装置を備えた撮像装置の構成図である。
(Embodiment 1)
FIG. 1 is a configuration diagram of an imaging apparatus including an image data control apparatus according to the present invention.
図１の撮像装置１０１は、ネットワークを介して撮像した画像を送信する監視用デジタルビデオカメラとして構成されている。撮像装置１０１は、ネットワーク９９９９と接続しており、ネットワーク９９９９を介して、映像表示装置２００に画像などのデータを送信する。撮像装置１０１は監視カメラであり、映像表示装置２００は監視モニタとして、監視システムを構成する。また、複数個の撮像装置１０１を備え、映像表示装置２００は、複数個の撮像装置１０１からのデータを受け取り、監視、モニタリングを行うことができる。
The
図１の撮像装置１０１は、撮像部１０２、送信部１０３、画像データ制御装置１００を備えている。
An
撮像部１０２は、光学レンズなどを通して装置内に入力された光学的な画像信号を画像データに変換する。また、撮像部１０２は、アナログ−デジタル変換回路を持ち、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Ｙ、色差成分ＣｂとＣｒで表現するＹＣｂＣｒ形式を用いるようにしてもよいし、ＲＧＢ形式などの形式を用いてもよい。
The
撮像部１０２は、装置内に入力された画像信号を周期的に画像データに変換し、出力する。撮像部１０２は、３０分の１秒ごとに入力された画像信号を画像データに変換し、出力するようにしてもよい。以下、画像信号を画像データに変換する１周期は、撮像周期と記載する。
The
送信部１０３は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置２００にデータを送信する。送信部１０３は、画像データ制御装置１００から通知されたデータを、映像表示装置２００に送信する。
The
送信部１０３は、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。送信部１０３は、これら通信プロトコルに準拠する形式でデータをパケット化し、送信する。
The
送信部１０３は、映像表示装置２００のアドレスを、内部の不揮発性のメモリーに保持しており、このアドレスを用いて、映像表示装置２００との通信を行う。
The
送信部１０３は、ＬＡＮケーブルなどの有線によって、ネットワーク９９９９と接続するように構成してもよいし、無線ＬＡＮを介して、ネットワークに接続するようにしてもよい。
The
画像データ制御装置１００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置１００は、送信すると決定したデータを送信部１０３に通知する。
The image
画像データ制御装置１００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部１５０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部１８０、送信制御部１９０を備えている。
The image
入力部１１０は、撮像部１０２が出力した画像データを受け取り、受け取った画像データを、画像解析部１２０、画像切り出し部１３０、エンコード部１４０に出力する。
The
画像解析部１２０は、入力部１１０が出力した画像データを入力し、画像データ内に写されている１つまたは複数の物体を検出し、検出した物体の画像を解析する。画像解析部１２０で行う物体検出は、フレーム間差分法によって、動く物体（動体）を検出し、検出した動体を認識すべき物体として決定する。
The
なお、画像解析部１２０は、予め人間などの物体がいない状態の背景画像を保持し、背景画像と入力した画像データとを比較して物体を認識する、背景差分法などを用いてもよい。また、画像解析部１２０は、顔検出や人物検出、ペット検出などの他の検出処理を用いてもよい。
Note that the
画像解析部１２０は、入力部１１０から入力した画像データ内の、全ての領域に対して、物体検出を行う。画像解析部１２０は、物体を検出した場合は、検出結果から割り出した物体の領域情報を、物体画像送信判定部１８０に出力する。
The
物体の領域情報は、物体領域の高さ（物体領域高さＦｈ）、幅（物体領域幅Ｆｗ）、水平方向の位置（物体領域水平位置Ｆｘ）、および垂直方向の位置（物体領域垂直位置Ｆｙ）からなる。なお、物体領域水平位置Ｆｘは、例えば、画像データの左端から物体領域の左上端までの、水平方向の距離によって表され、物体領域垂直位置Ｆｙは、例えば、画像データの上端から物体領域の左上端までの、垂直方向の距離によって表される。 The object area information includes the height (object area height Fh), width (object area width Fw), horizontal position (object area horizontal position Fx), and vertical position (object area vertical position Fy). ). The object region horizontal position Fx is represented by, for example, a horizontal distance from the left end of the image data to the upper left end of the object region, and the object region vertical position Fy is, for example, the upper left of the object region from the upper end of the image data. Expressed by the vertical distance to the edge.
画像切り出し部１３０は、物体画像送信判定部１８０から指示を受け取り、入力部１１０から入力した画像データから、指示された領域の画像を切り出す。画像切り出し部１３０は、切り出しを指示された領域の各画素をコピーし、指示されたメモリー領域に記録する。
The
画像切り出し部１３０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成された内部バッファを持つ。この内部バッファは、物体画像送信判定部１８０も参照可能とする。画像切り出し部１３０は、切り出した画像を内部バッファに一時的に保管することで、切り出し画像を複数のモジュールでの処理に利用することができる。
The
エンコード部１４０は、入力部１１０が出力した画像データと、画像切り出し部１３０が出力した切り出し画像を入力し、エンコードして圧縮像データを生成する。エンコード部１４０は、圧縮画像データの形式として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に準拠した圧縮形式等により画像データを圧縮する。
The
送信済み画像確認リスト蓄積部１５０は、送信した画像データと画像ＩＤを、リスト形式で蓄積する。送信済み画像確認リスト蓄積部１５０は、送信した画像データと画像ＩＤを組にした送信済み画像確認リストを保持、管理する。送信済み画像確認リスト蓄積部１５０は、送信制御部１９０から送信済みの圧縮画像データと画像ＩＤの情報を受け取り、送信済み画像確認リストを更新する。
The transmitted image confirmation
送信済み画像確認リスト蓄積部１５０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体に情報を蓄積するようにしてもよい。また、送信済み画像確認リスト蓄積部１５０は、ＤＲＡＭのような揮発性の半導体メモリーによって構成するようにしてもよい。
The transmitted image confirmation
画像ＩＤ付与部１６０は、物体画像送信判定部１８０からの要求を受け取り、画像データを識別する識別子（画像ＩＤ）を付与し、画像ＩＤと画像を対応付ける。
The image
画像ＩＤ付与部１６０は、ＤＲＡＭなどにより構成された内部蓄積機能を持ち、付与済みの最新画像ＩＤを記憶する。画像ＩＤ付与部１６０は、新しい画像ＩＤを付与する際に、記憶している最新画像ＩＤ＋１の値を、新しい画像ＩＤとして付与する。なお、画像ＩＤ付与部１６０は、一つも画像ＩＤの付与を行っていない初期状態では、所定の値を記憶し、付与後の状態と識別できるようにする。
The image
カテゴリー化ルール保持部１７０は、入力部１１０から入力した画像データ内の、物体の画像に対し、類似性を判断する際に使用するルール（カテゴリー化ルール）を保持する。カテゴリー化ルールとは、蓄積済みの画像の中で、一番近い画像に分類するためのルールである。
The categorization
カテゴリー化ルールには、「物体を人間の姿勢認識によって分類し、姿勢が近い画像に同じ画像に分類とする」ことを意味する情報が記載されている。記載方法は、テキスト形式の文字列で表現してもよい。また、記載方法は、予め定義された変数値によって表現してもよい。 The categorization rule describes information meaning that “objects are classified based on human posture recognition and classified into the same image as an image with a similar posture”. The description method may be expressed as a text string. The description method may be expressed by a predefined variable value.
カテゴリー化ルール保持部１７０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体に、カテゴリー化ルールを保持している。
The categorization
物体画像送信判定部１８０は、カテゴリー化ルール保持部１７０からカテゴリー化ルールを取得し、カテゴリー化ルールに従って、画像解析部１２０が検出した物体の画像を分類する。物体画像送信判定部１８０は、分類した結果に基づいて、画像解析部１２０が検出した物体の画像を分類し、物体の画像データを映像表示装置２００に送信するか否かを判定する。
The object image
姿勢認識を実現する方法は、例えば、次の手順で行う。 A method for realizing posture recognition is performed by the following procedure, for example.
カテゴリー化ルール保持部１７０は、認識対象の姿勢毎に、対応するテンプレート画像を、前もって保持している。テンプレート画像とは、例えば、しゃがんでいる、手で引っ張っているなど、人間の姿勢を、それぞれ単純な２値化データとして示し画像である。まず、画像解析部１２０は、人間の画像を検出する。次に、物体画像送信判定部１８０は、画像切り出し部１３０に画像の切り出しを指示し、画像解析部１２０が検出した物体画像を取得する。物体画像送信判定部１８０が、画像の姿勢を特徴化した濃淡画像を抽出し２値化する。次に、物体画像送信判定部１８０が、各テンプレート画像と比較して、最も適合するテンプレート画像を決定し、テンプレート画像が対応する姿勢を認識結果とする。
The categorization
また、姿勢認識を実現する他の方法は、例えば、人間の関節などの部位を抽出し、各関節間の距離によって姿勢を認識する手法を用いてもよい。 As another method for realizing posture recognition, for example, a method of extracting a part such as a human joint and recognizing the posture based on the distance between the joints may be used.
なお、カテゴリー化ルール保持部１７０が、各テンプレート画像を保持しているとしたが、本発明はこれに限定されるものではなく、例えば、物体画像送信判定部１８０が保持してもよい。
Although the categorization
図２は、姿勢テンプレート画像リストの一例を示している。姿勢テンプレート画像リストは、前述したカテゴリー化ルールを示した情報であり、各姿勢とテンプレート画像とを対応付けて、カテゴリー化ルール保持部１７０が保持している。「立つ」、「腰掛ける」などの各姿勢にはテンプレートＩＤが割り振られており、このテンプレートＩＤを使ってテンプレート画像を管理している。そのため、テンプレートＩＤが決めれば、そのＩＤが示す姿勢の意味とテンプレート画像データが一意に特定できる。また、テンプレート画像データは２値化されており、テンプレートマッチングに適した形式に加工されているものとする。
FIG. 2 shows an example of the posture template image list. The posture template image list is information indicating the categorization rule described above, and is held by the categorization
物体画像送信判定部１８０は、カテゴリー化ルール保持部１７０から姿勢テンプレート画像リストを取得し、画像解析部１２０が検出した物体の画像を、姿勢認識に基づいて分類する。すなわち、物体画像送信判定部１８０は、画像解析部１２０が検出した物体の画像とテンプレート画像リストの各テンプレート画像とを比較する。
The object image
なお、物体画像送信判定部１８０は、前述した比較を行うために、画像切り出し部１３０に、画像解析部１２０が検出した物体画像の切り出しを指示する。物体画像送信判定部１８０は、画像切り出し部１３０に対して、画像解析部１２０から受け取った物体の領域情報を指定し、物体の部分の画像を切り出すように指示する。画像切り出し部１３０は、切り出した画像を内部バッファに記録する。物体画像送信判定部１８０は、内部バッファにアクセスし、画像解析部１２０が検出した物体画像を取得する。更に、物体画像送信判定部１８０は、画像切り出し部１３０が切り出した画像を濃淡２値化し、比較に用いる。また、物体画像送信判定部１８０は、比較を行いやすくするために、テンプレート画像の画角にリサイズして、比較してもよい。
The object image
物体画像送信判定部１８０は、前記比較によって、画像解析部１２０が検出した物体画像に一番近いテンプレート画像を決定し、一番近いテンプレート画像のテンプレートＩＤを特定する。
The object image
次に、物体画像送信判定部１８０は、送信済み画像確認リスト蓄積部１５０から送信済み画像確認リストを取得して、分類した姿勢の画像は送信済みか否かを確認する。
Next, the object image
図３は、送信済み画像確認リストの一例を示している。送信済み画像確認リストは、画像ＩＤと送信した圧縮画像データとを対応付けて保持している。更に、送信済み画像確認リストは、テンプレートＩＤを各エントリーにもち、１つのテンプレートＩＤ（姿勢）に対して、一意に画像ＩＤ、及び、送信した画像データが決まるフォーマットとする。また、送信済み画像確認リストに記載の各画像が送信済みか否かを判定するには、各画像のエントリーに画像ＩＤと圧縮画像データにデータ割り与えられているかを調べることによって判定できる。 FIG. 3 shows an example of the transmitted image confirmation list. The transmitted image confirmation list holds the image ID and the transmitted compressed image data in association with each other. Further, the transmitted image confirmation list has a template ID for each entry, and has a format in which an image ID and transmitted image data are uniquely determined for one template ID (posture). Further, whether or not each image described in the transmitted image confirmation list has been transmitted can be determined by checking whether an image ID and compressed image data are assigned to each image entry.
物体画像送信判定部１８０は、送信済み画像確認リストを参照し、一番近いテンプレート画像のテンプレートＩＤに対応する画像を送信済みであるか否かを確認する。
The object image
物体画像送信判定部１８０は、テンプレートＩＤに対応する画像を送信済みであれば物体の画像は送信しないと判定する。一方、物体画像送信判定部１８０は、送信済みでなければ物体の画像を送信すると判定する。
The object image
なお、実施の形態１の姿勢テンプレート画像リストは図２に示す情報を保持しているが、本発明はこれに限定されるものではなく、例えば、テンプレート画像の画格情報を持つようにしてもよい。 Note that the posture template image list of the first embodiment holds the information shown in FIG. 2, but the present invention is not limited to this, and for example, it may have picture information of the template image. Good.
なお、実施の形態１の画像解析部１２０では、人間の姿勢認識の手法を用いて説明するが、例えば、物体の色ヒストグラムによる分類などを行ってもよい。
Note that the
また、実施の形態１においては、物体画像送信判定部１８０が、画像解析部１２０によって検出した物体画像を、画像切り出し部１３０に切り出ように指示する構成である。他の構成として、例えば、画像解析部１２０が、検出した物体画像を画像切り出し部１３０に切り出すように指示するようにしてもよい。
In the first embodiment, the object image
物体画像送信判定部１８０は、物体画像を送信すると判定した場合は、画像ＩＤ付与部１６０より新たな画像ＩＤを取得し、これを送信する画像を識別するＩＤとして使用する。
When the object image
送信制御部１９０は、物体画像送信判定部１８０の判定結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。
The
図４は、送信制御部１９０が出力するデータの一例を示す。図４（ａ）は、画像データを送信する場合を示しており、送信制御部１９０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。図４（ｂ）は、画像データを送信しない場合を示しており、送信制御部１９０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。
FIG. 4 shows an example of data output by the
なお、送信制御部１９０が出力するデータは、例えば、姿勢認識結果である姿勢情報などを含んでもよい。
Note that the data output by the
以上の構成により、画像データ制御装置を備えた撮像装置は、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知する。 With the above configuration, when an image of a target object is similar in state to an image that has already been transmitted, the imaging device including the image data control device transmits similar images without transmitting image data. By transmitting information for identifying an image, the state of the object is notified.
図５は、本発明の実施の形態１における画像データ制御装置１００の、撮像部１０２から画像データを受け取った際の動作を示すフローチャートである。撮像部１０２は、周期的に画像データを画像データ制御装置１００に出力する。そのため、図５の動作は、周期的に繰り替えされる。
FIG. 5 is a flowchart showing an operation when the image
まず、ステップＳ１００において、入力部１１０は、撮像部１０２から出力された画像データを受け取り、画像解析部１２０に出力する。画像解析部１２０は、入力部１１０が出力した画像データを入力し、画像データ内に存在する物体を検出し、物体の領域情報を得る。画像解析部１２０は、検出した物体の領域情報を、物体画像送信判定部１８０に出力する。
First, in step S <b> 100, the
次に、ステップＳ２００において、物体画像送信判定部１８０は、画像送信判定処理を行う。物体画像送信判定部１８０は、ステップＳ１００で検出した物体から、次の処理対象の物体を決定し、この物体の画像を、送信するか否かを判断する。
Next, in step S200, the object image
ステップＳ４００において、送信制御部１９０は、ステップＳ２００で判定した結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。
In step S400, the
ステップＳ５００において、物体画像送信判定部１８０は、ステップＳ１００で検出した全ての物体に対して処理を行っていない場合、ステップＳ２００に遷移する。一方、物体画像送信判定部１８０は、全ての物体に対して処理を行った場合、処理を終了する。つまり、物体画像送信判定部１８０と送信制御部１９０は、画像解析部１２０が検出した物体画像１つごとに、ステップＳ２００とＳ４００の処理を繰り返す。
In step S500, if the object image
図６は、画像送信判定処理（図５のステップＳ２００）の詳細な動作を示すフローチャートである。 FIG. 6 is a flowchart showing a detailed operation of the image transmission determination process (step S200 in FIG. 5).
ステップＳ２１０において、物体画像送信判定部１８０は、カテゴリー化ルール保持部１７０にアクセスし、カテゴリー化ルールを取得する。
In step S210, the object image
ステップＳ２２０において、物体画像送信判定部１８０は、送信済み画像確認リスト蓄積部１５０より、送信済み画像確認リストを取得する。送信済み画像確認リストは、物体画像を送信するか否かの判定に使用する。
In step S <b> 220, the object image
ステップＳ２２５において、物体画像送信判定部１８０は、物体画像の比較に使用する、画像解析部１２０が物体検出した物体画像を取得する。物体画像送信判定部１８０は、画像解析部１２０より入力された物体の位置情報を画像切り出し部１３０に入力し、画像データの物体画像部分を切り出すよう指示する。画像切り出し部１３０は、前記指示を受け取ると、入力部１１０より入力した画像データの物体画像部分を切り出し、内部バッファに記録する。物体画像送信判定部１８０は、画像切り出し部１３０にアクセスし、切り出した物体画像を取得する。
In step S225, the object image
以降のステップＳ２３０からステップＳ２４０までの一連の処理で、各姿勢のテンプレート画像リストに記録されている各画像と、ステップ１００で画像解析部１２０が物体検出した物体画像を比較する。物体画像送信判定部１８０は、テンプレート画像リストの内テンプレートＩＤの番号が若い順に、画像解析部１２０が物体検出した物体画像との比較を行う。
Through a series of processes from step S230 to step S240, each image recorded in the template image list of each posture is compared with the object image detected by the
ステップＳ２３０において、物体画像送信判定部１８０は、テンプレート画像リストに記録されている物体画像のうち、まだ比較に使っていないテンプレートＩＤの中で一番番号の若いＩＤである画像を参照する。
In step S230, the object image
次に、物体画像送信判定部１８０は、ステップＳ２２５にて取得した物体画像とテンプレート画像リストに記録されている画像を比較し、比較した各々の画像がどのくらい近いかを示す一致率を算出する。一致率とは、比較した２つの画像において、画像内の画素毎に排他的論理和の合計を求め、この値によって２つの画像がどれくらい近いかを示す値である。よって、一致率は値が低いほうが近い、値が高いほうが近くないことを意味する。
Next, the object image
ステップＳ２３０では、図７に示す分類候補リストに算出した一致率を格納し、以降の処理にて利用する。 In step S230, the calculated match rate is stored in the classification candidate list shown in FIG. 7, and is used in the subsequent processing.
ステップＳ２４０において、ステップＳ２１０にて取得したテンプレート画像リストに記録されている全ての画像と、物体検出した物体画像との比較が完了したかをチェックする。まだ、比較していない画像が残っている場合は、ステップＳ２３０に遷移し、そうでない場合はステップＳ２５０に遷移する。 In step S240, it is checked whether or not the comparison between all the images recorded in the template image list acquired in step S210 and the detected object image is completed. If there are still uncompared images, the process proceeds to step S230. If not, the process proceeds to step S250.
ステップＳ２５０において、物体画像送信判定部１８０は、分類候補リストを参照し、検出した物体に一番近いテンプレート画像のテンプレートＩＤを得る。
In step S250, the object image
ステップＳ２６０において、物体画像送信判定部１８０は、ステップＳ２５０にて取得したテンプレートＩＤに関連する画像が送信済みか否かを確認する。物体画像送信判定部１８０は、ステップＳ２３０からステップＳ２５０の処理で分類したテンプレート画像のテンプレートＩＤと、同じテンプレートＩＤを持つエントリーを、送信済み画像確認リストから抽出する。送信済み画像確認リストは、ステップＳ２２０にて取得したものである。物体画像送信判定部１８０は、抽出したエントリーを参照し、一番近いテンプレート画像に対応する画像が送信済みか否かを調べる。調べた結果、一番近いテンプレート画像に対応する画像が送信済みではない場合は、ステップＳ２７０に遷移し、送信済みであると判断された場合は、ステップＳ３１０に遷移する。
In step S260, the object image
ステップＳ２７０において、物体画像送信判定部１８０は、判定結果を「新たな画像ＩＤを付与して、画像ＩＤと画像（物体画像）の両方を送信する」として、ステップＳ２８０に遷移する。
In step S270, the object image
ステップＳ２８０において、物体画像送信判定部１８０は、画像ＩＤ付与部１６０にアクセスし、新たな画像ＩＤを取得する。
In step S280, the object image
ステップＳ３００において、物体画像送信判定部１８０は、送信制御部１９０に、取得した新たな画像ＩＤと、一番近いテンプレート画像のテンプレートＩＤと、物体画像の領域情報と、判定結果を出力する。ここで、物体画像送信判定部１８０は、ステップＳ２８０で取得した新たな画像ＩＤと、ステップＳ２５０で得た一番近いテンプレート画像のテンプレートＩＤとを用いる。ステップＳ３００の処理が完了すると、リターンに遷移し、画像送信判定処理が終了する。
In step S300, the object image
一方、ステップＳ２６０にて、物体画像送信判定部１８０はステップＳ２５０で得たテンプレートＩＤに関連する画像がすでに送信済みであると判断した場合、ステップＳ３１０に遷移する。
On the other hand, when the object image
ステップＳ３１０において、物体画像送信判定部１８０は、判定結果を「新たな画像ＩＤは付与せず、一番近い画像の画像ＩＤと領域情報を送信し、画像そのものは送信しない」として、ステップＳ３２０に遷移する。
In step S310, the object image
ステップＳ３２０において、物体画像送信判定部１８０は、ステップＳ２３０からステップＳ２５０で分類した姿勢の、テンプレート画像のテンプレートＩＤと同じテンプレートＩＤを持つエントリーを、送信済み画像確認リストから抽出する。送信済み画像確認リストは、ステップＳ２２０にて取得したものである。物体画像送信判定部１８０は、抽出したエントリーを参照し、一番近いテンプレート画像に対応する画像の画像ＩＤを取得する。
In step S320, the object image
ステップＳ３３０において、物体画像送信判定部１８０は、送信制御部１９０に、ステップＳ３２０で取得した画像ＩＤと、物体画像の領域情報と判定結果を入力する。ステップＳ３３０の処理が完了すると、リターンに遷移し、画像送信判定処理が終了する。
In step S330, the object image
上記のように、物体画像送信判定部１８０は、外部の装置に画像を送信するか否かの判定し、判定結果や、送信する画像ＩＤ、物体画像の領域情報などのデータ送信処理に必要となる情報を送信制御部１９０に入力する。
As described above, the object image
図８は、データ送信処理（図５のステップＳ４００）の詳細な動作を示すフローチャートである。 FIG. 8 is a flowchart showing the detailed operation of the data transmission process (step S400 in FIG. 5).
まず、ステップＳ４１０において、送信制御部１９０は、図５のステップＳ２００での判定結果に応じて、映像表示装置２００に送信するデータを切り替える。判定結果が画像を送付するものである場合は、ステップＳ４２０に遷移し、以降、物体検出した物体画像の画像データを送信する一連の処理を行う。
First, in step S410, the
ステップＳ４２０において、送信制御部１９０は、画像切り出し部１３０に、物体画像送信判定部１８０から受け取った物体画像の領域情報を入力し、入力部１１０から入力した画像データの物体画像部分の切り出しを指示する。画像切り出し部１３０は、切り出画像をエンコード部１４０に出力し、エンコード部１４０は、エンコード処理して圧縮画像データを生成する。
In step S420, the
なお、画像切り出し部１３０がエンコード部１４０に出力する切り出し画像は、上記にように新たに切り出すのではなく、図６のステップＳ２２５において切り出し、内部バッファに記録している画像を使用してもよい。
Note that the clipped image output by the
エンコード部１４０は、画像切り出し部より前記切り出し画像を受け取ると、エンコード処理を行い、圧縮画像データを生成し、送信制御部１９０に出力する。
When receiving the clipped image from the image clipping unit, the
次に、ステップＳ４３０において、送信制御部１９０は、ステップＳ４２０で生成した圧縮画像データと、図５のステップＳ２００で付与した新たな画像ＩＤと、物体画像の領域情報を含むメタデータを生成し、送信部１０３に出力する。
Next, in step S430, the
ステップＳ４４０において、送信制御部１９０は、送信済み画像確認リストの更新を行う。すなわち、送信制御部１９０は、ステップＳ４３０で出力した圧縮画像データと画像ＩＤと、図６のステップＳ２５０で取得した一番近いテンプレート画像のテンプレートＩＤを、送信済み画像確認リスト蓄積部１５０に通知する。送信済み画像確認リスト蓄積部１５０は、受け取ったテンプレートＩＤのエントリーに画像ＩＤと圧縮画像データを追加する。これにより、最初は当該のテンプレートＩＤに対応する画像ＩＤと画像データが抜けている状態だったエントリーに、画像ＩＤと圧縮画像データが追加される。
In step S440, the
ステップＳ４４０が終了すると、データ送信処理を終了し、ステップＳ５００に遷移する。 When step S440 ends, the data transmission process ends, and the process proceeds to step S500.
一方、ステップＳ４１０において、図５のステップＳ２００での判定結果が画像を送付しないである場合は、ステップＳ４５０に遷移する。 On the other hand, in step S410, if the determination result in step S200 of FIG. 5 is that the image is not sent, the process proceeds to step S450.
ステップＳ４５０において、送信制御部１９０は、図５のステップＳ２００で取得した一番近いと分類された、送信済みの画像の画像ＩＤと、物体画像の領域情報を含むメタデータを生成し、送信部１０３に出力する。
In step S450, the
ステップＳ４５０が終了すると、リターンに遷移し、データ送信処理が終了する。 When step S450 ends, the process transits to return, and the data transmission process ends.
以上により、送信制御部１９０は、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知する。
As described above, when the image of the target object is similar in state to the already transmitted image, the
物体画像送信判定部１８０が「新たな画像ＩＤを付与して、画像ＩＤと画像の両方を送信する」と判定した場合、送信制御部１９０は、圧縮画像データと、画像ＩＤと、物体画像の領域情報を、送信データとして出力する。
When the object image
物体画像送信判定部１８０が「送信済み画像の中で一番近い画像の画像ＩＤと領域情報を送信し、新たな画像は送信しない」と判定した場合、送信制御部１９０は、送信済み画像の画像ＩＤと物体画像の領域情報を、送信データとして出力する。
When the object image
実施の形態１の画像データ制御装置１００を備えた撮像装置１０１は、送信履歴にない人物を物体検出により検出した時に、検出した物体画像を送信するのみで、物体画像を表示するベースとなる背景画像については送信しない。
The
撮像装置１０１の電源が投入された直後に、画像データ制御装置１００は、撮像部１０２から画像データを受け取る。画像データ制御装置１００のエンコード部１４０は、受け取った画像データをエンコードして、圧縮画像データを生成し、送信制御部１９０に出力する。送信制御部１９０は、圧縮画像データを、背景データとして、送信部１０３を介して、映像表示装置２００に送信する。
Immediately after the
送信した圧縮画像データは、撮像装置１０１の起動直後に、撮像部１０２が撮像した全体の画像データをエンコードしたものであり、受信側の映像表示装置２００は、この画像を背景画像として表示する。
The transmitted compressed image data is obtained by encoding the entire image data picked up by the
なお、実施の形態１において、背景画像は、撮像装置１０１の起動を行う処理において送信するように説明するが、この限りではなく、例えば、定期的に送ってもよい。
In the first embodiment, it is described that the background image is transmitted in the process of starting the
次に、撮像装置１０１が送信したデータを受信し、受信したデータを基に画像を表示する映像表示装置２００について説明する。
Next, a
図９は、映像表示装置２００の構成を示した図である。
FIG. 9 is a diagram illustrating a configuration of the
映像表示装置２００は、受信した画像を表示する装置として構成されており、受信部２１０、画像蓄積部２２０、デコード部２３０、リサイズ部２４０、合成部２５０、及び、表示部２６０を備えている。
The
受信部２１０は、ネットワークに接続されており、ネットワークを介して外部装置からデータを受信する。受信部２１０は、ＬＡＮケーブルによって、ネットワークと接続している。また、受信部２１０は、無線ＬＡＮを介して、ネットワークに接続するようにしてもよい。受信部２１０は、受信したデータ（画像）を、画像蓄積部２２０へ通知する。また、受信部２１０は、受信した画像ＩＤを用いて、画像蓄積部２２０に記録された画像の中から、対応する画像を取得する。また、受信部２１０は、背景画像を表示した時刻から一定時間が経過したか否かを判断し、表示のリセットを制御する。
The receiving
画像蓄積部２２０は、受信部２１０が受信した画像を蓄積する。画像蓄積部２２０は、図３に一例を示した通り、受信した画像データと画像ＩＤとを対応付けて保持している。画像蓄積部２２０は、圧縮画像データと画像ＩＤを入力されると自身が管理するデータに追加する。
The
画像蓄積部２２０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体、ＤＲＡＭなどの揮発性の半導体メモリーにより構成する。
The
デコード部２３０は、受信部２１０が受信した圧縮画像データをデコードし、画像データを生成する。撮像装置１０１は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に準拠した圧縮形式等により画像データを圧縮して、送信する。デコード部２３０は、これら圧縮形式に対応して、デコードする。
The
リサイズ部２４０は、入力した画像を所定の大きさにリサイズして出力する。リサイズ部２４０は、デコード部２３０から画像データを受け取り、受信部２１０から領域情報を受け取る。リサイズ部２４０は、受け取った画像データを、領域情報が示すサイズに変更する。
The resizing
合成部２５０は、デコード部２３０から出力された画像データと、リサイズ部２４０から出力された画像データの内、１つないし複数を合成して出力する。合成部２５０は、デコード部２３０から画像データを受け取り、リサイズ部２４０から画像データと領域情報を受け取る。合成部２５０は、受け取った複数の画像データを合成して出力する。なお、起動力後など、映像表示装置２００が背景画像のみ受信済みの場合、合成部２５０は、合成することなく、デコード部２３０から受け取った画像データをそのまま表示部に出力する。
The combining
表示部２６０は、液晶パネルや有機ＥＬパネルといったデバイスにより構成され、合成部２５０から出力された画像データを表示する。
The
次に、映像表示装置２００が、撮像装置１０１から送信された画像を受信し、表示する処理を説明する。
Next, a process in which the
図１０は、映像表示装置２００が受信した背景画像を表示する動作の一例を示したフローチャートである。
FIG. 10 is a flowchart illustrating an example of an operation for displaying the background image received by the
ステップＳ７００において、受信部２１０は、撮像装置１０１が送信した背景画像を受信する。受信部２１０は、受信した画像をデコード部２３０に通知する。
In step S700, the
次に、ステップＳ７１０において、デコード部２３０は、受信部２１０から通知された圧縮画像データをデコードして、画像データを生成する。デコード部２３０は、生成した画像データを、合成部２５０に通知する。合成部２５０は、合成処理を行わずに、デコード部２３０から受け取った画像データをそのまま表示部２６０に出力する。これにより、背景画像は表示部２６０に表示される。
Next, in step S710, the
ステップＳ７２０において、受信部２１０は、受信した画像を、背景画像として画像蓄積部２２０に保存する。この保存した画像データは表示部２６０の表示をリセットするために使用される。
In step S720, the
図１１は、映像表示装置２００が受信した物体画像を表示する動作の一例を示したフローチャートである。映像表示装置２００は、図１０で説明した背景画像に、新たに受信した物体画像を合成して、表示する。
FIG. 11 is a flowchart showing an example of an operation for displaying the object image received by the
ステップＳ８００において、受信部２１０は、撮像装置１０１が送信したデータを受信する。
In step S800, the
ステップＳ８１０において、受信部２１０は、背景画像を表示した時刻から一定時間が経過したか否かを判断する。一定時間が経過済みの場合、受信部２１０は、表示をリセットすると決定する。
In step S810, the receiving
リセットせずに物体画像を背景画像に合成するだけだと、表示部２６０に表示される画面内に同じ物体画像が多数表示され、その物体画像の位置が最新の位置なのかがわからなくなる。これでは、撮像装置１０１が撮像している範囲ないにおいて、どこに（全体画像のどこに）人間が位置するか、を把握することができなくなり、監視するという要求を満たせなくなる。
If the object image is simply combined with the background image without resetting, many of the same object images are displayed on the screen displayed on the
映像表示装置２００は、カメラが撮像する周期と同じ周期でリセット処理を行う。画像データの撮像されたタイムスタンプを利用し、受信した物体画像のタイムスタンプが、前回リセットしたタイムスタンプと１撮像周期分の和と等しい、もしくは、大きい場合はリセットする。
The
前回リセットしたタイムスタンプは、例えば、受信部２１０が内蔵するメモリー（図示しない）、または、画像蓄積部２２０に記録する。
The previously reset time stamp is recorded in, for example, a memory (not shown) built in the receiving
ステップＳ８１０にて、受信部２１０が表示をリセットすると判定した場合、ステップＳ８２０に遷移する。一方、ステップＳ８１０にて、受信部２１０が表示をリセットしないと判定した場合、ステップＳ８５０に遷移する。
In step S810, when the receiving
ステップＳ８２０において、映像表示装置２００は、物体表示処理を行い、受信した物体画像データを表示する。詳細は図１２を用いて、後で説明する。
In step S820, the
ステップＳ８３０において、受信したデータには圧縮画像データが含まれて場合は、ステップＳ８４０に遷移する。一方、受信したデータに圧縮画像データが含まれていない場合は、処理を終了する。 In step S830, if the received data includes compressed image data, the process proceeds to step S840. On the other hand, if the received data does not include compressed image data, the process ends.
ステップＳ８４０において、受信部２１０は、圧縮画像データと受信した画像ＩＤを画像蓄積部２２０へ通知する。画像蓄積部２２０は、受信部２１０から通知された圧縮画像データと画像ＩＤを、管理しているデータに追加し、更新する。
In step S840, the
ステップＳ８５０において、受信部２１０は、画像蓄積部２２０から背景画像の圧縮画像データを取得する。受信部２１０は、取得した圧縮画像データをデコード部２３０に通知する。
In step S850, the
ステップＳ８６０において、デコード部２３０は、受信部２１０から通知された圧縮画像データをデコードして、画像データを生成する。デコード部２３０は、生成した画像データを、合成部２５０に通知する。合成部２５０は、合成処理を行わずに、デコード部２３０から受け取った画像データをそのまま表示部２６０に出力する。これにより、表示部２６０の表示がリセットされる。この後、ステップ８２０に遷移し、映像表示装置２００は、物体描画処理を行う。
In step S860, the
図１２は、物体表示処理（図１１のＳ８２０）の詳細な動作を示すフローチャートである。 FIG. 12 is a flowchart showing the detailed operation of the object display process (S820 in FIG. 11).
ステップＳ９００において、受信部２１０は、受信したデータに物体の画像データが含まれているか否かにより処理を分岐する。受信したデータに物体画像データが含まれている場合、ステップＳ９１０に遷移し、新たに受信した物体画像を表示する処理を行う。一方、受信したデータに物体画像データが含まれていない場合、ステップＳ９２０に遷移し、画像蓄積部２２０が保持する画像を表示する処理を行う。
In step S900, the
ステップＳ９１０において、受信部２１０は、受信した物体画像の圧縮画像データを、デコード部２３０に通知する。デコード部２３０は、通知された圧縮画像データをデコードして、画像データを生成する。デコード部２３０は、生成した画像データをリサイズ部２４０に出力する。また、受信部２１０は、受信した物体画像の領域情報を、リサイズ部２４０に出力する。
In step S910, the
一方、ステップＳ９２０において、受信部２１０は、画像蓄積部２２０に記録された画像の中から、受信した画像ＩＤと同じ画像ＩＤを持つ画像を検索する。
On the other hand, in step S920, the receiving
ステップＳ９３０において、受信部２１０は、同じ画像ＩＤを持つ画像が画像蓄積部２２０にない場合、処理を終了する。一方、受信部２１０は、同じ画像ＩＤを持つ画像が画像蓄積部２２０に存在する場合、ステップＳ９４０に遷移する。
In step S930, if there is no image having the same image ID in the
ステップＳ９４０において、受信部２１０は、受信した画像ＩＤと同じＩＤを持つ画像を、画像蓄積部２２０から取得する。受信部２１０は、取得した圧縮画像データをデコード部２３０に通知する。デコード部２３０は、受信部２１０から通知された圧縮画像データをデコードして、画像データを生成する。デコード部２３０は、生成した画像データを、リサイズ部２４０に出力する。また、受信部２１０は、受信した物体画像の領域情報を、リサイズ部２４０に出力する。
In step S940, the
ステップＳ９５０において、リサイズ部２４０は、入力された画像データを、入力された領域情報のサイズにリサイズする。これにより、物体画像を領域情報に記載されたサイズに調整することができる。例えば、画像蓄積部２２０から取得した物体画像のサイズが、受信部２１０から受け取った領域情報のサイズと違う場合でも、受信部２１０から受け取った領域情報のサイズに合わせた画像データを、生成することができる。リサイズ部２４０は、リサイズした後の画像データと領域情報を、合成部２５０に出力する。
In step S950, the resizing
ステップＳ９６０において、合成部２５０は、リサイズした後の画像と、合成部２５０が保持する内部バッファに記録している画像とを、合成する。合成部２５０は、内部バッファに、現時点で、表示部２６０で表示している画像を保持している。これにより、受信部２１０が、受信した複数の画像を追記的に合成することができる。撮像装置１０１の１撮像周期の間に、撮像装置１０１から受信した物体画像全てを合成した画像を作ることができる。
In step S <b> 960, the combining
合成部２５０は、内部バッファに記録している画像上の位置であって、受け取った領域情報に記載に位置に、リサイズした後の物体画像を重ねて配置し、この二つの画像を合成する。
The synthesizing
ステップＳ９７０において、合成部２５０は前記ステップ９６０で合成した画像を表示部２６０に出力する。これにより、表示部２６０は背景画像に、物体画像を合成した画像を表示する。
In step S <b> 970, the
ステップＳ９７０が終了すると、リターンに遷移し、物体描画処理を終了する。 When step S970 ends, the process proceeds to return, and the object drawing process ends.
以上の構成により、映像表示装置は、受信したデータに対象の物体の画像データが含まれない場合でも、類似している過去に受信済みの物体画像を用いて、監視対象の物体がどのような状態でどこに位置するかを表示することができる。 With the above configuration, the video display device uses a similar object image that has been received in the past to determine what kind of object to be monitored, even if the received data does not include image data of the target object. It is possible to display where it is located in the state.
（ユースケースによる説明）
撮像装置１０１と映像表示装置２００がどのように動作するかを、具体的なユースケースを交えて、説明する。
(Description by use case)
How the
図１３は、撮像装置１０１が、撮像した画像の一例を示している。
FIG. 13 illustrates an example of an image captured by the
図１３（ａ）は、時刻ｔにおいて、人物Ａが撮像装置１０１の撮像範囲内に入ってきたときに撮像した画像を表したものである。
FIG. 13A shows an image captured when the person A enters the imaging range of the
図１３（ａ）の場合に、撮像装置１０１が、データを送信する処理について、具体的に説明する。
In the case of FIG. 13A, a process in which the
図５のステップＳ１００において、撮像装置１０１の画像解析部１２０は、人物Ａを物体として検出し、その物体の領域情報を、物体画像送信判定部１８０に出力する。
In step S <b> 100 of FIG. 5, the
図６のステップＳ２１０において、物体画像送信判定部１８０は、カテゴリー化ルール保持部１７０からカテゴリー化ルールと図２で一例を示したテンプレート画像リストを取得する。
In step S210 of FIG. 6, the object image
ステップＳ２２０において、物体画像送信判定部１８０は、送信済み画像確認リストを取得する。ここでは、図１４に示した送信済み画像確認リストを取得したものとして、説明する。
In step S220, the object image
ステップＳ２５０において、物体画像送信判定部１８０は、物体画像とテンプレート画像の比較処理の結果、一番近いと判断されたテンプレート画像のテンプレートＩＤを特定する。物体画像送信判定部１８０は、図１３（ａ）の人物Ａの物体画像は、テンプレートＩＤ＝０に一番近いと分類する。
In step S250, the object image
図１４の送信済み画像確認リストは、テンプレートＩＤ＝０に相当する画像データは、保持していない。そのため、ステップＳ２６０において、物体画像送信判定部１８０は、送信済みではないと判断し、ステップＳ２７０に遷移する。判定結果は「新たな画像ＩＤを付与して、画像ＩＤと画像（物体画像）の両方を送信する」となる。
The transmitted image confirmation list in FIG. 14 does not hold image data corresponding to template ID = 0. Therefore, in step S260, the object image
ステップＳ２８０において、物体画像送信判定部１８０は、画像ＩＤ付与部１６０より新しい画像ＩＤの付与を受ける。図１４の送信済み画像確認リストでは、付与済み最終画像は画像ＩＤ＝２である。画像ＩＤ付与部１６０は、新たな画像ＩＤ（ＩＤ＝３）を付与する。
In step S280, the object image
ステップＳ３００において、物体画像送信判定部１８０は、送信制御部１９０に、新たな画像ＩＤ（ＩＤ＝３）と、一番近いテンプレート画像のテンプレートＩＤと、人物Ａの物体の領域情報と、判定結果を出力する。
In step S300, the object image
図８のステップＳ４１０において、送信制御部１９０は、判定結果が「新たな画像ＩＤを付与して、画像ＩＤと画像（物体画像）の両方を送信する」なので、ステップＳ４２０に遷移する。
In step S410 of FIG. 8, the
ステップＳ４２０において、送信制御部１９０が指示することで、物体画像の圧縮画像データを生成する。ステップＳ４３０において、送信制御部１９０は、生成した物体の画像圧縮データと、新たに付与した画像ＩＤ（ＩＤ＝３）と、物体の領域情報を、送信部１０３に出力し、映像表示装置２００に送信する。
In step S420, the
ステップＳ４４０において、送信制御部１９０は、一番近いテンプレート画像のテンプレートＩＤと、送信した画像ＩＤと圧縮画像データを、送信済み画像確認リスト蓄積部１５０に入力する。送信済み画像確認リスト蓄積部１５０は、送信済み画像確認リストを更新する。その結果、送信済み画像確認リストは、図１４から図１５に更新される。
In step S440, the
図１３（ａ）では、撮像した画像内に存在する物体画像が１つだけであるので、ステップ図５のＳ５００において、検出した画像はすべて処理を行ったことになるので、処理が終了する。 In FIG. 13A, since there is only one object image in the captured image, all the detected images have been processed in step S500 of FIG. 5, so the processing ends.
次に、図１３（ａ）の場合に、映像表示装置２００が、データを受信し、画像を表示する処理について、具体的に説明する。また、画像蓄積部２２０が蓄積する画像データは、図１４と同様とする。
Next, in the case of FIG. 13A, a process in which the
映像表示装置２００の受信部２１０は、図１１のステップＳ８００において、データを受信する。
The receiving
受信したデータは、物体の画像圧縮データであり、１撮像周期において最初に撮像された画像である。従って、表示部２６０に表示している画像をリセットする必要がある。ステップＳ８１０において、例えば、物体の画像圧縮データのタイムスタンプと前回表示した画像のタイムスタンプを比較して、１撮像周期分の差分があることを検知し、ステップＳ８５０に遷移する。
The received data is the compressed image data of the object, and is the first image captured in one imaging cycle. Therefore, it is necessary to reset the image displayed on the
受信部２１０は、ステップＳ８５０で、画像蓄積部２２０から背景画像の圧縮画像データを取得し、ステップＳ８６０で、表示部２６０の表示をリセットする。
In step S850, the
次に、ステップＳ８２０に遷移し、映像表示装置２００は、物体の画像を描画する。
Next, the process proceeds to step S820, and the
図１２のステップＳ９００において、受信部２１０が受信したデータには物体の圧縮画像データが含まれているので、ステップＳ９１０に遷移する。ステップＳ９１０において、デコード部２３０が、物体の圧縮画像データをデコードして、画像データを生成する。
In step S900 of FIG. 12, since the data received by the receiving
ステップＳ９５０に遷移して、画像データが物体の領域情報の大きさとなるようにリサイズする。 In step S950, the image data is resized so as to have the size of the object region information.
ステップＳ９６０において、合成部２５０は、リサイズした後の物体画像と、背景画像を合成する。合成部２５０は、リサイズ後の物体画像が、受信した物体の領域情報が示す位置となるように合成する。
In step S960, the
ステップＳ９７０において、合成部２５０は、ステップＳ９６０で合成した画像を表示部２６０に出力する。図１６（ａ）は、表示部２６０が表示する時刻ｔの画像を示している。
In step S970, the
図１１のステップＳ８３０において、受信したデータには物体の圧縮画像データが含まれているので、ステップＳ８４０に遷移し、物体の圧縮画像データと画像ＩＤ（ＩＤ＝３）を画像蓄積部２２０に入力する。画像蓄積部２２０は、蓄積データを、図１３と同様のデータから、図１５と同様のデータに更新する。
In step S830 of FIG. 11, since the received data includes compressed image data of the object, the process proceeds to step S840, and the compressed image data of the object and the image ID (ID = 3) are input to the
以上により、映像表示装置２００は、対象の物体（人間）の画像を表示することができ、監視対象の物体がどのような状態でどこに位置するかを把握することができる。
As described above, the
図１３（ｂ）は、時刻ｔ＋１において、撮像装置１０１が撮像した画像を表したものである。時刻ｔの画像と比べて、人物Ａの位置が変化している。
FIG. 13B shows an image captured by the
図１３（ｂ）の場合に、撮像装置１０１が、データを送信する処理について、具体的に説明する。
In the case of FIG. 13B, a process in which the
図５のステップＳ１００において、撮像装置１０１の画像解析部１２０は、人物Ａを物体として検出し、その物体の領域情報を、物体画像送信判定部１８０に出力する。
In step S <b> 100 of FIG. 5, the
図６のステップＳ２２０において、物体画像送信判定部１８０は、図１５に示した送信済み画像確認リストを取得する。
In step S220 of FIG. 6, the object image
ステップＳ２５０において、物体画像送信判定部１８０は、物体画像とテンプレート画像の比較処理の結果、一番近いと判断されたテンプレート画像のテンプレートＩＤを特定する。物体画像送信判定部１８０は、図１３（ｂ）の人物Ａの物体画像は、テンプレートＩＤ＝０に一番近いと分類する。
In step S250, the object image
図１５の送信済み画像確認リストは、テンプレートＩＤ＝０に相当する物体画像を保持している。そのため、ステップＳ２６０において、物体画像送信判定部１８０は、送信済みと判断し、ステップＳ３１０に遷移する。判定結果は「新たな画像ＩＤを付与せず、過去に送信した画像の中で一番近い画像の画像ＩＤと領域情報を送信し、画像そのものは送信しない」となる。
The transmitted image confirmation list in FIG. 15 holds an object image corresponding to template ID = 0. Therefore, in step S260, the object image
ステップＳ３２０において、物体画像送信判定部１８０は、図１５の送信済み画像確認リストを参照して、テンプレートＩＤ＝０に対応する画像ＩＤ（ＩＤ＝３）を取得する。
In step S320, the object image
ステップＳ３３０において、物体画像送信判定部１８０は、送信制御部１９０に、新たな画像ＩＤ（ＩＤ＝３）と物体の領域情報と判定結果に出力する。
In step S330, the object image
図８のステップＳ４１０において、送信制御部１９０は、判定結果が「新たな画像ＩＤは付与せず一番近い画像の画像ＩＤと、領域情報を送付する」なので、ステップＳ４５０に遷移する。
In step S410 of FIG. 8, the
ステップＳ４５０において、送信制御部１９０は、図５のステップＳ２００で取得した一番近いと分類された、送信済みの画像の画像ＩＤ（ＩＤ＝３）と物体の領域情報を、送信部１０３に出力し、映像表示装置２００に送信する。
In step S450, the
図１３（ｂ）では、撮像した画像内に存在する物体画像が１つだけであるので、ステップ図５のＳ５００において、検出した画像はすべて処理を行ったことになるので、処理が終了する。他の人間が撮像されている場合は、再度画像送信判定処理を行う。 In FIG. 13B, since there is only one object image in the captured image, all the detected images have been processed in step S500 of FIG. 5, so the processing ends. When another person is picked up, the image transmission determination process is performed again.
次に、図１３（ｂ）の場合に、映像表示装置２００が、データを受信し、画像を表示する処理について、具体的に説明する。また、画像蓄積部２２０が蓄積する画像データは図１５と同様とする。
Next, the process in which the
映像表示装置２００の受信部２１０は、図１１のステップＳ８００において、データを受信する。
The receiving
ステップＳ８１０において、受信部２１０は、受信したデータの時刻はｔ＋１であり、前回の時刻ｔの場合から１撮像周期分の時間が経過していると判定し、ステップＳ８５０に遷移する。
In step S810, the
受信部２１０は、ステップＳ８５０で、画像蓄積部２２０から背景画像の圧縮画像データを取得し、ステップＳ８６０で、表示部２６０の表示をリセットする。
In step S850, the
次に、ステップＳ８２０に遷移し、映像表示装置２００は、物体の画像を描画する。
Next, the process proceeds to step S820, and the
図１２のステップＳ９００において、受信部２１０が受信したデータには圧縮画像データが含まれていないので、ステップＳ９２０に遷移する。ステップＳ９２０において、受信部２１０は、画像蓄積部２２０にアクセスし、画像ＩＤ（ＩＤ＝３）の画像圧縮データを検索する。画像蓄積部２２０に蓄積されているデータは、図１５であるので、画像ＩＤ＝３のエントリーが存在しており、ステップＳ９３０の分岐で、ステップＳ９４０に遷移する。
In step S900 of FIG. 12, since the compressed image data is not included in the data received by the receiving
ステップＳ９４０において、受信部２１０は、送信済み画像確認リスト蓄積部１５０から画像ＩＤ（ＩＤ＝３）の画像を取得し、デコード部２３０が、デコードして、画像データを生成する。
In step S940, the
ステップＳ９５０に遷移して、画像データが物体の領域情報の大きさとなるようにリサイズする。 In step S950, the image data is resized so as to have the size of the object region information.
ステップＳ９６０おいて、合成部２５０は、リサイズした後の物体画像と、背景画像を合成する。合成部２５０は、リサイズ後の物体画像が、受信した物体の領域情報が示す位置となるように合成する。
In step S960, the
ステップＳ９７０において、合成部２５０は、ステップＳ９６０で合成した画像を表示部２６０に出力する。図１６（ｂ）は、表示部２６０が表示する時刻ｔ＋１の画像を示している。
In step S970, the
図１３（ｃ）は、時刻ｔ＋２において、撮像装置１０１が撮像した画像を表したものである。時刻ｔ＋１の画像と比べて、人物Ａの位置と、姿勢が少しだけ変化している。
FIG. 13C illustrates an image captured by the
図１３（ｃ）の場合に、撮像装置１０１が、データを送信する処理について、具体的に説明する。
In the case of FIG. 13C, a process in which the
時刻ｔ＋１の場合と同様に、図５のステップＳ１００において、撮像装置１０１の画像解析部１２０は、人物Ａを物体として検出し、その物体の領域情報を、物体画像送信判定部１８０に出力する。
As in the case of
図６のステップＳ２２０において、物体画像送信判定部１８０は、図１５に示した送信済み画像確認リストを取得する。
In step S220 of FIG. 6, the object image
ステップＳ２５０において、物体画像送信判定部１８０は、物体画像とテンプレート画像の比較処理の結果、一番近いと判断されたテンプレート画像のテンプレートＩＤを特定する。物体画像送信判定部１８０は、図１３（ｃ）の人物Ａの物体画像は、テンプレートＩＤ＝０に一番近いと分類する。
In step S250, the object image
図１５の送信済み画像確認リストは、テンプレートＩＤ＝０に相当する物体画像を保持している。そのため、ステップＳ２６０において、物体画像送信判定部１８０は、送信済みと判断し、ステップＳ３１０に遷移する。判定結果は「新たな画像ＩＤを付与せず、過去に送信した画像の中で一番近い画像の画像ＩＤと領域情報を送信し、画像そのものは送信しない」となる。
The transmitted image confirmation list in FIG. 15 holds an object image corresponding to template ID = 0. Therefore, in step S260, the object image
ステップＳ３２０処理において、物体画像送信判定部１８０は、図１５の送信済み画像確認リストを参照して、テンプレートＩＤ＝０に対応する画像ＩＤ（ＩＤ＝３）を取得する。
In step S320, the object image
ステップＳ３３０において、物体画像送信判定部１８０は、送信制御部１９０に、新たな画像ＩＤ（ＩＤ＝３）と物体の領域情報と判定結果に出力する。
In step S330, the object image
図８のステップＳ４１０において、送信制御部１９０は、判定結果が「新たな画像ＩＤは付与せず一番近い画像の画像ＩＤと、領域情報を送付する」なので、ステップＳ４５０に遷移する。
In step S410 of FIG. 8, the
ステップＳ４５０において、送信制御部１９０は、図５のステップ２００で取得した一番近いと分類された、送信済みの画像の画像ＩＤ（ＩＤ＝３）と物体の領域情報を、送信部１０３に出力し、映像表示装置２００に送信する。
In step S450, the
以下の動作は、時刻ｔ＋１の場合と同様となる。
The following operation is the same as that at
映像表示装置２００は、時刻ｔ＋１の場合と同様に処理を行い、物体の画像と背景画像を合成し、合成した画像を表示する。図１６（ｃ）は、表示部２６０が表示する時刻ｔ＋１の画像を示している。
The
以上により、映像表示装置２００は、対象の物体（人間）の画像を表示することができ、監視対象の物体がどのような状態でどこに位置するかを把握することができる。
As described above, the
図１６（ｃ）に示した時刻ｔ＋２の画像は、撮像装置１０１が撮像した画像を示した図１３（ｃ）とは、物体Ａの姿勢が少し異なっている。同じ画像を映像表示装置２００は表示することはできないが、近い画像を表示することができる。よって、撮像装置１０１が撮像した範囲内において、どこに人間がいて、その人間がどのような姿勢にあるのかを把握することができる。
The image at time t + 2 illustrated in FIG. 16C is slightly different from the posture of the object A from FIG. 13C illustrating the image captured by the
図１３では、時刻ｔ＋１と時刻ｔ＋２において、撮像装置１０１は、同じ物体を、同じような姿勢で連続して撮像しており、過去に送信済みの画像の画像ＩＤと領域情報を送信する。撮像装置１０１は、新しく物体の圧縮画像データを、送信しない。
In FIG. 13, at time t + 1 and
例えば、時刻ｔ＋２から時刻ｔ＋ｋにおいて、撮像装置１０１は、同じ物体を、同じような姿勢で連続して撮像した場合でも、同様に、撮像装置１０１は、過去に送信済みの画像の画像ＩＤと領域情報を送信する。撮像装置１０１は、新しく物体の圧縮画像データを、送信しない。
For example, from the time t + 2 to the time t + k, even when the
以上により、画像データ制御装置を備えた撮像装置は、送信するデータ量を減らすことができる。 As described above, the imaging device including the image data control device can reduce the amount of data to be transmitted.
また、対象の物体が、撮像装置１０１の撮像範囲からフレームアウトしたとしても、同様の処理が可能である。つまり、撮像装置１０１の送信済み画像確認リスト蓄積部１５０が、物体の画像を蓄積している限り、撮像装置１０１は、過去に送信済みの画像の画像ＩＤを用いて、送信するデータ量を削減することが可能となる。
Even if the target object is out of frame from the imaging range of the
映像表示装置２００は、過去に送付済みの画像ＩＤが送付された場合、対応する送付済みの画像と背景画像とを合成して、表示することができる。これにより、撮像装置１０１が撮像している範囲内において、対象の物体がどの位置にどのような姿勢で位置するかを把握することができる。例えば、ＡＴＭなどの防犯上、厳しい監視が必要な場所において、不審者がＡＴＭの近くを徘徊していないか、ＡＴＭ近くに長時間居座っている人物はいないかを把握することが可能となる。
When the image ID that has been sent in the past is sent, the
また、対象者の姿勢を時系列で見ることができ、撮像されている対象者の行動を類推し、異常な行動をしていないかを判断する材料とすることができる。 In addition, the posture of the subject can be seen in time series, and the behavior of the subject being imaged can be inferred and used as a material for determining whether or not the subject is performing an abnormal behavior.
さらに、映像表示装置２００は、撮像装置１０１が実際に撮像した画像を受信して表示するので、予め複数の画像を用意する必要はない。
Furthermore, since the
なお、物体画像送信判定部１８０が行う処理であって、画像解析部１２０が検出した物体を姿勢認識する方法として、認識したい姿勢毎にテンプレート画像をテンプレート画像リストとして予め用意している例を説明した。
An example of processing performed by the object image
他の方法として、例えば、物体画像送信判定部１８０は、送信済み画像確認リストに蓄積されている画像を、姿勢認識に利用してもよい。
As another method, for example, the object image
物体画像送信判定部１８０は、画像解析部１２０が検出した物体の画像と、送信済み画像確認リストに記載されている各画像データとを比較して、送信済み画像確認リスト内の画像で一番近い画像に、新しい物体の画像を分類する。テンプレート画像リストは予め用意せずに、送信済み画像確認リストの画像が姿勢認識で使用するテンプレート画像の役割を兼ねる。
The object image
物体画像送信判定部１８０は、送信済み画像確認リストに、対応する画像データがない場合、新たに画像ＩＤを付与して画像データを送信する。また、物体画像送信判定部１８０は、一致率を用いて、一致率がある閾値よりも低い画像が送信済み画像確認リストに存在しない（近い画像が存在しない）場合、新たに画像ＩＤを付与して画像データを送信する。
If there is no corresponding image data in the transmitted image confirmation list, the object image
以上により、画像データ制御装置によれば、対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を送信することで、物体の状態を通知することができる。これにより、画像データ制御装置を備えた監視カメラは、監視対象の物体の画像データを送信する場合と比べて、送信するデータ量を削減することができる。 As described above, according to the image data control device, when the image of the target object is similar in state to the already transmitted image, the information for identifying the similar transmitted image without transmitting the image data. Can be notified of the state of the object. Thereby, the monitoring camera provided with the image data control device can reduce the amount of data to be transmitted compared to the case of transmitting image data of the object to be monitored.
また、監視モニタは、画像データ制御装置が送信したデータを受け取り、監視対象の物体がどのような状態でどこに位置するかを表示することができる。これにより、監視モニタの監視者は、監視対象の物体の位置と状態を把握することが可能となる。 The monitoring monitor can receive the data transmitted by the image data control device and display in what state and where the object to be monitored is located. As a result, the monitor of the monitoring monitor can grasp the position and state of the object to be monitored.
図１７は、画像送信判定処理（図５のステップＳ２００）の詳細な動作を示すフローチャートである。ここでは、物体画像送信判定部１８０が、送信済み画像確認リストに蓄積されている画像を姿勢認識に利用する場合を示している。なお、図１７において、図６と同じ処理を行うステップについては、同じ符号を用い、説明を省略する。
FIG. 17 is a flowchart showing a detailed operation of the image transmission determination process (step S200 in FIG. 5). Here, a case is shown where the object image
ステップＳ９８０において、物体画像送信判定部１８０は、送信済み画像確認リストに記録されている画像のうち、まだ比較に使っていない画像ＩＤの中で一番番号の若い画像ＩＤである画像を参照する。
In step S980, the object image
次に、物体画像送信判定部１８０は、ステップＳ２２５にて取得した物体画像と送信済み画像確認リストに記録されている画像を比較し、一致率を算出する。物体画像送信判定部１８０は、算出した一致率を、分類候補リストに格納する。なお、分類候補リストは、例えば、図７に示した分類候補リストのテンプレートＩＤを、画像ＩＤに差し替えたものとなる。
Next, the object image
ステップＳ９８１において、ステップＳ２２０にて取得した送信済み画像確認リストに記録されている全ての画像と、物体検出した物体画像との比較が完了したかをチェックする。まだ、比較していない画像が残っている場合は、ステップＳ９８０に遷移し、そうでない場合はステップＳ９８０に遷移する。 In step S981, it is checked whether or not the comparison between all the images recorded in the transmitted image confirmation list acquired in step S220 and the detected object image has been completed. If there are still uncompared images, the process proceeds to step S980. If not, the process proceeds to step S980.
ステップＳ９８２において、物体画像送信判定部１８０は、分類候補リストを参照し、一致率が閾値よりも小さいエントリーがリストに存在するか否かを確認する。物体画像送信判定部１８０は、対応するエントリーが存在しない場合、画像解析部１２０にて検出した画像に近い画像は送信済みの画像の中にはないと判断し、ステップＳ２７０に遷移する。一方、物体画像送信判定部１８０は、対応するエントリーが存在する場合、画像解析部１２０にて検出した画像に近い画像は送信済みの画像の中にあると判断し、ステップＳ３１０に遷移する。
In step S982, the object image
なお、ステップＳ９８２で使用する閾値は、物体画像送信判定部１８０が予め保持する。また、この閾値をカテゴリー化ルールで定義し、物体画像送信判定部１８０が、ステップＳ２２０で取得してもよい。
Note that the object image
ステップＳ９８３において、物体画像送信判定部１８０は、ステップＳ９８０からステップＳ９８１の処理で分類した送信済み画像確認リストの中で、一番近い画像の画像ＩＤを取得する。物体画像送信判定部１８０は、一致率を参照して、一番近い画像の画像ＩＤを判断する。
In step S983, the object image
以上により、テンプレート画像リストを予め用意しなくても、ある程度近い画像がある場合は、既に送信済みの画像の画像ＩＤを送信し、近い画像がない場合は、新たに画像データと画像ＩＤを送信することになる。これにより、テンプレート画像リストを予め作成する手間が省ける。 As described above, even if the template image list is not prepared in advance, if there is an image that is close to some extent, the image ID of the image that has already been transmitted is transmitted, and if there is no image that is close, new image data and image ID are transmitted Will do. As a result, it is possible to save the trouble of creating the template image list in advance.
さらに、送信制御部１９０が、送信済み画像確認リストに、各エントリーに当該の画像を送信した回数を記録し、一定の周期毎にあまり使われていない画像のエントリーを削除するようにしてもよい。これにより、テンプレート画像のリストである送信済み画像確認リストを動的に更新することができ、かつ、送信済み画像確認リストを一定サイズ以下に制限することで、メモリーを適切に活用できる。
Further, the
なお、実施の形態１において、物体画像送信判定部１８０は、人間の姿勢認識の結果を用いて、画像解析部１２０が検出した画像を分類するとして説明した。他の方法として、例えば、画像解析部１２０が顔検出を行い、物体画像送信判定部１８０は、画像解析部１２０が検出した顔画像を分類し、映像表示装置２００に送信するべきか否かを判定して処理することができる。
In the first embodiment, the object image
顔検出処理を実現する方法は、弱識別器（識別能力の低い識別器）を複数個選び、各識別器の結果を統合して、結果を判定する手法を用いる。各々の識別器は顔を検出するのに、有効な特徴を識別するのに用いられる。物体画像送信判定部１８０は、顔の識別に必要な特徴を識別する識別器を複数用意し、これら複数の識別器を用いる。顔検出を行う場合は、対象となる画像を識別器にかけ、識別器それぞれの識別結果を統合的に判断する。これにより、顔を検出することができる。また、この手法では識別器を多数選択するための学習にＡｄａｂｏｏｓｔと呼ばれる機械学習アルゴリズムを利用する。この学習を行うことによって、より精度の高い顔検出が可能な識別器の組を得る。
As a method for realizing the face detection process, a method is used in which a plurality of weak classifiers (classifiers having low discrimination ability) are selected, the results of the classifiers are integrated, and the result is determined. Each discriminator is used to identify features that are useful for detecting a face. The object image
画像解析部１２０は、Ａｄａｂｏｏｓｔアルゴリズムによって学習済みの識別器の組を予め用意し、入力部１１０が入力した画像内の、全ての領域に対して、顔検出を行うことができる。
The
また、物体画像送信判定部１８０は、画像解析部１２０で検出した顔画像を比較する方法として、複数の方法を用いることができる。物体画像送信判定部１８０は、例えば、顔画像の各画素に対し、各画素の輝度の濃淡情報などをパターンマッチングする手法を用いる。また、物体画像送信判定部１８０は、顔の輪郭をエッジ検出により抽出してマッチングを行う手法を用いる。また、物体画像送信判定部１８０は、画像をフーリエ変換して周波数成分を抽出して比較する手法を用いる。また、物体画像送信判定部１８０は、これらの方法を複数組み合わせて使用する。これらの手法は顔を比較して、所定の人物か否かを判定する顔認証を実現する手法として、一般的に使われている。あるいは、物体画像送信判定部１８０は、顔画像データの比較方法として、顔の特徴的な部位である目や口などを、前記の弱識別器を使って検出し、それらの位置関係を抽出する、比較したい各々の画像間で比較する手法を用いてもよい。
Further, the object image
物体画像送信判定部１８０は、顔画像データの比較方法として、複数の方法を用いることができる。物体画像送信判定部１８０は、顔画像の各画素の輝度の濃淡情報などをパターンマッチングする手法を用いる。また、物体画像送信判定部１８０は、顔の輪郭をエッジ検出により抽出してマッチングを行う手法を用いる。また、物体画像送信判定部１８０は、画像をフーリエ変換して周波数成分を抽出し、比較する手法を用いる。また、物体画像送信判定部１８０は、これらの方法を複数組み合わせて使用する。
The object image
あるいは、物体画像送信判定部１８０は、顔画像データの比較方法として、顔の特徴的な部位である目や口などを、前記の弱識別器を使って検出し、それらの位置関係を抽出す、比較したい各々の画像間で比較する手法を用いてもよい。
Alternatively, the object image
なお、画像切り出し部１３０が、内部バッファを持ち、切り出した画像を格納するとして説明したが、本発明はこれに限定されるものではない。物体画像送信判定部１８０は、前記の行動認識結果によって画像を分類する場合、画像解析部１２０が切り出した画像を取得する必要がない（ステップＳ２２５は不要となる）。よって、画像切り出し部１３０は、一時的に切り出した画像を格納する必要がなくなるので、画像切り出し部１３０に内部バッファを持たなくてもよい。
Note that although the
なお、物体画像送信判定部１８０は、物体追跡を行い、追跡する物体ごとにカテゴリー化を行うようにしてもよい。物体追跡は、例えば、次の手順で実施する。（１）まず、画像解析部１２０が、物体を検出する。（２）物体画像送信判定部１８０は、検出した物体と、過去に検出した物体とパターンマッチングで比較する。（３）物体画像送信判定部１８０は、同じ物体であるか否かを判断する。（４）物体画像送信判定部１８０は、同じ物体と認識できれば、その認識した物体を継続して追跡する。（５）物体画像送信判定部１８０は、同じ物体と認識できなければ、新たな物体ＩＤを付与し、新たな物体として内部メモリーに蓄積する。また、前記（２）から（５）の処理は、画像解析部１２０が実施し、追跡結果（例えば、物体の識別子と物体の領域情報など）を物体画像送信判定部１８０に通知するようにしてもよい。
Note that the object image
画像解析部１２０は、物体の追跡を行い、撮像した画像データに撮像されている物体毎に識別子を割り当て、物体画像送信判定部１８０に追跡結果を通知する。物体画像送信判定部１８０は、画像解析部１２０から追跡結果を受け取り、識別した物体毎に過去画像との比較、分類することができる。これにより、物体画像送信判定部１８０は、物体追跡して識別した物体毎に、画像を映像表示装置２００に送信するべきか否かを判定することができる。
The
例えば、物体画像送信判定部１８０は、ステップＳ２６０において、Ｓ２２０で取得した送信済み画像確認リストの画像から、同じ物体の識別子であって、かつ、ステップＳ２５０と同じテンプレートＩＤの画像が送信済みか否かを確認する。
For example, in step S260, the object image
図１８は、送信済み画像確認リスト蓄積部１５０が蓄積する送信済み画像確認リストの一例を示しており、物体の識別子を記憶している。送信済み画像確認リストが物体の識別子を保持することにより、ステップＳ２６０において、識別した物体毎に画像の送信判定を行うことができる。さらに、ステップＳ４４０において、送信制御部１９０は、行動認識結果も送信済み画像確認リスト蓄積部１５０に入力し、送信済み画像確認リストに行動認識結果を蓄積すればよい。
FIG. 18 shows an example of a transmitted image confirmation list stored by the transmitted image confirmation
もしくは、画像解析部１２０は、上記で説明した顔検出、顔認証を用いて、撮像した物体を識別し、識別した物体ごとにカテゴリー化を行うようにしてもよい。
Alternatively, the
なお、物体画像送信判定部１８０は、物体がより明らかな画像が撮像できたか否かを解析し、画像を送信するか否かを判定してもよい。
Note that the object image
例えば、画像解析部１２０は、顔検出を行った後、顔の傾き角度を検出する。画像解析部１２０は、例えば、検出した顔おいて、複数の部位の位置を抽出し、顔モデルに基づいて顔の傾き角度を検出する方法を用いて、顔の傾きを検出する。
For example, the
画像解析部１２０は、顔検出を行った後、顔の傾き角度を検出し、顔の傾き角度などを検出結果として、物体画像送信判定部１８０に出力する。物体画像送信判定部１８０は、顔の傾き角度と、送信済み画像確認リストに記載の傾きを比較し、より傾きがない、すなわち、正対している場合は、画像を送信すると判定する。
After performing face detection, the
また、画像解析部１２０は、物体追跡も行い、追跡している物体毎に顔の傾き比較をしてもよい。
Further, the
なお、物体画像送信判定部１８０は、画像解析部１２０が検出した物体を分類し、物体の画像を映像表示装置２００に送信するべきか否かを判定する処理を説明した。物体画像送信判定部１８０は、更に、一定時間周期ごとに、画像解析部１２０が検出した物体の画像を、送信するか否かを判定してもよい。送信済み画像確認リスト蓄積部１５０は、画像の画像ＩＤと送信した圧縮画像データを蓄積するだけではなく、各画像が前回送信された時刻情報も保持する。送信済み画像確認リスト蓄積部１５０は、タイムスタンプなどの時刻情報が入力されると、前回送信された時刻を更新する。
Note that the object image
図１９は、画像送信判定処理（図５のステップＳ２００）の詳細な動作を示すフローチャートである。ここでは、物体画像送信判定部１８０が、一定時間周期毎に画像を送信する場合を示している。なお、図１９において、図６と同じ処理を行うステップについては、同じ符号を用い、説明を省略する。
FIG. 19 is a flowchart showing a detailed operation of the image transmission determination process (step S200 in FIG. 5). Here, a case is shown where the object image
ステップＳ９９０において、物体画像送信判定部１８０は、ステップＳ２５０の処理で取得したテンプレートＩＤに対応する画像のエントリーを、送信済み画像確認リストから得る。そして、物体画像送信判定部１８０は、取得した画像の送信時刻を参照し、一定時間以上経過したか否かを判断する。物体画像送信判定部１８０は、一定時間以上経過していると判断した場合、ステップＳ９９１に遷移し、そうでなれれば、ステップＳ３１０に遷移する。
In step S990, the object image
ステップＳ９９１において、物体画像送信判定部１８０は、判定結果を「画像ＩＤと画像の両方を再び送信する」とする。
In step S991, the object image
ステップＳ９９２において、物体画像送信判定部１８０は、送信制御部１９０に、ステップＳ２５０の処理で取得したテンプレートＩＤに対応する画像の画像ＩＤと、顔画像の領域情報と判定結果を出力する。ステップＳ９９２の処理が完了すると、リターンに遷移し、画像送信判定処理が終了する。画像送信判定処理が終了すると、データ送信処理に遷移する。
In step S992, the object image
図２０は、データ送信処理（図５のステップＳ４００）の詳細な動作を示すフローチャートである。ここでは、送信制御部１９０が、一定時間周期毎に画像を送信する場合を示している。図２０において、図８と同じ処理を行うステップについては、同じ符号を用い、説明を省略する。
FIG. 20 is a flowchart showing a detailed operation of the data transmission process (step S400 in FIG. 5). Here, a case is shown where the
ステップＳ９９３において、送信制御部１９０は、画像送信判定処理の判定結果が「新たな画像ＩＤを付与して、画像ＩＤと画像の両方を送信する」である場合、ステップＳ４３０に遷移する。また、送信制御部１９０は、判定結果が「画像ＩＤと画像の両方を再び送信する」である場合、ステップＳ９９４に遷移する。
In step S993, if the determination result of the image transmission determination process is “giving a new image ID and transmitting both the image ID and the image”, the
ステップＳ９９４において、送信制御部１９０は、Ｓ４２０にて生成した圧縮画像データと、Ｓ９９２で用いた画像ＩＤと領域情報を、送信部１０３にし出力し、映像表示装置２００に送信する。なお、Ｓ９２２で用いた画像ＩＤとは、画像解析部１２０で検出した物体の画像と一番近い画像の画像ＩＤである。
In step S994, the
次に、ステップＳ９９５において、送信制御部１９０は、ステップＳ９９４で送信した画像ＩＤと圧縮画像データと撮像されたタイムスタンプを、送信済み画像確認リスト蓄積部１５０に入力する。撮像されたタイムスタンプは、撮像装置１０１が保持するシステムクロックを使用するようにしてもよい。送信済み画像確認リスト蓄積部１５０は、画像ＩＤの画像の送信時刻を入力されたシステムクロックに変更する。
Next, in step S995, the
ステップＳ９９５の処理が完了すると、リターンに遷移し、データ送信処理が終了して、ステップＳ５００に遷移する。 When the process of step S995 is completed, the process proceeds to return, the data transmission process ends, and the process proceeds to step S500.
以上のように、送信済みの画像に分類できる場合で、かつ、前回画像データを送信してから一定時間以上経過した場合は、ステップＳ９９０において、ステップＳ９９１に遷移する。物体画像送信判定部１８０は、「画像ＩＤと画像の両方を再び送信する」と判定する。これにより、ステップＳ４１０ではステップＳ４２０に遷移し、さらにステップＳ９９３ではステップＳ９９４に遷移するので、送信制御部１９０は、画像ＩＤと物体の領域情報とＳ４２０にて切り出した物体の圧縮画像データを出力する。
As described above, when the image can be classified into the transmitted images, and when a predetermined time or more has elapsed since the last transmission of the image data, the process proceeds to step S991 in step S990. The object image
これにより、撮像装置１０１は、一定時間周期ごとに、画像解析部１２０で検出した物体の画像を送信する。つまり、撮像装置１０１は、一定時間ごとに最新の画像を送信することができる。
Thereby, the
なお、物体画像送信判定部１８０は、画像解析部１２０で複数の物体を検出し、これら複数の物体の領域が重なった場合は、重なった画像を別の物体であると判断してもよい。この場合、物体画像送信判定部１８０は、新たな画像ＩＤを付与して、重なった画像の画像データを送信するように判定する。
Note that the object image
複数の物体の領域が重なった画像を別の物体であると判断する方法として、複数の方法を用いることができる。画像解析部１２０が、複数の物体の重なりを検出した場合は、重なり合った画像を別の物体として判定し、重なり合った画像の領域情報を物体画像送信判定部１８０に送信する。これにより、画像解析部１２０が物体Ａと物体Ｂという重なり合う２つの物体を検出した場合、別の物体Ｃを検出したと判断し、物体Ｃの領域情報（例えば、物体Ａと物体Ｂを含む矩形の領域情報）を、物体画像送信判定部１８０に出力する。画像送信判定処理において、物体画像送信判定部１８０は、ステップＳ２３０からステップＳ２４０の処理で、物体Ａと物体Ｂではない物体として、物体Ｃを分類し、ステップＳ２６０においてステップＳ２７０に分岐する。物体画像送信判定部１８０は、物体Ａ（例えば、ＩＤ＝１）や物体Ｂ（例えば、ＩＤ＝２）と違う新しい画像ＩＤ（例えば、ＩＤ＝３）を付与する。その後、物体画像送信判定部１８０は、画像ＩＤと画像の物体Ｃの画像を送信するように判定する。また、物体Ａと物体Ｂという２つの物体の重なりである物体Ｃの領域情報を入力しているので、物体画像送信判定部１８０と送信制御部１９０は、物体Ｃの画像を画像切り出し部１３０に物体Ｃの切り出しを指示できる。よって、ステップＳ４２０において、送信制御部１９０は、物体Ｃの圧縮画像データを生成し、ステップＳ４２０において、送信部１０３に、圧縮画像データと新たな画像ＩＤ、物体Ｃの領域情報を出力する。
A plurality of methods can be used as a method of determining that an image in which regions of a plurality of objects overlap is another object. When the
また、例えば、画像解析部１２０は、物体Ａと物体Ｂが重なりあった場合に、物体Ｃのみの領域情報など情報を、物体画像送信判定部１８０に入力し、物体Ａと物体Ｂの領域情報など情報を入力しないようにしてもよい。
Further, for example, when the object A and the object B overlap, the
物体画像送信判定部１８０は、画像解析部１２０で複数の物体を検出し、これら複数の物体が近接している（物体の距離がある閾値以下）場合も、重なった画像を別の物体であると判断する。物体画像送信判定部１８０は、重なった画像に対して、新たな画像ＩＤを付与して、重なった画像の画像データを送信するように判定してもよい。例えば、上記と同様に、画像解析部１２０は、物体Ａと物体Ｂが近接している場合（物体の距離がある閾値以下）も、同様に物体Ａと物体Ｂを合わせた物体Ｃとして検出するようにすればよい。
The object image
なお、以上で説明した、「物体追跡」、「顔認識」、「行動認識」などは、各々を組み合わせるように構成してもよい。顔を検出して比較するだけでは、例えば、撮像途中で対象の人物が背を向けるなどして、顔が見えなくなった場合に対象をロストする。しかし、物体追跡を合わせて行うことにより、顔を検出できなくても、同じ物体であることを識別することができる。よって、カテゴリー化ルール保持部１７０は、物体追跡を合わせたカテゴリー化ルールを定義して保持し、物体画像送信判定部１８０は、同じ物体と認識して新たな画像を送信しないように判定する。これによって、画像の送信を抑制することができ、トラフィックを低減できる。
The “object tracking”, “face recognition”, “behavior recognition” and the like described above may be combined. If only the face is detected and compared, the target is lost when the face becomes invisible, for example, because the target person turns his back during imaging. However, by performing object tracking together, it is possible to identify the same object even if the face cannot be detected. Therefore, the categorization
以上のように、必要な認識技術と判定方法を組み合わせ可能とし、さまざまな状況に対応できるように、画像解析部１２０、物体画像送信判定部１８０、カテゴリー化ルール保持部１７０が保持するカテゴリー化ルールを、構成してもよい。
As described above, the categorization rules held by the
（実施の形態２）
実施の形態２における画像データ制御装置４００は、画像解析部１２０によって検出された物体が蓄積済みの画像に分類できないと判断した場合の処理が、実施の形態１と異なっている。画像データ制御装置４００は、連続する所定回数（ｎ回）の送信において、物体の切り出し画像と物体の領域情報と、同じ画像ＩＤとを、送ることを特徴とする。
(Embodiment 2)
The image
図２１は、本発明の画像データ制御装置を備えた撮像装置の構成図である。 FIG. 21 is a configuration diagram of an imaging apparatus provided with the image data control apparatus of the present invention.
図２１の撮像装置１０１は、撮像部１０２、送信部１０３、画像データ制御装置４００を備えている。図２１において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
The
画像データ制御装置４００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置４００は、送信すると決定したデータを送信部１０３に通知する。
The image
画像データ制御装置４００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部４１０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部４２０、送信制御部４３０を備えている。
The image
送信済み画像確認リスト蓄積部４１０は、送信した画像データと画像ＩＤと送信回数を、リスト形式で蓄積する。送信済み画像確認リスト蓄積部４１０は、送信した画像データと画像ＩＤと送信回数を組にした送信済み画像確認リストを保持、管理する。送信済み画像確認リスト蓄積部４１０は、送信制御部４３０から送信済みの圧縮画像データと画像ＩＤの情報を受け取り、送信済み画像確認リストを更新する。送信済み画像確認リスト蓄積部４１０は、受け取った画像ＩＤが、送信済み画像確認リストで既に保持されている場合は、対応する送信回数を１つ加算し、送信回数を更新する。
The transmitted image confirmation
物体画像送信判定部４２０は、カテゴリー化ルール保持部１７０からカテゴリー化ルールを取得し、カテゴリー化ルールに従って、画像解析部１２０が検出した物体の画像を分類する。物体画像送信判定部４２０は、分類した結果に基づいて、画像解析部１２０が検出した物体の画像を分類し、物体の画像データを映像表示装置２００に送信するか否かを判定する。物体画像送信判定部４２０は、画像解析部１２０が検出した物体を、送信済み画像確認リスト蓄積部４１０に蓄積されている画像に分類できないと判断した場合は、次の処理を行う。物体画像送信判定部４２０は、物体の切り出し画像と物体の領域情報と、同じ画像ＩＤを、所定回数（ｎ回）連続して送信すると判定する。物体画像送信判定部４２０は、予め規定されているｎの値を内部の保持するようにしてもよいし、カテゴリー化ルールのパラメータとして持たせてもよい。
The object image
送信制御部４３０は、物体画像送信判定部４２０の判定結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。画像データを送信する場合、送信制御部４３０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。画像データを送信しない場合は、送信制御部４３０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。また、所定回数（ｎ回）連続して送信する場合は、送信制御部４３０は、所定回数（ｎ回）、付与した同じ画像ＩＤと物体の切り出し画像と物体の領域情報を含むメタデータを生成し、出力する。
The
図２２は、実施の形態２における画像データ制御装置４００の、撮像部１０２から画像データを受け取った際の動作示すフローチャートである。撮像部１０２は、周期的に画像データを画像データ制御装置４００に出力する。そのため、図２２の動作は、周期的に繰り替えされる。なお、図２２において、図５と同じ処理を行うステップについては、同じ符号を用い、説明を省略する。
FIG. 22 is a flowchart illustrating an operation when the image
ステップＳ１０１０において、物体画像送信判定部４２０は、画像送信判定処理を行う。物体画像送信判定部４２０は、ステップＳ１００で検出した物体から、次の処理対象の物体を決定し、この物体の画像を、送信するか否かを判断する。
In step S1010, the object image
ステップＳ１０２０において、送信制御部４３０は、ステップＳ１０１０で判定した結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。
In step S1020, the
図２３は、画像送信判定処理（図２２のステップＳ１０１０）の詳細な動作を示すフローチャートである。なお、図２３において、図６と同じ処理を行うステップについては同じ符号を用い、説明を省略する。 FIG. 23 is a flowchart showing a detailed operation of the image transmission determination process (step S1010 in FIG. 22). In FIG. 23, the same reference numerals are used for the steps for performing the same processing as in FIG.
ステップＳ２６０において、物体画像送信判定部４２０は、ステップＳ２５０にて取得したテンプレートＩＤに関連する画像が送信済みか否かを確認する。物体画像送信判定部４２０は、ステップＳ２３０からステップＳ２５０の処理で分類したテンプレート画像のテンプレートＩＤと、同じテンプレートＩＤを持つエントリーを、送信済み画像確認リストから抽出する。送信済み画像確認リストは、ステップＳ２２０にて取得したものである。物体画像送信判定部４２０は、抽出したエントリーを参照し、一番近いテンプレート画像に対応する画像が送信済みか否かを調べる。調べた結果、一番近いテンプレート画像に対応する画像が送信済みではない場合は、ステップＳ２７０に遷移し、送信済みであると判断された場合は、ステップＳ１１１０に遷移する。
In step S260, the object image
ステップＳ１１１０において、物体画像送信判定部４２０は、送信済み画像確認リストから抽出したエントリーの送信回数と、連続して送付するように規定された所定回数（ｎ）を比較する。物体画像送信判定部４２０が比較した結果、送信回数が所定回数（ｎ）未満であれば、ステップＳ１１２０に遷移し、そうでなれれば、ステップＳ３１０に遷移する。画像の送信回数と所定回数（ｎ）を比較することにより、連続するｎ回においては、画像を送信するステップＳ１１２０に遷移するように分岐する。
In step S1110, the object image
ステップＳ１１２０において、物体画像送信判定部４２０は、判定結果を「付与済みの画像ＩＤと画像の両方を送信する」とする。
In step S1120, the object image
ステップＳ１１２８において、物体画像送信判定部４２０は、ステップＳ２３０からステップＳ２５０で分類した姿勢の、テンプレート画像のテンプレートＩＤと同じテンプレートＩＤを持つエントリーを、送信済み画像確認リストから抽出する。送信済み画像確認リストは、ステップＳ２２０にて取得したものである。物体画像送信判定部４２０は、抽出したエントリーを参照し、一番近いテンプレート画像に対応する画像の画像ＩＤを取得する。
In step S1128, the object image
ステップＳ１１３０において、物体画像送信判定部４２０は、送信制御部４３０に、ステップＳ１１２８で取得した画像ＩＤと、物体画像の領域情報と判定結果を入力する。
In step S1130, the object image
ステップＳ１１３０の処理が完了すると、リターンに遷移し、画像送信判定処理が終了する。 When the process of step S1130 is completed, the process proceeds to return, and the image transmission determination process ends.
図２４は、データ送信処理（図２２のステップＳ１０２０）の詳細な動作を示すフローチャートである。なお、図２４において、図８と同じ処理を行うステップについては同じ符号を用い、説明を省略する。 FIG. 24 is a flowchart showing a detailed operation of the data transmission process (step S1020 in FIG. 22). In FIG. 24, the same reference numerals are used for the steps for performing the same processing as in FIG.
ステップＳ１２１０において、送信制御部４３０は、図２２のステップＳ１０１０の判定結果に応じて、映像表示装置２００に送信するデータを切り替える。判定結果が「新たな画像ＩＤを付与して、画像ＩＤと画像の両方を送信する」である場合、送信制御部４３０は、ステップＳ４３０に遷移する。判定結果が「付与済みの画像ＩＤと画像の両方を送信する」である場合、送信制御部４３０は、ステップＳ１２２０に遷移する。
In step S1210, the
ステップＳ１２２０において、送信制御部４３０は、ステップＳ４２０にて生成した圧縮画像データと、付与済みの連続したｎ回において同じ画像ＩＤとステップＳ１１３０にて入力された物体の領域情報を含むメタデータを生成し、送信部１０３に出力する。同じ画像ＩＤとは、Ｓ１１３０に入力された、画像解析部１２０で検出した物体の画像と一番近い画像の画像ＩＤである。
In step S1220, the
ステップ１２３０において、送信制御部４３０は、送信済み画像確認リストの更新を行う。すなわち、送信制御部４３０は、ステップＳ１２２０で出力した画像ＩＤと圧縮画像データを、送信済み画像確認リスト蓄積部４１０に通知する。送信済み画像確認リスト蓄積部４１０は、受け取った画像ＩＤに対応する画像の送信回数をインクリメントする。
In step 1230, the
ステップＳ１２３０が完了すると、リターンに遷移し、データ送信処理が終了する。 When step S1230 is completed, the process transits to return, and the data transmission process ends.
以上により、画像データ制御装置を備えた撮像装置は、送信済みの画像に分類できない画像が検出された場合、連続する所定回数（ｎ回）、物体の切り出し画像と物体の領域情報と、同じ画像ＩＤとを送信することになる。ステップＳ１１２０において、連続するｎ回の間は画像の送信回数はｎ未満になるので、ステップＳ１１２０に遷移し、物体画像送信判定部４２０は、「付与済みの画像ＩＤと画像の両方を送信する」と判定する。よって、ステップＳ４１０ではステップＳ４２０に遷移し、さらに、ステップＳ１１２０ではステップＳ１２２０に遷移する。ステップＳ１２２０において、送信制御部４３０は、同じ画像ＩＤとステップＳ４２０において切り出した画像の両方と、物体の領域情報を出力する。
As described above, when an image that can not be classified as a transmitted image is detected, the imaging device including the image data control device is the same image as the clipped image of the object and the region information of the object for a predetermined number of times (n times). ID is transmitted. In step S1120, the number of image transmissions is less than n for n consecutive times, so the process proceeds to step S1120, and the object image
また、連続するｎ回の画像送信を終了した場合は、ステップＳ１２３０にて、送信済み画像確認リストの画像の送信回数がｎ回に達する。よって、次のｎ＋１回目の処理では、ステップＳ１１１０においてステップＳ３１０に遷移する。物体画像送信判定部４２０は、「新たな画像ＩＤを付与せず、送信済み画像の中で一番近い画像の画像ＩＤと領域情報を送信し、新たな画像は送信しない」と判定する。これにより、ステップＳ４１０ではステップＳ４５０に遷移し、送信制御部４３０は、画像ＩＤと物体の領域情報のみを、送信データとして出力し、圧縮画像データは出力しない。
If n consecutive image transmissions have been completed, the number of transmissions of images in the transmitted image confirmation list reaches n in step S1230. Therefore, in the next n + 1th process, the process proceeds to step S310 in step S1110. The object image
また、連続するｎ回の間に、画像解析部１２０で検出していた物体が、撮像部１０２の撮像範囲からフレームアウトする、他の物体と重なる、などの理由により、検出されなくなる場合がある。その結果、画像解析部１２０は、対象の物体を検出できなくなり、ｎ回に至る途中で、同じ画像ＩＤが付与された画像データの送信は途切れる。
In addition, the object detected by the
途切れた場合、送信済み画像確認リストが送信回数の値を保持しておき、再び対象の物体が検出された時に、物体画像送信判定部４２０は、連続するｎ回の間に同じＩＤと物体の領域情報と画像データを送信することを再開することができる。
In the case of interruption, the transmitted image confirmation list holds the value of the number of transmissions, and when the target object is detected again, the object image
また、途切れた場合、送信済み画像確認リストが保持している送信回数の値を、リセットする、または、ｎ（送信完了）としてもよい。 In the case of interruption, the value of the number of transmissions held in the transmitted image confirmation list may be reset or n (transmission completed).
以上により、画像データ制御装置を備えた撮像装置は、送信済みの画像に分類できない画像が検出された場合、その後に、連続する所定回数（ｎ回）の送信において、物体の切り出し画像と物体の領域情報と、同じ画像ＩＤとを送信する。対象の物体の画像が既に送信済みの画像と状態が類似している場合、画像データを送信せずに、類似している送信済み画像を識別する情報を複数回送信することで、物体の状態を通知することができる。 As described above, when an image that cannot be classified as a transmitted image is detected, the imaging device provided with the image data control device subsequently performs a predetermined number of times (n times) of transmission, and the cut-out image of the object and the object The area information and the same image ID are transmitted. If the image of the target object is similar in state to the image that has already been transmitted, the state of the object is transmitted by transmitting information identifying the similar transmitted image multiple times without transmitting image data. Can be notified.
画像データ制御装置４００を備えた撮像装置が、再送制御のないプロトコルを用いて送信した場合、映像表示装置２００が圧縮画像データを欠損すると、映像表示装置２００は欠損したデータを受信することができない。再送制御のないプロトコルとは、例えば、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）である。しかし、画像データ制御装置４００を備えた撮像装置は、連続するｎ回、同じ画像ＩＤの圧縮画像データを送信するため、映像表示装置２００は、圧縮画像データを受信するｎ回の機会を、得ることができる。伝送路であるネットワーク９９９９で、画像データ制御装置４００を備えた撮像装置が送信した圧縮画像データが数回（＜ｎ回）欠損した場合でも、映像表示装置２００は、欠損した画像と同じ画像ＩＤの画像を受信し、表示することができる。
When the imaging device including the image
また、画像データ制御装置４００を備えた撮像装置は、ステップＳ４２０、およびステップＳ１２２０で、連続するｎ回の画像の送信において、毎回、撮像部１０２から受け取った画像から、対象の画像を切り出して送信する画像を生成する。つまり、画像データ制御装置４００を備えた撮像装置は、同じ分類はされているが、異なった画像を映像表示装置２００に送信することができる。
In addition, in step S420 and step S1220, the imaging device including the image
これにより、映像表示装置２００は、表示する物体の様子を異なる画像を連続するｎ回の異なる表示で異なる複数の画像を表示することができる。映像表示装置２００を視聴して監視する監視者は、検出した物体に対してより多くの画像（対象物体の姿勢）を視聴でき、利便性が向上する。
As a result, the
なお、画像データ制御装置４００を備えた撮像装置は、連続するｎ回において同じ画像を送信するようにしてもよい。例えば、ステップＳ１２２０において、ステップＳ４２０にて生成した画像ではなく、送信済み画像確認リスト蓄積部４１０に記録している画像で、送信する画像ＩＤと同じ画像ＩＤの画像を取得して、送信するようにすれば実現できる。画像データ制御装置４００を備えた撮像装置が、複数の映像表示装置に同時に画像を送信する場合、ネットワーク上でデータの欠損が発生しても、複数の映像表示装置間で、必ず同じ画像を表示することを保証することができる。
Note that the imaging device including the image
なお、画像データ制御装置４００を備えた撮像装置は、ステップＳ１２３０において、入力した圧縮画像データを送信済み画像確認リスト蓄積部４１０に記録するようにしてもよい。この場合、送信済み画像確認リスト蓄積部４１０は、同じ画像ＩＤのエントリーを追加し、入力された圧縮画像データを前記の画像ＩＤと対応させて記録する。また、送信済み画像確認リスト蓄積部４１０は、特殊なフラグを設けて、連続した送信したｎ回において２回目以降に送信した画像はこのフラグをＯＮするようにしてもよい。これにより、送信済み画像確認リスト蓄積部４１０は、同じ画像ＩＤが複数存在してもデータの整合性が保てるようになる。
Note that the imaging device including the image
なお、連続するｎ回の間に、画像解析部１２０が検出していた物体が、他の物体と重なったことを検出した場合は、ｎ回に至る途中で、同じ画像ＩＤと画像データを送信することを中断してもよい。画像解析部１２０は、複数の物体の重なりを検出した場合、重なり合った画像を別の物体として判定し、重なり合った画像の領域情報を物体画像送信判定部４２０に通知する。物体画像送信判定部４２０は、各々の画像の領域情報を入力しない。これにより、物体画像送信判定部４２０は、各々の物体の情報を個々に得ることができないので、重なり合った一つの物体として処理する。
If the object detected by the
また、送信済み画像確認リストは、記録している送信回数の値を保持する。これにより、再び同じ物体が検出された時に、物体画像送信判定部４２０は、連続するｎ回の間に同じＩＤと物体の領域情報と画像データを送信することを再開することができる。また、送信済み画像確認リストが保持している送信回数の値を、リセットする、または、ｎ（送信完了）としてもよい。
The transmitted image confirmation list holds a recorded value of the number of transmissions. As a result, when the same object is detected again, the object image
（実施の形態３）
実施の形態３における画像データ制御装置５００は、映像表示装置２００などの外部の装置から、画像の再送要求を受け取り、画像を再送することを特徴とする。
(Embodiment 3)
The image
図２５は、本発明の画像データ制御装置を備えた撮像装置の構成図である。 FIG. 25 is a configuration diagram of an imaging apparatus provided with the image data control apparatus of the present invention.
図２５の撮像装置１０１は、撮像部１０２、送信部１０３、受信部１０４、画像データ制御装置５００を備えている。図２５において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
25 includes an
画像データ制御装置５００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置５００は、送信すると決定したデータを送信部１０３に通知する。
The image
受信部１０４は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置２００からデータを受信する。受信部１０４は、映像表示装置２００から再送要求を受信し、画像データ制御装置５００に通知する。
The receiving
受信部１０４は、送信部１０３と同様に、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。受信部１０４は、これら通信プロトコルに準拠する形式でパケット化されたデータを、受信する。
Similar to the
画像データ制御装置５００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部１５０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部１８０、再送要求受信部５１０、送信制御部５２０を備えている。
The image
再送要求受信部５１０は、受信部１０４から、再送要求を受信する。再送要求は、再送する画像の画像ＩＤを含んでいる。再送要求受信部５１０は、受信した再送要求に含まれている画像ＩＤを送信制御部５２０に通知し、画像の再送を行うように指示する。
The retransmission
送信制御部５２０は、物体画像送信判定部１８０の判定結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。画像データを送信する場合、送信制御部１９０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。画像データを送信しない場合は、送信制御部１９０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。また、送信制御部５２０は、再送要求受信部５１０からの指示を受け取り、再送制御処理を行う。
The
実施の形態３における画像データ制御装置５００の、撮像部１０２から画像データを受け取った際の動作は、実施の形態１で説明した図５の処理と同様である。
The operation of the image
図２６は、実施の形態３における画像データ制御装置５００が、外部装置（例えば、映像表示装置２００）からの再送要求を受信した際の、動作の一例を示すフローチャートである。撮像装置１０１の受信部１０４は、外部の装置（例えば、映像表示装置２００）から再送要求を受信し、画像データ制御装置５００に通知する。画像データ制御装置５００の再送要求受信部５１０は、再送要求を受け取り、処理を開始する。
FIG. 26 is a flowchart illustrating an example of an operation when the image
ステップＳ１３１０において、再送要求受信部５１０は、受信した再送要求含まれている画像ＩＤを確認し、画像ＩＤを送信制御部５２０に通知し、画像の再送を行うように指示する。送信制御部５２０は、再送要求受信部５１０からの指示を受け取り、送信済み画像確認リスト蓄積部１５０から送信済み画像確認リストを取得する。
In step S1310, retransmission
ステップＳ１３２０において、送信制御部５２０は、再送要求受信部５１０から通知された画像ＩＤと同じ画像ＩＤを持つ画像ＩＤを、送信済み画像確認リスト内から検索し、同じ画像ＩＤを持つ画像の圧縮画像データを取得する。
In step S1320, the
最後に、ステップＳ１３３０において、送信制御部５２０は、ステップＳ１３２０で取得した圧縮画像データと画像ＩＤを含むメタデータを生成し、送信部１０３に出力する。これにより、送信部１０３は、再送が要求された画像の圧縮画像データを、再送要求を通知した装置に送信することができる。
Finally, in step S1330, the
なお、再送要求が送信先アドレスを含んでおり、再送要求受信部５１０が、この送信先アドレスを、送信制御部５２０に通知することで、送信制御部５２０は、再送先のアドレスを用いて、正しい再送先に送信を行うことができる。
The retransmission request includes a transmission destination address, and the retransmission
以上により、画像データ制御装置を備えた撮像装置においては、再送要求受信部５１０が再送要求を受け取り、送信制御部５２０に再送を指示し、送信制御部５２０が、以前に送信した画像と同じ画像を、映像表示装置２００に再送する。映像表示装置２００は、受信した画像ＩＤの画像を画像蓄積部２２０に保持していない場合に、撮像装置に画像の再送を要求する。これにより、映像表示装置２００は、再送された画像データを、受信することが可能となる。映像表示装置２００は、受信した画像ＩＤの画像を保持していない場合でも、再送された画像データを用いて、監視対象の物体がどのような状態でどこに位置するかを表示することができる。
As described above, in the imaging apparatus provided with the image data control device, the retransmission
図２７は、物体表示処理（図１１のＳ８２０）の詳細な動作を示すフローチャートである。なお、図２７において、図１２と同じ処理を行うステップについては同じ符号を用い説明を省略する。 FIG. 27 is a flowchart showing a detailed operation of the object display process (S820 in FIG. 11). In FIG. 27, the same reference numerals are used for the steps for performing the same processing as in FIG.
映像表示装置２００は、図１０で説明した背景画像に、新たに受信した物体画像を合成して、表示する。実施の形態３における映像表示装置２００は、再送処理を行う以外は、実施の形態１で説明した処理と同様である。
The
まず、映像表示装置２００の受信部２１０は、撮像装置１０１から受信したデータを判定する。圧縮画像データが含まれておらず（ステップＳ９００がＮｏ）、同じ画像ＩＤの画像が画像蓄積部２２０に蓄積されていない場合（ステップＳ９３０がＮｏ）、ステップＳ１３７０に遷移する。
First, the receiving
ステップＳ１３７０において、受信部２１０は、撮像装置１０１に画像の再送要求を要求し、物体描画処理を終了する。
In step S1370, the
再送要求を受信した撮像装置１０１は、図２６を用いて説明した通り、再送を要求した画像ＩＤと圧縮画像データを再送する。
The
映像表示装置２００は、撮像装置１０１が再送した画像ＩＤと圧縮画像データを受け取り、図１１の部分画像受信処理を行うことにより、画像を表示することができる。
The
以上により、画像データ制御装置を備えた撮像装置は、再送要求を受信し、受信した再送要求に基づいて、以前に送信した画像と同じ画像を、映像表示装置２００に再送する。これにより、映像表示装置２００は、ネットワーク伝送で画像データが欠損した場合に、再送された画像データを、受信することが可能となる。また、映像表示装置２００が、内部メモリー容量の制約などにより、受信した画像すべてを保持できず、画像蓄積部２２０は蓄積した画像の総要領がメモリーの上限値に達した場合に蓄積した画像の一部を削除する場合にも有効である。映像表示装置２００が、再送を要求し、再送された画像データを、受信することが可能となる。つまり、映像表示装置２００は、受信した画像ＩＤの画像を保持していない場合でも、再送された画像データを用いて、監視対象の物体がどのような状態でどこに位置するかを表示することができる。
As described above, the imaging device including the image data control device receives the retransmission request, and retransmits the same image as the previously transmitted image to the
（実施の形態４）
実施の形態４における画像データ制御装置６００は、映像表示装置２００などの外部の装置から、画像を蓄積した送信済み画像確認リストに対するリフレッシュ要求を受け取ることを特徴とする。
(Embodiment 4)
The image
図２８は、本発明の画像データ制御装置を備えた撮像装置の構成図である。 FIG. 28 is a configuration diagram of an image pickup apparatus including the image data control apparatus of the present invention.
図２８の撮像装置１０１は、撮像部１０２、送信部１０３、受信部１０４、画像データ制御装置６００を備えている。図２８において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
An
画像データ制御装置６００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置６００は、送信すると決定したデータを送信部１０３に通知する。
The image
受信部１０４は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置２００からデータを受信する。受信部１０４は、映像表示装置２００からリフレッシュ要求を受信し、画像データ制御装置６００に通知する。
The receiving
受信部１０４は、送信部１０３と同様に、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。受信部１０４は、これら通信プロトコルに準拠する形式でパケット化されたデータを、受信する。
Similar to the
画像データ制御装置６００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部６１０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部１８０、リフレッシュ要求受信部６２０、送信制御部６３０を備えている。
The image
リフレッシュ要求受信部６２０は、受信部１０４から、リフレッシュ要求を受信する。リフレッシュ要求は、リフレッシュ対象の画像の画像ＩＤを含んでいる。リフレッシュ要求受信部６２０は、受信したリフレッシュ要求に含まれている画像ＩＤを送信済み画像確認リスト蓄積部６１０に通知し、指定した画像ＩＤの画像を削除するように指示する。
The refresh
リフレッシュ要求受信部６２０は、リフレッシュ要求した映像表示装置２００にリフレッシュ完了を通知するよう、送信制御部６３０に指示を出す。
The refresh
送信済み画像確認リスト蓄積部６１０は、送信した画像データと画像ＩＤを、リスト形式で蓄積する。送信済み画像確認リスト蓄積部６１０は、送信した画像データと画像ＩＤを組にした送信済み画像確認リストを保持、管理する。送信済み画像確認リスト蓄積部６１０は、送信制御部６３０から送信済みの圧縮画像データと画像ＩＤの情報を受け取り、送信済み画像確認リストを更新する。
The transmitted image confirmation
送信済み画像確認リスト蓄積部６１０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体に情報を蓄積するようにしてもよい。また、送信済み画像確認リスト蓄積部１５０は、ＤＲＡＭのような揮発性の半導体メモリーによって構成するようにしてもよい。
The transmitted image confirmation
送信済み画像確認リスト蓄積部６１０は、リフレッシュ要求受信部６２０から、画像ＩＤを指定した削除指示を受け取り、指定された画像ＩＤのエントリーを送信済み画像確認リストから削除する。
The transmitted image confirmation
送信制御部６３０は、物体画像送信判定部１８０の判定結果に応じて、映像表示装置２００に送信するデータを、送信部１０３に出力する。画像データを送信する場合、送信制御部６３０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。画像データを送信しない場合は、送信制御部６３０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。
The
送信制御部６３０は、リフレッシュ要求受信部６２０から指示を受け、送信部１０３を介して、リフレッシュ要求をした映像表示装置２００に、リフレッシュ完了通知を送信する。
Upon receiving an instruction from the refresh
画像データ制御装置を備えた撮像装置が、リフレッシュ要求によって、指定された画像ＩＤを削除した後に、リフレッシュした画像ＩＤに分類できる画像が、撮像部１０２で撮像された場合について説明する。
A case where an image that can be classified into a refreshed image ID is captured by the
実施の形態４において、画像データ制御装置６００の、撮像部１０２から画像データを受け取った際の動作は、実施の形態１で図５を用いて説明した処理と同様である。
In the fourth embodiment, the operation of the image
リフレッシュ処理によって、図６のステップＳ２２５で検出した物体の画像に対応する画像ＩＤのエントリーは、送信済み画像確認リストから削除されているとする。つまり、送信済み画像確認リストは、ステップＳ２５０で取得した一番近いテンプレート画像に対応する画像が蓄積していない。よって、ステップＳ２６０において、物体画像送信判定部１８０は、送信済みでないと判定し、ステップＳ２７０に遷移する。そして、ステップＳ２７０以降の処理によって、ステップＳ２２５にて取得された画像は、新しい画像ＩＤを付与され、新しい画像として以降処理が継続される。
It is assumed that the entry of the image ID corresponding to the image of the object detected in step S225 of FIG. 6 has been deleted from the transmitted image confirmation list by the refresh process. That is, in the transmitted image confirmation list, no image corresponding to the closest template image acquired in step S250 is accumulated. Therefore, in step S260, the object image
以上により、画像データ制御装置６００を備えた撮像装置は、リフレッシュを実施した以降に、リフレッシュした画像ＩＤに相当する画像を撮像した場合、新たな画像ＩＤを付与し新しい画像として取り扱う。画像データ制御装置６００を備えた撮像装置は、削除したＩＤを使用するのではなく、新しく付与した画像ＩＤを用いて、圧縮画像データを映像表示装置２００に送信する。
As described above, when an image capturing apparatus including the image
撮像装置１０１が保持する送信済み画像確認リストと映像表示装置２００が保持する画像蓄積データの間に不整合が起こった場合に、有効である。不整合となっている画像ＩＤをリフレッシュし、不整合となっていた画像ＩＤを破棄し、新しい画像ＩＤにて、以降の処理を行うことが可能となる。不整合が発生する要因としては、例えば、ネットワーク上でデータが欠損した場合、映像表示装置２００の予期せぬＨＷ不具合などがある。
This is effective when a mismatch occurs between the transmitted image confirmation list held by the
なお、画像データ制御装置６００は、指定された画像ＩＤに対してリフレッシュ処理を行う。また、画像データ制御装置６００は、付与済みの全画像ＩＤについてリフレッシュしてもよい。リフレッシュ要求受信部６２０は、受信したリフレッシュ要求に含まれている画像ＩＤが、全画像ＩＤを削除するために規定された値の場合、送信済み画像確認リスト蓄積部６１０に、全画像ＩＤの画像を削除するように指示する。送信済み画像確認リスト蓄積部６１０は、リフレッシュ要求受信部６２０から、全削除指示を受け取り、全ての画像ＩＤのエントリーを送信済み画像確認リストから削除する。
Note that the image
なお、画像データ制御装置６００を備えた撮像装置１０１が、複数の映像表示装置に、同時に画像を送信している場合、送信制御部６３０は、複数の映像表示装置すべてにリフレッシュ完了を送信してもよい。これにより、複数の映像表示装置の間で、リフレッシュした状態を同期することができる。
Note that when the
（実施の形態５）
実施の形態５における画像データ制御装置３００は、カテゴリー化ルール保持部が保持するカテゴリー化ルールを変更可能とすることを特徴とする。
(Embodiment 5)
The image
図２９は、本発明の画像データ制御装置を備えた撮像装置の構成図である。 FIG. 29 is a block diagram of an imaging apparatus provided with the image data control apparatus of the present invention.
図２９の撮像装置１０１は、撮像部１０２、送信部１０３、受信部１０４、画像データ制御装置３００を備えている。図２９において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
29 includes an
画像データ制御装置３００は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置２００へ送信するデータを決定する。画像データ制御装置３００は、送信すると決定したデータを送信部１０３に通知する。
The image
受信部１０４は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置２００からデータを受信する。受信部１０４は、映像表示装置２００からカテゴリー化ルールの変更要求を受信し、画像データ制御装置３００に通知する。
The receiving
受信部１０４は、送信部１０３と同様に、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。受信部１０４は、これら通信プロトコルに準拠する形式でパケット化されたデータを、受信する。
Similar to the
画像データ制御装置３００は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部１５０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部３２０、物体画像送信判定部１８０、送信制御部１９０、ルール変更要求受信部３１０を備えている。
The image
ルール変更要求受信部３１０は、受信部１０４から、カテゴリー化ルールの変更要求を受信する。ルール変更要求受信部３１０は、受信した変更要求を、カテゴリー化ルール保持部３２０に通知する。
The rule change
カテゴリー化ルール保持部３２０は、入力部１１０から入力した画像データ内の、物体の画像に対し、類似性を判断する際に使用するルール（カテゴリー化ルール）を保持する。カテゴリー化ルールとは、蓄積済みの画像の中で、一番近い画像に分類するためのルールである。
The categorization
カテゴリー化ルールには、「物体を人間の姿勢認識によって分類し、姿勢が近い画像に同じ画像に分類とする」ことを意味する情報が記載されている。記載方法は、テキスト形式の文字列で表現してもよい。また、記載方法は、予め定義された変数値によって表現してもよい。 The categorization rule describes information meaning that “objects are classified based on human posture recognition and classified into the same image as an image with a similar posture”. The description method may be expressed as a text string. The description method may be expressed by a predefined variable value.
カテゴリー化ルール保持部３２０は、例えば、フラッシュメモリなどの不揮発性半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性の記録媒体に、カテゴリー化ルールを保持している。
The categorization
カテゴリー化ルール保持部３２０は、ルール変更要求受信部３１０から通知された変更要求に基づいて、カテゴリー化ルールを更新する。
The categorization
実施の形態５において、画像データ制御装置３００の、撮像部１０２から画像データを受け取った際の動作は、実施の形態１で図５を用いて説明した処理と同様である。
In the fifth embodiment, the operation of the image
画像データ制御装置３００は、カテゴリー化ルールの変更要求を受信することにより、カテゴリー化ルール保持部３２０が保持しているルールを更新する。画像送信判定処理において、図６のステップＳ２１０で、物体画像送信判定部１８０は、更新後のカテゴリー化ルールを取得する。よって、画像送信判定処理のステップＳ２３０からステップＳ２５０で行う、画像解析部１２０で検出した物体の画像を分類する仕方が変化し、送信する圧縮画像データを変化させることができる。
The image
画像データ制御装置３００を備えた撮像装置は、カテゴリー化ルールの変更要求を受信し、カテゴリー化ルール保持部３２０が保持するカテゴリー化ルールを変更する。これにより、画像データ制御装置３００を備えた撮像装置は、状況に応じて映像表示装置２００が要求したカテゴリー化ルールに変更することでき、映像表示装置２００を監視する監視者の利便性を向上することができる。
The imaging device including the image
（実施の形態６）
実施の形態６における画像データ制御装置３３０は、複数の映像表示装置に同時に圧縮画像データを送信する場合において、送信先の映像表示装置を動的に変更可能とすることを特徴とする。
(Embodiment 6)
The image
図３０は、本発明の画像データ制御装置を備えた撮像装置の構成図である。 FIG. 30 is a configuration diagram of an image pickup apparatus including the image data control apparatus of the present invention.
図３０の撮像装置３６０は、撮像部１０２、送信部１０３、受信部１０４、画像データ制御装置３３０を備えている。図３０において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
30 includes an
図３０の撮像装置３６０は、ネットワークを介して撮像した画像を送信する監視用デジタルビデオカメラとして構成されている。撮像装置３６０は、ネットワーク９９９９と接続しており、ネットワーク９９９９を介して、複数の映像表示装置（２００ａ、２００ｂ、２００ｎ）に画像などのデータを送信する。撮像装置３６０は監視カメラであり、映像表示装置（２００ａ、２００ｂ、２００ｎ）は監視モニタとして、監視システムを構成する。
The
新たに画像の要求を所望する映像表示装置（２００ａ、２００ｂ、２００ｎのいずれか）は、撮像装置３６０に、画像送信要求を送信する。また、画像送信の停止を所望する映像表示装置（２００ａ、２００ｂ、２００ｎのいずれか）は、撮像装置３６０に画像送信停止要求を送信する。
A video display device (any one of 200a, 200b, and 200n) that desires a new image request transmits an image transmission request to the
画像データ制御装置３３０は、撮像部１０２が出力した画像データを受け取り、対象の物体の画像が既に送信済みの画像と状態が類似しているか否かを判定し、判定結果に基づいて、映像表示装置へ送信するデータを決定する。画像データ制御装置３３０は、送信すると決定したデータを送信部１０３に通知する。
The image
受信部１０４は、ネットワーク９９９９に接続しており、ネットワーク９９９９を介して映像表示装置からデータを受信する。受信部１０４は、映像表示装置から画像送信要求を受信し、画像データ制御装置３３０に通知する。
The receiving
受信部１０４は、送信部１０３と同様に、イーサネット（登録商標）規格や、ＴＣＰ／ＩＰやＲＴＰといった一般的な通信プロトコルを利用することによって、映像表示装置２００と通信する機能を実現する。受信部１０４は、これら通信プロトコルに準拠する形式でパケット化されたデータを、受信する。
Similar to the
画像データ制御装置３３０は、入力部１１０、画像解析部１２０、画像切り出し部１３０、エンコード部１４０、送信済み画像確認リスト蓄積部１５０、画像ＩＤ付与部１６０、カテゴリー化ルール保持部１７０、物体画像送信判定部１８０、送信制御部３５０、画像送信要求受信部３４０を備えている。
The image
画像送信要求受信部３４０は、受信部１０４から、画像の送信を新たに要求する画像送信要求を受信する。画像送信要求は、送信を要求する映像表示装置のアドレスを含んでいる。画像送信要求受信部３４０は、画像送信要求を受信すると、送信制御部３５０に、画像送信要求に含まれるアドレスを、送信先アドレスに追加するよう指示する。
The image transmission
画像送信要求受信部３４０は、画像送信を停止する要求である画像送信停止要求を受信する。画像送信要求は、送信の停止を要求する映像表示装置のアドレスを含んでいる。画像送信要求受信部３４０は、画像送信停止要求を受信すると、送信制御部３５０に、画像送信停止要求に含まれるアドレスを、送信先アドレスから削除するよう指示する。
The image transmission
送信制御部３５０は、物体画像送信判定部１８０の判定結果に応じて、複数の映像表示装置に送信するデータを、送信部１０３に出力する。画像データを送信する場合、送信制御部３５０は、送信する画像の画像ＩＤと、画像データと、物体の領域情報を含むメタデータを生成し、出力する。画像データを送信しない場合は、送信制御部３５０は、一番近いと分類された、送信済みの画像の画像ＩＤと、物体の領域情報を含むメタデータを生成し、出力する。
The
送信制御部３５０は、送信先の映像表示装置のアドレスを、送信先アドレスとして記憶した送信先リストを保持している。送信制御部３５０は、図８のステップＳ４３０、Ｓ４５０などにてデータを送信する際は、送信先リストに記憶されている全アドレスにデータを送信する。
The
送信制御部３５０は、画像送信要求受信部３４０から、送信先アドレスの追加指示を受けると、送信先リストに新たな送信先のアドレスを追加する。
Upon receiving an instruction to add a transmission destination address from the image transmission
送信制御部３５０は、画像送信要求受信部３４０から、送信先アドレスの削除指示を受けると、送信先リストから指示されたアドレスを削除する。
When receiving a transmission destination address deletion instruction from the image transmission
これにより、送信制御部３５０は、画像送信中においても、送信先の映像表示装置を動的に増減することができる。
As a result, the
図３１は、実施の形態６における画像データ制御装置３３０の、撮像部１０２から画像データを受け取った際の動作を示すフローチャートである。なお、図３１において、図５と同じ処理を行うステップについては同じ符号を用い、説明を省略する。
FIG. 31 is a flowchart illustrating an operation when image data is received from the
ステップＳ１４１０において、送信制御部３５０は、送信先リストを参照し、送信先アドレスが格納されているか否かを確認する。確認の結果、送信先アドレスが格納されていれば、ステップＳ４００に遷移する。送信先リストに送信先アドレスが格納されていない場合は、処理を終了する。
In step S1410, the
画像データ制御装置３３０を備えた撮像装置は、画像送信要求や画像送信停止要求を受信し、受信した要求に応じて送信制御部３５０に送信先アドレスの追加、削除を指示し、データの送信先を動的に変更する。これにより、画像データ制御装置３３０を備えた撮像装置は、状況に応じて、送信先の映像表示装置（２００ａ、２００ｂ、２００ｎ）を変更し、データの受信を望まない映像表示装置へのデータ送信を行わない。これにより、ネットワークのトラフィックを低減することができる。
The imaging device including the image
なお、画像データ制御装置３３０を備えた撮像装置は、初期状態では送信制御部３５０が保持する送信先リストを空にしておき、送信要求があった相手にのみ画像を送信する。
Note that the imaging device including the image
なお、実施の形態１から実施の形態６のカテゴリー化ルール保持部は、物体画像送信判定部の外に配置していたが、例えば、カテゴリー化ルール保持部の内部に配置してもよい。 In addition, although the categorization rule holding unit according to the first to sixth embodiments is arranged outside the object image transmission determination unit, for example, it may be arranged inside the categorization rule holding unit.
なお、実施の形態１から実施の形態６の画像データ制御装置を備えた撮像装置は、ネットワークを介して、映像蓄積サーバ、状況解析サーバ（独自に画像を解析、例えば、高精度の顔認証用サーバ）などに接続し、必要な処理を外部の装置で分散処理してもよい。 Note that the imaging apparatus including the image data control apparatus according to the first to sixth embodiments is connected to a video storage server, a situation analysis server (for independently analyzing images, for example, for high-accuracy face authentication via a network). Server) or the like, and necessary processing may be distributed by an external device.
なお、実施の形態１から実施の形態６における各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。上記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。 Each device in the first to sixth embodiments is specifically a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like. A computer program is stored in the RAM or hard disk unit. Each device achieves its functions by the microprocessor operating according to the computer program. Here, the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
また、実施の形態１から実施の形態６において、画像データ制御装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。上記ＲＡＭには、コンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
In
また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されていてもよいし、一部またはすべてを含むように１チップ化されていてもよい。 In addition, each part of the components constituting each of the above devices may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
また、ここでは、システムＬＳＩと呼称したが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。 Although referred to here as a system LSI, it may be referred to as an IC, LSI, super LSI, or ultra LSI depending on the degree of integration. Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. Alternatively, a field programmable gate array (FPGA) that can be programmed after manufacturing the LSI, or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。 Further, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out component integration using this technology. Biotechnology can be applied.
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。 In the present invention, the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
また、本発明は、上記実施の形態１から実施の形態６をそれぞれ組み合わせるとしてもよい。また、今回開示された実施の形態および変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The present invention may be combined with any of the first to sixth embodiments. Moreover, it should be thought that embodiment and the modification which were disclosed this time are illustrations in all points, and are not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
本発明にかかる画像データ制御装置は、対象とする物体がすでに送信済みの画像と近い画像である場合は、画像データを送信せずに、類似している送信済み画像を識別する情報を送信する機能を有し、ネットワークを介して画像を送信する監視カメラ、Ｗｅｂカメラ、デジタルビデオカメラ等として有用である。また、テレビ会議システム、テレビ電話機能を有する携帯電話などの用途にも応用することができる。 The image data control device according to the present invention transmits information for identifying similar transmitted images without transmitting image data when the target object is an image close to the already transmitted image. It has a function and is useful as a surveillance camera, a Web camera, a digital video camera, or the like that transmits an image via a network. Further, it can be applied to uses such as a video conference system and a mobile phone having a video phone function.
１０１，３６０ 撮像装置
１００，３００，３３０，４００，５００，６００ 画像データ制御装置
１０２ 撮像部
１０３ 送信部
１０４ 受信部
１１０ 入力部
１２０ 画像解析部
１３０ 画像切り出し部
１４０ エンコード部
１５０，４１０，６１０ 送信済み画像確認リスト蓄積部
１６０ 画像ＩＤ付与部
１７０，３２０ カテゴリー化ルール保持部
１８０，４２０ 物体画像送信判定部
１９０，３５０，４３０，５２０，６３０ 送信制御部
２００，２００ａ，２００ｂ，２００ｎ 映像表示装置
２１０ 受信部
２２０ 画像蓄積部
２３０ デコード部
２４０ リサイズ部
２５０ 合成部
２６０ 表示部
５１０ 再送要求受信部
６２０ リフレッシュ要求受信部
３１０ ルール変更要求受信部
３４０ 画像送信要求受信部
９９９９ ネットワーク
101, 360
Claims (1)
前記入力した画像データから、前記画像解析手段が出力した前記領域情報が示す領域の画像を切り出して出力する画像切り出し手段と、
前記画像切り出し手段が出力した切り出し画像データを、エンコードして圧縮画像データを生成するエンコード手段と、
画像データを識別する画像ＩＤを付与し、画像データと画像ＩＤと画像を対応付ける画像ＩＤ付与手段と、
送信した画像データと、前記送信した画像データに付与された画像ＩＤとを送信済み画像確認リストとして蓄積し、送信履歴を管理する送信済み画像確認リスト蓄積手段と、
前記画像解析手段が検出した物体の画像に対し、前記画像確認リスト蓄積手段に蓄積されている画像の中で、一番近い画像に分類するためのルールであるカテゴリー化ルールを保持するカテゴリー化ルール保持手段と、
前記カテゴリー化ルール保持手段が保持している前記カテゴリー化ルールを用いて、前記画像解析手段が検出した物体の画像に対する分類を行い、一番近いと分類された送信済みの画像が、前記送信済み画像確認リストに蓄積されている場合に、前記画像解析手段が検出した物体の画像データを送信しないと判定する物体画像送信判定手段と、
前記物体画像送信判定手段が、前記画像解析手段が検出した物体の画像データを送信しないと判定した場合、送信済み画像確認リストに蓄積されている一番近いと分類された送信済みの画像の画像ＩＤと、前記画像解析手段が検出した物体の領域情報を出力する送信制御手段とを備えることを特徴とする画像データ制御装置。 An image analysis means for detecting an object from input image data, analyzing an image of the detected object, and outputting region information of the detected object;
Image cutout means for cutting out and outputting an image of the area indicated by the area information output by the image analysis means from the input image data;
Encoding means for encoding the cut-out image data output by the image cut-out means to generate compressed image data;
An image ID for identifying the image data, an image ID providing means for associating the image data, the image ID, and the image;
The transmitted image data and the image ID assigned to the transmitted image data are accumulated as a transmitted image confirmation list, and a transmitted image confirmation list accumulating unit for managing a transmission history;
A categorization rule that holds a categorization rule that is a rule for classifying an image of an object detected by the image analysis unit into the closest image among the images stored in the image confirmation list storage unit Holding means;
Using the categorization rule held by the categorization rule holding unit, the image of the object detected by the image analysis unit is classified, and the transmitted image classified as closest is the transmitted image An object image transmission determination unit that determines that image data of the object detected by the image analysis unit is not transmitted when stored in an image confirmation list;
When the object image transmission determination unit determines not to transmit the image data of the object detected by the image analysis unit, the image of the transmitted image classified as the closest stored in the transmitted image confirmation list An image data control apparatus comprising: an ID; and transmission control means for outputting area information of the object detected by the image analysis means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011075007A JP2012209831A (en) | 2011-03-30 | 2011-03-30 | Image data control device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011075007A JP2012209831A (en) | 2011-03-30 | 2011-03-30 | Image data control device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012209831A true JP2012209831A (en) | 2012-10-25 |
Family
ID=47189213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011075007A Withdrawn JP2012209831A (en) | 2011-03-30 | 2011-03-30 | Image data control device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012209831A (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015153294A (en) * | 2014-02-18 | 2015-08-24 | 株式会社東芝 | Information processing apparatus and image data transmission method |
| JP2016110471A (en) * | 2014-12-09 | 2016-06-20 | 日本電気通信システム株式会社 | Watching system, portable terminal, management device, watching method, control method for portable terminal, control method for management device, and program |
| JP2018129588A (en) * | 2017-02-06 | 2018-08-16 | セコム株式会社 | Data distribution system and data distribution method |
| WO2018155258A1 (en) | 2017-02-21 | 2018-08-30 | Sony Semiconductor Solutions Corporation | Video transmission apparatus and video reception apparatus |
| WO2018225449A1 (en) | 2017-06-09 | 2018-12-13 | ソニーセミコンダクタソリューションズ株式会社 | Video transmission device and video reception device |
| WO2019092952A1 (en) | 2017-11-10 | 2019-05-16 | ソニーセミコンダクタソリューションズ株式会社 | Transmission device |
| WO2019093072A1 (en) | 2017-11-10 | 2019-05-16 | Sony Semiconductor Solutions Corporation | Transmission device and method with region of interest mode selection |
| WO2019193842A1 (en) | 2018-04-05 | 2019-10-10 | ソニーセミコンダクタソリューションズ株式会社 | Transmission device, reception device, and communication system |
| JP2019176423A (en) * | 2018-03-29 | 2019-10-10 | キヤノン株式会社 | Information processing apparatus and method, computer program, and monitoring system |
| WO2020261816A1 (en) | 2019-06-28 | 2020-12-30 | ソニーセミコンダクタソリューションズ株式会社 | Sending device, receiving device, and transmission system |
| WO2020261813A1 (en) | 2019-06-28 | 2020-12-30 | ソニーセミコンダクタソリューションズ株式会社 | Transmission device, reception device, and transport system |
| WO2020261815A1 (en) | 2019-06-28 | 2020-12-30 | ソニーセミコンダクタソリューションズ株式会社 | Transmission device, reception device, and communication system |
| WO2020261814A1 (en) | 2019-06-28 | 2020-12-30 | ソニーセミコンダクタソリューションズ株式会社 | Transmission device, reception device, and transport system |
| WO2021020214A1 (en) | 2019-07-31 | 2021-02-04 | ソニーセミコンダクタソリューションズ株式会社 | Transmission device, reception device, and communication system |
| JPWO2019188039A1 (en) * | 2018-03-26 | 2021-03-11 | 株式会社日立国際電気 | Image processing system |
| US11416705B2 (en) | 2017-07-27 | 2022-08-16 | Mitsubishi Heavy Industries, Ltd. | Model learning device, method for learned model generation, program, learned model, monitoring device, and monitoring method |
| DE112021001996T5 (en) | 2020-03-31 | 2023-02-02 | Sony Semiconductor Solutions Corporation | TRANSMITTER, RECEIVER AND TRANSMISSION SYSTEM |
| US12041344B2 (en) | 2019-06-28 | 2024-07-16 | Sony Semiconductor Solutions Corporation | Transmitting apparatus, receiving apparatus, and transmission system |
-
2011
- 2011-03-30 JP JP2011075007A patent/JP2012209831A/en not_active Withdrawn
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015153294A (en) * | 2014-02-18 | 2015-08-24 | 株式会社東芝 | Information processing apparatus and image data transmission method |
| JP2016110471A (en) * | 2014-12-09 | 2016-06-20 | 日本電気通信システム株式会社 | Watching system, portable terminal, management device, watching method, control method for portable terminal, control method for management device, and program |
| JP2018129588A (en) * | 2017-02-06 | 2018-08-16 | セコム株式会社 | Data distribution system and data distribution method |
| US12028618B2 (en) | 2017-02-21 | 2024-07-02 | Sony Semiconductor Solutions Corporation | Video transmission apparatus and video reception apparatus |
| WO2018155258A1 (en) | 2017-02-21 | 2018-08-30 | Sony Semiconductor Solutions Corporation | Video transmission apparatus and video reception apparatus |
| US11323617B2 (en) | 2017-02-21 | 2022-05-03 | Sony Semiconductor Solutions Corporation | Video transmission apparatus and video reception apparatus |
| WO2018225449A1 (en) | 2017-06-09 | 2018-12-13 | ソニーセミコンダクタソリューションズ株式会社 | Video transmission device and video reception device |
| KR20200016229A (en) | 2017-06-09 | 2020-02-14 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Video transmitter and video receiver |
| KR20230036167A (en) | 2017-06-09 | 2023-03-14 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Video transmission device and video reception device |
| US11416705B2 (en) | 2017-07-27 | 2022-08-16 | Mitsubishi Heavy Industries, Ltd. | Model learning device, method for learned model generation, program, learned model, monitoring device, and monitoring method |
| WO2019093072A1 (en) | 2017-11-10 | 2019-05-16 | Sony Semiconductor Solutions Corporation | Transmission device and method with region of interest mode selection |
| WO2019092952A1 (en) | 2017-11-10 | 2019-05-16 | ソニーセミコンダクタソリューションズ株式会社 | Transmission device |
| KR20200087134A (en) | 2017-11-10 | 2020-07-20 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Transmission apparatus and method with region of interest mode selection |
| KR20200087751A (en) | 2017-11-10 | 2020-07-21 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Transmitting device |
| US11606527B2 (en) | 2017-11-10 | 2023-03-14 | Sony Semiconductor Solutions Corporation | Transmitter |
| US11074023B2 (en) | 2017-11-10 | 2021-07-27 | Sony Semiconductor Solutions Corporation | Transmission device |
| JP7045445B2 (en) | 2018-03-26 | 2022-03-31 | 株式会社日立国際電気 | Image processing system |
| JPWO2019188039A1 (en) * | 2018-03-26 | 2021-03-11 | 株式会社日立国際電気 | Image processing system |
| JP2019176423A (en) * | 2018-03-29 | 2019-10-10 | キヤノン株式会社 | Information processing apparatus and method, computer program, and monitoring system |
| JP7170411B2 (en) | 2018-03-29 | 2022-11-14 | キヤノン株式会社 | Information processing device and method, computer program, and monitoring system |
| US11297279B2 (en) | 2018-04-05 | 2022-04-05 | Sony Semiconductor Solutions Corporation | Transmission device, reception device, and communication system |
| WO2019193842A1 (en) | 2018-04-05 | 2019-10-10 | ソニーセミコンダクタソリューションズ株式会社 | Transmission device, reception device, and communication system |
| KR20220031556A (en) | 2019-06-28 | 2022-03-11 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Transmitting device, receiving device and transmitting system |
| WO2020261814A1 (en) | 2019-06-28 | 2020-12-30 | ソニーセミコンダクタソリューションズ株式会社 | Transmission device, reception device, and transport system |
| WO2020261815A1 (en) | 2019-06-28 | 2020-12-30 | ソニーセミコンダクタソリューションズ株式会社 | Transmission device, reception device, and communication system |
| WO2020261813A1 (en) | 2019-06-28 | 2020-12-30 | ソニーセミコンダクタソリューションズ株式会社 | Transmission device, reception device, and transport system |
| WO2020261816A1 (en) | 2019-06-28 | 2020-12-30 | ソニーセミコンダクタソリューションズ株式会社 | Sending device, receiving device, and transmission system |
| US11871008B2 (en) | 2019-06-28 | 2024-01-09 | Sony Semiconductor Solutions Corporation | Transmitting apparatus, receiving apparatus, and transmission system |
| US12041344B2 (en) | 2019-06-28 | 2024-07-16 | Sony Semiconductor Solutions Corporation | Transmitting apparatus, receiving apparatus, and transmission system |
| WO2021020214A1 (en) | 2019-07-31 | 2021-02-04 | ソニーセミコンダクタソリューションズ株式会社 | Transmission device, reception device, and communication system |
| KR20220037445A (en) | 2019-07-31 | 2022-03-24 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Transmitting device, receiving device and communication system |
| DE112021001996T5 (en) | 2020-03-31 | 2023-02-02 | Sony Semiconductor Solutions Corporation | TRANSMITTER, RECEIVER AND TRANSMISSION SYSTEM |
| US11900572B2 (en) | 2020-03-31 | 2024-02-13 | Sony Semiconductor Solutions Corporation | Transmission device, reception device, and transmission system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012209831A (en) | Image data control device | |
| JP2022023887A (en) | Appearance search system and method | |
| US7636453B2 (en) | Object detection | |
| US8384791B2 (en) | Video camera for face detection | |
| JP4642128B2 (en) | Image processing method, image processing apparatus and system | |
| GB2414614A (en) | Image processing to determine most dissimilar images | |
| EP1567971A2 (en) | Face detection | |
| US11710347B2 (en) | Information processing apparatus, information processing method, and program | |
| WO2004051552A2 (en) | Face detection | |
| GB2414616A (en) | Comparing test image with a set of reference images | |
| JP2019160001A (en) | Image processing device, image processing method, and program | |
| JP5674670B2 (en) | Data processing apparatus and data processing method | |
| JP6203188B2 (en) | Similar image search device | |
| US10984249B2 (en) | Information processing apparatus, system, control method for information processing apparatus, and non-transitory computer readable storage medium | |
| JP2024045460A (en) | Information processing system, information processing device, information processing method, and program | |
| JP6679373B2 (en) | Face detection device, face detection method, and face recognition system | |
| US11553162B2 (en) | Image processing system for extending a range for image analytics | |
| JP2016021716A (en) | Tracking device and control method of the same | |
| US20240214670A1 (en) | Method and electronic device for photographing object for identification of companion animal | |
| GB2414613A (en) | Modifying pixels in dependence on surrounding test region |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140603 |