JP4750634B2 - Image processing system, image processing apparatus, information processing apparatus, and program - Google Patents

Image processing system, image processing apparatus, information processing apparatus, and program Download PDF

Info

Publication number
JP4750634B2
JP4750634B2 JP2006189809A JP2006189809A JP4750634B2 JP 4750634 B2 JP4750634 B2 JP 4750634B2 JP 2006189809 A JP2006189809 A JP 2006189809A JP 2006189809 A JP2006189809 A JP 2006189809A JP 4750634 B2 JP4750634 B2 JP 4750634B2
Authority
JP
Japan
Prior art keywords
frame
display
image
object image
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006189809A
Other languages
Japanese (ja)
Other versions
JP2008022081A (en
JP2008022081A5 (en
Inventor
啓介 鍵和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006189809A priority Critical patent/JP4750634B2/en
Publication of JP2008022081A publication Critical patent/JP2008022081A/en
Publication of JP2008022081A5 publication Critical patent/JP2008022081A5/ja
Application granted granted Critical
Publication of JP4750634B2 publication Critical patent/JP4750634B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理システム、画像処理装置、情報処理装置並びにプログラムに関する。 The present invention relates to an image processing system, an image processing apparatus , an information processing apparatus , and a program.

人間の目には速くてわからない高速な現象を記録するカメラとして、高速度カメラ（ハイスピードカメラ）が知られている。このような高速度カメラは、高速に移動する物体を撮影することによく利用されているが、監視カメラ用途として監視画像の異常を検出するために利用することも考えられている。そこで、高速度カメラで撮影し、センサなどが出力するトリガ信号を検出した場合に高速度カメラの映像を記録することが提案されている（特許文献１参照）。
特開平０９-２８４７５１号公報 A high-speed camera (high-speed camera) is known as a camera that records a high-speed phenomenon that is not obvious to human eyes. Such a high-speed camera is often used for photographing an object that moves at high speed, but it is also considered to be used for detecting an abnormality in a monitoring image as a monitoring camera application. In view of this, it has been proposed to record an image of a high-speed camera when a trigger signal output from a sensor or the like is detected by photographing with a high-speed camera (see Patent Document 1).
Japanese Patent Application Laid-Open No. 09-284751

しかしながら、表示レート映像で監視画像を表示しながら、表示映像では確認することが困難な、表示レート間で起きた変化を知ることはできなかった。 However, while displaying the monitoring image with the display rate video, it was impossible to know the change that occurred between the display rates , which was difficult to confirm with the display video .

そこで、本発明は、表示レート映像で監視画像を表示しながらも、表示映像では確認することが困難な、表示レート間でおきた変化を知らせることを目的とする。 Accordingly, an object of the present invention is to notify a change occurring between display rates, which is difficult to confirm with a display video while displaying a monitoring image with a display rate video.

上記課題を解決するための一つの側面に対応する本発明は、情報処理装置と画像処理装置とが接続された画像処理システムであって、
前記画像処理装置は、
前記情報処理装置における画像の表示レートよりも高い高速レートであって、前記表示レートで連続するフレームの撮像の間に複数のフレームが撮像される高速レートにて被写体を撮像する撮像手段と、
前記表示レートで連続する第１及び第２のフレームの撮像の間に前記高速レートで撮像された第３及び第４のフレームのそれぞれと、前記第１のフレームとの比較によりオブジェクト画像を抽出する抽出手段と、
前記第１のフレームと前記第３のフレームとの比較により抽出されたオブジェクト画像と、当該オブジェクト画像の表示位置を示す第１の表示位置情報と、前記第１のフレームと前記第４のフレームとの比較により前記抽出されたオブジェクト画像と、当該オブジェクト画像の表示位置を示す第２の表示位置情報と、前記第１及び第２のフレームとを前記情報処理装置へ送信する送信手段とを有し、
前記情報処理装置は、
前記第１のフレームと前記第３のフレームとの比較により抽出されたオブジェクト画像と、前記第１のフレームと前記第４のフレームとの比較により抽出されたオブジェクト画像と、前記第１及び第２の表示位置情報と、前記第１及び第２のフレームとを受信する受信手段と、
前記第１のフレーム、前記第１のフレームと前記第３のフレームとの比較により抽出されたオブジェクト画像が前記第１の表示位置情報に基づいて前記第１のフレームに合成されたフレーム、前記第１のフレームと前記第４のフレームとの比較により抽出されたオブジェクト画像が前記第２の表示位置情報に基づいて前記第１のフレームに合成されたフレーム、前記第２のフレームを、前記表示レートで順次表示させる表示制御手段と
を有することを特徴とする。 The present invention corresponding to one aspect for solving the above problem is an image processing system in which an information processing device and an image processing device are connected ,
The image processing apparatus includes:
An imaging unit that images a subject at a high-speed rate that is higher than a display rate of an image in the information processing apparatus and that captures a plurality of frames during imaging of frames that are continuous at the display rate ;
An object image is extracted by comparing each of the third and fourth frames imaged at the high-speed rate with the first frame during imaging of the first and second frames continuous at the display rate. Extraction means;
An object image extracted by comparing the first frame and the third frame; first display position information indicating a display position of the object image; the first frame and the fourth frame; Transmission means for transmitting the object image extracted by the comparison, second display position information indicating the display position of the object image, and the first and second frames to the information processing apparatus. ,
The information processing apparatus includes:
An object image extracted by comparing the first frame and the third frame, an object image extracted by comparing the first frame and the fourth frame, and the first and second frames Receiving position information and receiving means for receiving the first and second frames;
The first frame, a frame in which the object image extracted by comparing the first frame and the third frame is combined with the first frame based on the first display position information, A frame in which an object image extracted by comparing the first frame and the fourth frame is combined with the first frame based on the second display position information, and the second frame, the display rate Display control means for displaying in sequence with
It is characterized by having .

本発明によれば、表示レート映像で監視画像を表示しながらも、表示映像では確認することが困難な表示レート間の映像を高速レート映像として記録・表示することが可能となる。   According to the present invention, it is possible to record and display a video between display rates that are difficult to confirm with a display video as a high-rate video while displaying a monitoring image with a display rate video.

以下、図面を用いて発明の実施形態について詳細に説明する。   Hereinafter, embodiments of the invention will be described in detail with reference to the drawings.

（第１の実施形態）
以下、本発明の第１の実施形態について詳細に説明する。図１は、本発明第１の実施形態によるネットワークカメラを想定した撮像装置のハードウェア構成の一例を示す図である。 (First embodiment)
Hereinafter, a first embodiment of the present invention will be described in detail. FIG. 1 is a diagram illustrating an example of a hardware configuration of an imaging apparatus assuming a network camera according to the first embodiment of the present invention.

図１において、画像処理装置としての撮像装置１０１は、以下の構成要素を備える。まず、撮像素子＋AFE(Analog Front End)１０２はレンズを有し、素子制御部１０３からの表示レート情報や撮像モード情報を受信し、レンズで集積された光の電気信号への変換、センサレートの設定、ノイズ処理などを行う。   In FIG. 1, an imaging apparatus 101 as an image processing apparatus includes the following components. First, the imaging device + AFE (Analog Front End) 102 has a lens, receives display rate information and imaging mode information from the device control unit 103, converts light integrated in the lens into an electrical signal, and sensor rate. Perform settings and noise processing.

ここで、表示レート情報とは、表示装置１１５における表示に関する情報であって、例えば、３０ｆｐｓ（frame per second）を示す情報が含まれる。また、撮像モード情報とは、撮像素子＋AFE１０２における撮像モードを表す情報である。例えば、表示レート（例えば３０ｆｐｓ）に対応したフレームレートでの撮像を行う低速レート撮像モードと、表示レートよりも高いフレームレートでの撮像を行う高速レート撮像モードとが含まれる。   Here, the display rate information is information related to display on the display device 115 and includes, for example, information indicating 30 fps (frame per second). The imaging mode information is information representing the imaging mode in the imaging element + AFE 102. For example, a low-speed imaging mode in which imaging is performed at a frame rate corresponding to a display rate (for example, 30 fps) and a high-speed imaging mode in which imaging is performed at a frame rate higher than the display rate are included.

本実施形態における撮像モードについて、図５を参照してより詳細に説明する。図５は、本実施形態に対応する撮像モードを説明するための図である。   The imaging mode in the present embodiment will be described in more detail with reference to FIG. FIG. 5 is a diagram for describing an imaging mode corresponding to the present embodiment.

本実施形態では、低速レート撮像モードと、高速モード撮像モードとの２種類の撮像モードを想定している。低速レート撮像モード５０１は、ＮＴＳＣの３０ｆｐｓのフレームレートに対応した撮像モードであって、１／３０秒間に１枚のフレーム画像が撮像される。図５では、Ａ、Ａ’、Ａ’’、Ａ’’’がそれぞれ低速レート撮像モード５０１において撮像されたフレーム画像である。このようなフレーム画像を、本実施形態では「低速レート画像」という。   In the present embodiment, two types of imaging modes, a low-rate imaging mode and a high-speed imaging mode, are assumed. The low-speed imaging mode 501 is an imaging mode corresponding to the NTSC 30 fps frame rate, and one frame image is captured in 1/30 seconds. In FIG. 5, A, A ′, A ″, and A ″ ″ are frame images captured in the low-rate imaging mode 501, respectively. Such a frame image is referred to as a “low-rate image” in the present embodiment.

一方、高速レート撮像モード５０２は、３０ｆｐｓよりも高速、例えば１２０ｆｐｓのフレームレートに対応した撮像モードであって、１／１２０秒間に１枚のフレーム画像が撮像される。図５では、ａ〜ｄ、ａ’〜ｄ’、ａ’’〜ｄ’’、ａ’’’〜ｄ’’’がそれぞれ高速レート撮像モード５０２において撮像されたフレーム画像である。このようなフレーム画像を、本実施形態では「高速レート画像」という。   On the other hand, the high-speed rate imaging mode 502 is an imaging mode corresponding to a frame rate higher than 30 fps, for example, 120 fps, and one frame image is captured in 1/120 seconds. In FIG. 5, a to d, a ′ to d ′, a ″ to d ″, and a ″ ″ to d ″ ″ are frame images captured in the high-speed rate imaging mode 502, respectively. Such a frame image is referred to as a “high-speed rate image” in the present embodiment.

素子制御部１０３は、撮像制御部１１０から受信した表示レート情報や撮像モード情報を、撮像素子＋AFE１０２に伝達する回路である。フレーム制御部１０４は、撮像素子＋AFE１０２から受信したフレーム画像を、撮像制御部１１０から受信した表示レート情報や撮像モード情報に応じてフレームメモリ１０５に転送して、記憶させる回路である。フレーム制御部１０４はまた、フレーム画像のうち表示レートに対応する画像（以下、「表示レート画像」という。）については、フレームメモリ１０５に転送するだけでなく、画像処理部１０８にも転送する。   The element control unit 103 is a circuit that transmits display rate information and imaging mode information received from the imaging control unit 110 to the imaging element + AFE 102. The frame control unit 104 is a circuit that transfers and stores the frame image received from the imaging element + AFE 102 to the frame memory 105 according to the display rate information and imaging mode information received from the imaging control unit 110. The frame control unit 104 also transfers an image corresponding to the display rate (hereinafter referred to as “display rate image”) among the frame images to the image processing unit 108 as well as the frame memory 105.

なお、図５の高速レート撮像モード５０２で撮像を行っている場合、１／１２０秒間隔で撮像された高速レート画像は、順にフレームメモリ１０５に転送される。また、高速レート画像のうちａ、ａ’、ａ’’及びａ’’’のフレーム画像は、表示レート画像として画像処理部１０８に転送される。   Note that when imaging is performed in the high-speed rate imaging mode 502 of FIG. 5, high-rate images captured at 1/120 second intervals are sequentially transferred to the frame memory 105. In addition, the frame images of a, a ′, a ″, and a ′ ″ among the high-speed rate images are transferred to the image processing unit 108 as display rate images.

フレームメモリ１０５は、フレーム制御部１０４から転送されたフレーム画像を記憶する記憶媒体である。フレーム間差分検出部１０６は、フレームメモリ１０５に記憶されている複数のフレーム画像について、フレーム間の動き量、色、輝度情報などの差分を検出して、差分情報を生成する。そして、差分が検出されたフレーム画像については、フレームメモリ１０５に記憶された該フレーム画像を画像処理部１０８へ送信する。このフレーム画像は、記録部１１３に静止画記録されることとなる。また、表示レート画像にアトリビュート情報を付加するために、アトリビュート生成部１０７に検出した差分情報や、差分検出の際に併せて取得されたフレームの動き量や、オブジェクト情報などを送信する。   The frame memory 105 is a storage medium that stores the frame image transferred from the frame control unit 104. The inter-frame difference detection unit 106 detects differences such as the amount of motion, color, and luminance information between frames for a plurality of frame images stored in the frame memory 105, and generates difference information. For the frame image in which the difference is detected, the frame image stored in the frame memory 105 is transmitted to the image processing unit 108. This frame image is recorded as a still image in the recording unit 113. Further, in order to add attribute information to the display rate image, the difference information detected by the attribute generation unit 107, the amount of motion of the frame acquired together with the difference detection, object information, and the like are transmitted.

アトリビュート生成部１０７は、フレーム間差分検出部１０６から受信した差分情報等に応じて、アトリビュート情報を生成し、ネットワーク制御部１１１に送信する回路である。ここでアトリビュート情報とは、フレーム間差分として検出された差分情報の属性を示す情報であって、例えば、動き量、動き方向、色、輝度、オブジェクト内容、オブジェクト位置などが含まれる。本実施形態では、このアトリビュート情報を参照して、低速フレーム画像のフレーム間でオブジェクトなどが検出されたか否かを確認することができる。もし、該オブジェクトの検出が確認されれば、表示装置１１５側で、高速レート画像を参照することができる。   The attribute generation unit 107 is a circuit that generates attribute information according to the difference information received from the inter-frame difference detection unit 106 and transmits the attribute information to the network control unit 111. Here, the attribute information is information indicating an attribute of difference information detected as an inter-frame difference, and includes, for example, a motion amount, a motion direction, a color, luminance, object content, an object position, and the like. In the present embodiment, it is possible to confirm whether or not an object or the like has been detected between frames of the low-speed frame image with reference to this attribute information. If the detection of the object is confirmed, the high-speed rate image can be referred to on the display device 115 side.

画像処理部１０８は、入力されたフレーム画像を現像処理し、幾何変換やノイズ低減処理などの画像処理を行う回路である。処理後のフレーム画像は圧縮処理部１０９へ送信される。圧縮処理部１０９は、画像処理部１０８で処理されたフレーム画像に、ＭＰＥＧやＭｏｔｉｏｎＪＰＥＧ、ＪＰＥＧなどの方式に従った圧縮処理を施す回路である。処理後のフレーム画像はネットワーク制御部１１１に転送される。また、撮像制御部１１０から、表示レート情報及び撮像モード情報に基づき、記録部１１３に記録すべき高速レート画像をＪＰＥＧ方式で圧縮処理して、ネットワーク制御部１１１に転送する。   The image processing unit 108 is a circuit that develops an input frame image and performs image processing such as geometric conversion and noise reduction processing. The processed frame image is transmitted to the compression processing unit 109. The compression processing unit 109 is a circuit that performs compression processing on the frame image processed by the image processing unit 108 according to a method such as MPEG, Motion JPEG, or JPEG. The processed frame image is transferred to the network control unit 111. Further, the high-speed rate image to be recorded in the recording unit 113 is compressed by the JPEG method from the imaging control unit 110 based on the display rate information and the imaging mode information and transferred to the network control unit 111.

撮像制御部１１０は、ネットワーク制御部１１１から受信した表示装置１１５の表示レート情報や撮像モード情報を、素子制御部１０３、フレーム制御部１０４、画像処理部１０８及び圧縮処理部１０９に伝達する。撮像制御部１１０は、ＣＰＵなどの処理装置によって構成される。ネットワーク制御部１１１は、ネットワーク入出力部１１２から受信した表示装置１１５の表示レート情報や撮像モード情報を撮像制御部１１０に送信する。ネットワーク制御部１１１は、ＣＰＵなどの処理装置を有する。また、圧縮処理部１０９で圧縮されたフレーム画像をネットワーク入出力部１１２へ送信する。その際、アトリビュート生成部１０７でアトリビュート情報が生成されている場合は、当該アトリビュート情報を送信データに付加する。また、圧縮処理部１０９から得られた高速レート画像を記録部１１３に転送して、記録させる。 The imaging control unit 110 transmits the display rate information and imaging mode information of the display device 115 received from the network control unit 111 to the element control unit 103, the frame control unit 104, the image processing unit 108, and the compression processing unit 109. The imaging control unit 110 is configured by a processing device such as a CPU. The network control unit 111 transmits the display rate information and imaging mode information of the display device 115 received from the network input / output unit 112 to the imaging control unit 110. The network control unit 111 has a processing device such as a CPU. In addition, the frame image compressed by the compression processing unit 109 is transmitted to the network input / output unit 112. At this time, if the attribute information is generated by the attribute generation unit 107, the attribute information is added to the transmission data. Further, the high-speed rate image obtained from the compression processing unit 109 is transferred to the recording unit 113 for recording.

ネットワーク入出力部１１２は、ネットワーク１１４を経由して表示装置１１５と接続する回路である。また、ネットワーク１１４を経由して表示装置１１５からの映像データの転送要求や記録部１１３への記録要求を受信する。ネットワーク制御部１１１から受信した映像データはネットワーク１１４を経由して表示装置１１５へ転送される。   The network input / output unit 112 is a circuit connected to the display device 115 via the network 114. Also, a video data transfer request from the display device 115 and a recording request to the recording unit 113 are received via the network 114. The video data received from the network control unit 111 is transferred to the display device 115 via the network 114.

記録部１１３は、表示装置１１５からフレーム画像の記録要求があった場合は表示レート画像のグループを動画像データとして記録する不揮発性のメモリを有する。また、通常の表示レート（例えば、３０ｆｐｓ）では撮像できないオブジェクトが高速レート画像で検出された場合は、オブジェクトを含む高速レート画像を静止画として記録部１１３へ記録する。ネットワーク１１４は、例えば、インターネットやＬＡＮなどで構成される。撮像装置１０１は、ネットワーク１１４を介して表示装置１１５と接続される。   The recording unit 113 includes a non-volatile memory that records a group of display rate images as moving image data when the display device 115 requests to record a frame image. When an object that cannot be captured at a normal display rate (for example, 30 fps) is detected in the high-speed image, the high-speed image including the object is recorded in the recording unit 113 as a still image. The network 114 is configured by, for example, the Internet or a LAN. The imaging device 101 is connected to the display device 115 via the network 114.

表示装置１１５は、情報処理装置であって、本実施の形態においてはパーソナル・コンピュータ（ＰＣ）で構成することができる。但し、ＰＣに限らず、単なるディスプレイや、携帯型の情報端末（ＰＤＡや携帯電話）等で構成されてもよい。   The display device 115 is an information processing device, and can be configured by a personal computer (PC) in this embodiment. However, it is not limited to a PC, and may be configured by a simple display, a portable information terminal (PDA or mobile phone), or the like.

ここで、図１４を参照して、表示装置１１５のハードウェア構成の一例を説明する。図１４において、ＣＰＵ１４０１は、ＨＤ（ハードディスク）１４０３に格納されているＯＳ、アプリケーションプログラム等を実行し、ＲＡＭ１４０２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。ＲＡＭ１４０２は、ＣＰＵ１４０１の主メモリ、ワークエリア等として機能する。ＨＤ１４０３は、アプリケーションプログラム、ドライバプログラム、ＯＳ、制御プログラム、本実施形態に対応する処理を実行するための処理プログラム等を格納している。   Here, an example of a hardware configuration of the display device 115 will be described with reference to FIG. In FIG. 14, a CPU 1401 executes an OS, application program, and the like stored in an HD (hard disk) 1403 and performs control to temporarily store information, files, and the like necessary for executing the program in a RAM 1402. The RAM 1402 functions as a main memory, work area, and the like for the CPU 1401. The HD 1403 stores an application program, a driver program, an OS, a control program, a processing program for executing processing corresponding to the present embodiment, and the like.

ディスプレイ１４０４は、キーボード１４０９から入力したコマンドや、外部（撮像装置１０１を含む）から取得した情報等を表示するための表示手段である。ネットワークインターフェイス（以下、Ｉ／Ｆという）１４０５は、ネットワーク１１４に接続するための通信インターフェイスである。ＲＯＭ１４０６には、基本Ｉ／Ｏプログラム等のプログラムを記憶する。   The display 1404 is a display unit for displaying commands input from the keyboard 1409, information acquired from the outside (including the imaging device 101), and the like. A network interface (hereinafter referred to as I / F) 1405 is a communication interface for connecting to the network 114. The ROM 1406 stores a program such as a basic I / O program.

外部記憶ドライブ１４０７は、メディア１４０８に記憶されたプログラム等を本コンピュータシステムにロードすることができる。記録媒体としてのメディア１４０８は、所定のプログラムおよび関連データを格納する。キーボード１４０９は、表示装置１１５の操作者が、指示入力を行うためのユーザインタフェースである。システムバス１４１０は、表示装置１１５内のデータの流れを司るものである。   The external storage drive 1407 can load a program or the like stored in the medium 1408 into the computer system. A medium 1408 as a recording medium stores a predetermined program and related data. A keyboard 1409 is a user interface for an operator of the display device 115 to input instructions. A system bus 1410 manages the flow of data in the display device 115.

本実施形態では、以上の構成において、撮像素子+AFE１０２で撮像されたフレーム画像は、フレーム制御部１０４からフレームメモリ１０５と画像処理部１０８に与えられる。ここで、フレームメモリ１０５では、フレーム間差分検出部１０６によりフレーム間差分検出が行われ、差分が検出されたフレームは画像処理部１０８へ転送される。画像処理部１０８では、フレーム制御部１０４及びフレームメモリ１０５から転送されたフレーム画像の現像などの画像処理が行われ、圧縮処理部１０９で圧縮される。圧縮処理後のフレーム画像のうち、表示レートに対応するデータは、ネットワーク入出力部１１２からネットワーク１１４を通って、表示装置１１５へ送信される。また、差分検出に係るフレーム画像は、記録部１１３に記録される。   In the present embodiment, in the above configuration, a frame image captured by the image sensor + AFE 102 is given from the frame control unit 104 to the frame memory 105 and the image processing unit 108. Here, in the frame memory 105, the inter-frame difference detection unit 106 performs inter-frame difference detection, and the frame in which the difference is detected is transferred to the image processing unit 108. In the image processing unit 108, image processing such as development of the frame image transferred from the frame control unit 104 and the frame memory 105 is performed, and the compression processing unit 109 compresses the image. Of the frame image after compression processing, data corresponding to the display rate is transmitted from the network input / output unit 112 to the display device 115 through the network 114. Further, the frame image relating to the difference detection is recorded in the recording unit 113.

ネットワーク制御部１１１では、ネットワーク入出力部１１２から受信した表示装置１１５からの撮像装置１０１に対する要求が判断され、処理情報が撮像制御部１１０に対して伝えられる。なお、これらの処理は基本的にネットワーク制御部１１１内のCPU上で動作するソフトウエアによって処理される。   In the network control unit 111, a request for the imaging device 101 from the display device 115 received from the network input / output unit 112 is determined, and processing information is transmitted to the imaging control unit 110. Note that these processes are basically performed by software operating on the CPU in the network control unit 111.

次に、図２を参照して、撮像装置１０１に含まれるフレーム間差分検出部１０６及びアトリビュート生成部１０７の構成及び動作の一例を説明する。図２は、本実施形態に対応するフレーム間差分検出部１０６及びアトリビュート生成部１０７の構成の一例を示す図である。   Next, an example of the configuration and operation of the inter-frame difference detection unit 106 and the attribute generation unit 107 included in the imaging apparatus 101 will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of the configuration of the inter-frame difference detection unit 106 and the attribute generation unit 107 corresponding to the present embodiment.

図２において、フレーム間差分検出部１０６は、好適には、フレーム間比較部２０１とフレーム送信要求部２０２とを備えている。フレーム間比較部２０１は、動き量検出部２０３とオブジェクト認識部２０４とを含む。また、動き量検出部２０３の他に、色差検出部、輝度差検出部などを含んでいてもよい。   In FIG. 2, the interframe difference detection unit 106 preferably includes an interframe comparison unit 201 and a frame transmission request unit 202. The inter-frame comparison unit 201 includes a motion amount detection unit 203 and an object recognition unit 204. In addition to the motion amount detection unit 203, a color difference detection unit, a luminance difference detection unit, and the like may be included.

フレーム間比較部２０１は、フレームメモリ１０５に記憶されているフレーム画像中の表示レート画像と高速レート画像とを比較し、動き量を計算する。動き量検出部２０３は、例えば比較されるそれぞれのフレーム画像を所定の画素サイズ（例えば、６４画素×６４画素）のブロックに分割し、ブロック毎の比較を行って、類似するブロックを探索する。そして、ブロック間の誤差が最も小さいものに基づいて、動き量を表す動きベクトルを生成する。動きベクトルが生成され、動き量が検出された場合には、その旨をフレーム送信要求部に通知する。オブジェクト認識部２０４は、ブロック間の差分情報より、オブジェクトとして認識が可能な領域を特定したり、与えられたＬＵＴを参照してフレーム内のオブジェクトを検出したりする。これにより、フレーム画像内からオブジェクト抽出を行う。   The inter-frame comparison unit 201 compares the display rate image in the frame image stored in the frame memory 105 with the high-speed rate image, and calculates the amount of motion. For example, the motion amount detection unit 203 divides each frame image to be compared into blocks of a predetermined pixel size (for example, 64 pixels × 64 pixels), and performs comparison for each block to search for similar blocks. Then, a motion vector representing the amount of motion is generated based on the one having the smallest error between blocks. When a motion vector is generated and the amount of motion is detected, this is notified to the frame transmission request unit. The object recognition unit 204 specifies an area that can be recognized as an object from the difference information between blocks, or detects an object in a frame by referring to a given LUT. As a result, the object is extracted from the frame image.

また、フレーム間比較部２０１からは、動き量検出部２０３において生成された動きベクトルと、オブジェクト認識部２０４により抽出されたオブジェクトの情報が、差分情報としてアトリビュート生成部１０７へ送信される。   Further, from the inter-frame comparison unit 201, the motion vector generated by the motion amount detection unit 203 and the information of the object extracted by the object recognition unit 204 are transmitted to the attribute generation unit 107 as difference information.

フレーム送信要求部２０２は、表示レート画像と高速レート画像との間で差分が検出された場合に、フレームメモリ１０５に記憶されている該高速レート画像を画像処理部１０８に送信する要求を、フレームメモリ１０５に対して送信する。   The frame transmission request unit 202 transmits a request for transmitting the high-speed rate image stored in the frame memory 105 to the image processing unit 108 when a difference is detected between the display rate image and the high-speed rate image. It transmits to the memory 105.

次に、アトリビュート生成部１０７は、好適には、差分情報取得部２０５、アトリビュート情報生成部２０６及びアトリビュート情報テーブル２０７を備える。   Next, the attribute generation unit 107 preferably includes a difference information acquisition unit 205, an attribute information generation unit 206, and an attribute information table 207.

差分情報取得部２０５は、動きベクトル及びオブジェクトの情報といった差分情報をフレーム間比較部２０１から取得する。この差分情報は、アトリビュート情報生成部２０６に転送され、差分情報に対応するアトリビュート情報が、アトリビュート情報テーブル２０７を参照して生成される。アトリビュート情報生成部２０６で生成されたアトリビュート情報は、ネットワーク制御部１１１に転送される。   The difference information acquisition unit 205 acquires difference information such as motion vectors and object information from the inter-frame comparison unit 201. The difference information is transferred to the attribute information generation unit 206, and attribute information corresponding to the difference information is generated with reference to the attribute information table 207. The attribute information generated by the attribute information generation unit 206 is transferred to the network control unit 111.

アトリビュート情報テーブル２０７は、差分情報に含まれる動きベクトルやオブジェクト情報から、アトリビュート情報を生成するための情報が登録されている。例えば、オブジェクトとして検出された領域が人間の「顔」を表しているか否かを判定するための「顔」のテンプレートが登録されている。従って、アトリビュート情報生成部２０６は、このテンプレートを利用して、検出されたオブジェクトが「顔」であるか否かをパターンマッチングにより判定することができる。そして、「顔」と判定できた場合には、アトリビュート情報に「顔」に関する情報を含めることができる。   In the attribute information table 207, information for generating attribute information from the motion vector and object information included in the difference information is registered. For example, a “face” template for determining whether or not an area detected as an object represents a human “face” is registered. Therefore, the attribute information generation unit 206 can use this template to determine whether or not the detected object is a “face” by pattern matching. If it is determined that the face is “face”, the attribute information can include information related to “face”.

以上の構成に基づいて、本実施形態に対応する画像処理システムは、高速レート撮影が可能なネットワークカメラである撮像装置１０１とネットワークに接続可能な表示装置１１５とで構成される。   Based on the above configuration, the image processing system corresponding to the present embodiment includes the imaging device 101 that is a network camera capable of high-speed rate shooting and the display device 115 that can be connected to the network.

次に、図３及び図４を参照して、本実施形態の画像処理システムにおける処理の流れを説明する。図３は、本実施形態に対応する表示装置１１５側の動作の一例を示すフローチャートである。図３に示す処理は、ＲＯＭ１４０６から読み出されたプログラムに基づいてＣＰＵ１４０１が実行する。また、図４は、本実施形態に対応する撮像装置１０１側の動作の一例を示すフローチャートである。   Next, the flow of processing in the image processing system of this embodiment will be described with reference to FIGS. 3 and 4. FIG. 3 is a flowchart showing an example of the operation on the display device 115 side corresponding to the present embodiment. The processing shown in FIG. 3 is executed by the CPU 1401 based on the program read from the ROM 1406. FIG. 4 is a flowchart illustrating an example of the operation on the imaging apparatus 101 side corresponding to the present embodiment.

まず、表示装置１１５側において、ステップＳ３０１では、撮像装置１０１に対し、ＣＰＵ１４０１は、ネットワーク１１４を介してネットワーク接続の要求を行う。これに対し、撮像装置１０１は、ステップＳ４０１において表示装置１１５からの接続要求を受信すると、ステップＳ４０２において、表示装置１１５とネットワーク１１４を介して接続する。   First, on the display device 115 side, in step S301, the CPU 1401 makes a network connection request to the imaging device 101 via the network 114. On the other hand, when receiving the connection request from the display device 115 in step S401, the imaging device 101 connects to the display device 115 via the network 114 in step S402.

次に、表示装置１１５側のＣＰＵ１４０１、ステップＳ３０２において撮像装置１０１とのネットワーク接続を確認すると、ステップＳ３０３において表示装置１１５の表示レート情報を撮像装置１０１へ送信する。撮像装置１０１側では、ステップＳ４０３において表示装置１１５の表示レート情報を受信すると、ステップＳ４０４において、ネットワーク入出力部１１２は、撮像装置１０１の撮像準備完了信号を表示装置１１５に送信する。   Next, when the CPU 1401 on the display device 115 side confirms the network connection with the imaging device 101 in step S302, the display rate information of the display device 115 is transmitted to the imaging device 101 in step S303. On the imaging device 101 side, when the display rate information of the display device 115 is received in step S403, the network input / output unit 112 transmits an imaging preparation completion signal of the imaging device 101 to the display device 115 in step S404.

表示装置１１５は、ステップＳ３０４において撮像装置１０１の撮像準備完了信号を受信する。そして、ＣＰＵ１４０１は、ステップＳ３０５において図８ａに示すような撮像モード選択画面８０１をディスプレイ１４０４に表示させ、ステップＳ３０６においてユーザによる撮像モードの選択を受け付ける。   In step S304, the display device 115 receives an imaging preparation completion signal of the imaging device 101. In step S305, the CPU 1401 displays an imaging mode selection screen 801 as shown in FIG. 8A on the display 1404. In step S306, the CPU 1401 accepts selection of the imaging mode by the user.

図８ａは、本実施形態における図１の構成における表示装置１１５において、撮像モード選択を行うための表示例である。図８ａにおいて、画面８０１には、撮影モード選択欄８０２が表示され、低速レート撮像モード５０１を選択するための選択ボタン８０３と高速レート撮像モード５０２を選択するための選択ボタン８０４とが表示されている。ここで、低速レート撮像モードは、表示レートと同じ撮像レートであり一般的なネットワークカメラと同様に動作する。本実施形態においては、高速レート撮像モード５０２が選択される場合を説明する。従って、図８ａの画面８０１では選択ボタン８０４の選択を受け付けることとなる。   FIG. 8A is a display example for performing imaging mode selection on the display device 115 in the configuration of FIG. 1 in the present embodiment. In FIG. 8a, a shooting mode selection field 802 is displayed on the screen 801, and a selection button 803 for selecting the low-speed imaging mode 501 and a selection button 804 for selecting the high-speed imaging mode 502 are displayed. Yes. Here, the low-rate imaging mode is the same imaging rate as the display rate and operates in the same manner as a general network camera. In the present embodiment, a case where the high-speed imaging mode 502 is selected will be described. Accordingly, the selection of the selection button 804 is accepted on the screen 801 in FIG. 8a.

ステップＳ３０６で、高速レート撮像モード５０２の選択を受け付けると、ステップＳ３０７に移行する。ステップＳ３０７では、ＣＰＵ１４０１は、撮像装置１０１に対し、受け付けた撮像モードに対応する撮像モード情報を送信する。次に、ステップＳ３０８において、ＣＰＵ１４０１は、表示部に撮像データ要求を選択するための画面をディスプレイ１４０４に表示させる。そして、ステップＳ３０９で選択を受け付ける。このときディスプレイ１４０４に表示される画面の一例は、図８ｂに示すようになる。   When selection of the high-speed rate imaging mode 502 is accepted in step S306, the process proceeds to step S307. In step S307, the CPU 1401 transmits imaging mode information corresponding to the accepted imaging mode to the imaging apparatus 101. Next, in step S308, the CPU 1401 causes the display 1404 to display a screen for selecting an imaging data request on the display unit. In step S309, the selection is accepted. An example of the screen displayed on the display 1404 at this time is as shown in FIG.

図８ｂは、撮像データ要求選択画面の一例を示す図である。画面８１１では、撮像装置１０１において撮像して得られたフレーム画像に関する要求を選択することができる。まず、フレーム画像を撮像装置１０１内の記録部１１３に記録しておく（８１２）要求が可能である。これは、撮像して得られたフレーム画像を一旦は記録部１１３に保存しておき、後で再生する場合に利用される。   FIG. 8B is a diagram illustrating an example of the imaging data request selection screen. On the screen 811, it is possible to select a request regarding a frame image obtained by imaging with the imaging apparatus 101. First, a frame image can be requested to be recorded in the recording unit 113 in the imaging apparatus 101 (812). This is used when a frame image obtained by imaging is temporarily stored in the recording unit 113 and reproduced later.

また、ユーザは、フレーム画像を撮像装置１０１内の記録部１１３に記録しながら、表示装置１１５に表示させる（８１３）要求が可能である。この場合、ユーザは、撮像して得られたフレーム画像を記録部１１３に保存しながら、同時に表示装置１１５で撮像された内容をリアルタイムに確認することができる。更に、ユーザは、撮像装置１０１内の記録部１１３に記録された撮像データを表示装置１１５に読み出して表示させる（８１４）要求が可能である。この場合、記録部１１３に記録された撮像データを、確認等のために表示装置１１５に表示させることができる。   Further, the user can make a request (813) to display the frame image on the display device 115 while recording the frame image in the recording unit 113 in the imaging device 101. In this case, the user can check the content captured by the display device 115 in real time while saving the frame image obtained by imaging in the recording unit 113. Further, the user can request (814) to read out and display the imaging data recorded in the recording unit 113 in the imaging device 101 on the display device 115 (814). In this case, the imaging data recorded in the recording unit 113 can be displayed on the display device 115 for confirmation or the like.

本実施形態では、表示及び記録を同時に行うモード（８１３）が選択されたものとして、説明を続ける。ステップＳ３０９で画面８１１を利用して受け付けた撮像データ要求を、ステップＳ３１０で撮像装置１０１へ送信する。   In the present embodiment, the description will be continued assuming that the mode (813) in which display and recording are performed simultaneously is selected. The imaging data request received using the screen 811 in step S309 is transmitted to the imaging apparatus 101 in step S310.

一方の撮像装置１０１は、ステップＳ４０５において表示装置１１５から撮像モード情報を受信し、ステップＳ４０６において、撮像データ要求を受信する。   One imaging apparatus 101 receives imaging mode information from the display apparatus 115 in step S405, and receives an imaging data request in step S406.

以下、撮像装置１０１内において撮像データを表示装置１１５へ送信するまでの動作を、図６を併せて参照しながら説明する。図６は、本実施形態に対応する処理の流れを示すデータフロー図である。   Hereinafter, an operation until the imaging data is transmitted to the display device 115 in the imaging device 101 will be described with reference to FIG. FIG. 6 is a data flow diagram showing the flow of processing corresponding to this embodiment.

撮像装置１０１は、ステップＳ４０７において、撮像素子＋AFE１０２による撮像動作を開始する。撮像素子＋AFE１０２は、フレーム制御部１０４から与えられた撮像モード情報に基づき、フレームレートを決定し、得られたフレーム画像をフレーム制御部１０４へ出力する。本実施形態では、高速レート撮像モード５０２が設定されているので、１２０ｆｐｓで撮像が行われる。図６のフロー６０１では、撮像素子＋ＡＦＥ１０２が、フレーム画像ａ〜ｄ、ａ’〜ｄ’及びａ’’〜ｄ’’を出力している。なお、図６では、簡単のためにフレーム数を簡略化して記載している。   In step S407, the imaging apparatus 101 starts an imaging operation using the imaging element + AFE 102. The imaging element + AFE 102 determines the frame rate based on the imaging mode information given from the frame control unit 104, and outputs the obtained frame image to the frame control unit 104. In the present embodiment, since the high-speed rate imaging mode 502 is set, imaging is performed at 120 fps. In the flow 601 of FIG. 6, the image sensor + AFE 102 outputs frame images a to d, a ′ to d ′, and a ″ to d ″. In FIG. 6, the number of frames is shown in a simplified manner for simplicity.

このようにして得られたフレーム画像につき、フレーム制御部１０４は、撮像データ要求に基づき、表示レート画像を画像処理部１０８に転送すると共に、高速レート画像をフレームメモリ１０５に転送する。このとき、画像処理部１０８には、表示レート画像であるａ、ａ’、ａ’’及びａ’’’のみが転送される。一方、フレームメモリ１０５には、図６のフロー６０２に示すように、ａ〜ｄ、ａ’〜ｄ’及びａ’’〜ｄ’’が転送される。   For the frame image obtained in this way, the frame control unit 104 transfers the display rate image to the image processing unit 108 and transfers the high-speed rate image to the frame memory 105 based on the imaging data request. At this time, only the display rate images a, a ′, a ″, and a ″ ″ are transferred to the image processing unit 108. On the other hand, as shown in the flow 602 in FIG. 6, a to d, a ′ to d ′, and a ″ to d ″ are transferred to the frame memory 105.

次に、ステップＳ４０８では、フレームメモリ１０５に格納されている表示レート画像と高速レート画像とを用いて、フレーム間差分検出部１０６がフレーム間差分検出を行う。図６のフロー６０３では、表示レート画像であるａとｂ〜ｄ、ａ’とｂ’〜ｄ’、及び、ａ’’とｂ’’〜ｄ’’がそれぞれ比較される。ここで動きベクトルやオブジェクトの情報といった差分情報が生成された場合には（ステップＳ４０９において「ＹＥＳ」）、ステップＳ４１０においてアトリビュート生成部１０７にてアトリビュート情報が生成され、ステップＳ４１１に移行する。フロー６０３では、高速レート画像ｃについて表示レート画像ａとの差分情報が生成された場合を示しており、フロー６０４にてアトリビュート生成部１０７にて、アトリビュート情報が生成される。なお、差分情報が生成されたフレーム画像は、フレームメモリ１０５から画像処理部１０８に送信される。図６の場合、高速レート画像ｃについて差分情報が生成されたので、フレーム画像ｃがフレームメモリ１０５から画像処理部１０８に転送される。もし、差分情報が生成されない場合には（ステップＳ４０９において「ＮＯ」）、そのままステップＳ４１１に移行する。   In step S408, the inter-frame difference detection unit 106 performs inter-frame difference detection using the display rate image and the high-speed rate image stored in the frame memory 105. In the flow 603 of FIG. 6, the display rate images a and b to d, a ′ and b ′ to d ′, and a ″ and b ″ to d ″ are compared. If difference information such as a motion vector or object information is generated (“YES” in step S409), attribute information is generated in the attribute generation unit 107 in step S410, and the process proceeds to step S411. A flow 603 shows a case where the difference information between the high-speed rate image c and the display rate image a is generated. In the flow 604, the attribute generation unit 107 generates attribute information. Note that the frame image for which the difference information has been generated is transmitted from the frame memory 105 to the image processing unit 108. In the case of FIG. 6, since the difference information is generated for the high-speed rate image c, the frame image c is transferred from the frame memory 105 to the image processing unit 108. If difference information is not generated (“NO” in step S409), the process proceeds to step S411.

ステップＳ４１１では、画像処理部１０８及び圧縮処理部１０９により撮像データが生成される。この撮像データは、図６のフロー６０５に示すように、表示レート画像にアトリビュート情報を添付する形（ａ’）で生成され、アトリビュート情報がない場合には、表示レート画像のみ（ａ及びａ’’）で生成される。なお、図６では、差分が検出された直後の表示レート画像にアトリビュート情報を添付しているが、これに限らず、検出に係る表示レート画像に添付しても良い。また、差分情報が生成された場合には、併せて該差分情報に関連する高速レート画像の静止画像データが生成される。図６のフロー６０６では、高速レート画像ｃについて静止画像データが生成されている。生成された撮像データと静止画像データとは、ネットワーク制御部１１１に送信される。   In step S411, the image processing unit 108 and the compression processing unit 109 generate imaging data. As shown in a flow 605 in FIG. 6, the imaging data is generated in a form (a ′) in which attribute information is attached to the display rate image. When there is no attribute information, only the display rate image (a and a ′) '). In FIG. 6, the attribute information is attached to the display rate image immediately after the difference is detected. However, the present invention is not limited to this, and the attribute information may be attached to the display rate image related to detection. When difference information is generated, still image data of a high-speed rate image related to the difference information is also generated. In the flow 606 of FIG. 6, still image data is generated for the high-speed rate image c. The generated imaging data and still image data are transmitted to the network control unit 111.

ここで、図７を参照して、アトリビュート情報が生成される場合をより具体的に説明する。   Here, with reference to FIG. 7, the case where attribute information is produced | generated is demonstrated more concretely.

７０１は、表示装置１１５の表示レートに対応した撮像例を示している。ここでの表示レートは３０ｆｐｓであり、低レート撮像モード５０１における撮像レートと同一である。７１１は、１フレーム目を示しているが、フレーム７１１には、オブジェクト７２０が表示されている。このオブジェクト７２０は、表示レートにおける次フレームであるフレーム７１２では画面内に存在していない。このことは、フレーム７１１と７１２との間に、オブジェクト７２０が移動してしまったことを意味している。   Reference numeral 701 denotes an imaging example corresponding to the display rate of the display device 115. The display rate here is 30 fps, which is the same as the imaging rate in the low-rate imaging mode 501. Reference numeral 711 denotes the first frame, and an object 720 is displayed in the frame 711. This object 720 does not exist in the screen at the frame 712 which is the next frame at the display rate. This means that the object 720 has moved between the frames 711 and 712.

７０２は、高レート撮像モード５０２における撮像例を示している。ここでの撮像レートは１２０ｆｐｓである。従って、表示レートなどにおける１フレーム目であるフレーム７１３と次フレームである７１７との間に、３枚のフレーム画像７１４〜７１６が撮像可能となる。この場合、１フレーム目のフレーム７１３で検出されたオブジェクト７２０は、フレーム７１４及び７１５において追尾され、オブジェクトの移動方向を把握することが可能となる。   Reference numeral 702 denotes an imaging example in the high-rate imaging mode 502. Here, the imaging rate is 120 fps. Therefore, three frame images 714 to 716 can be captured between the frame 713 that is the first frame and the next frame 717 in the display rate or the like. In this case, the object 720 detected in the first frame 713 is tracked in the frames 714 and 715, and the moving direction of the object can be grasped.

７０２の場合、表示レート画像であるフレーム７１３とフレーム７１４及び７１５との差分情報を生成することができ、フレーム７１４と７１５を静止画像データとして記録部１１３に記録しておく。差分情報に基づいて生成されるアトリビュート情報は、表示レート画像であるフレーム７１３（又は７１７）に付加される。このアトリビュート情報に基づけば、記録部１１３から当該静止画像データを読み出して、表示装置１１５のディスプレイ１４０４に表示させて、詳細を把握することが可能となる。 In the case of 702, difference information between the frame 713 and the frames 714 and 715 that are display rate images can be generated, and the frames 714 and 715 are recorded in the recording unit 113 as still image data. The attribute information generated based on the difference information is added to the frame 713 (or 717) that is a display rate image. Based on this attribute information, the still image data can be read from the recording unit 113 and displayed on the display 1404 of the display device 115 to grasp the details.

ここで図４の説明に戻ると、本実施形態では、撮像データ要求として表示及び記録が要求されている。そこで、まず、ステップＳ４１２では、生成された撮像データを、ネットワーク制御部１１１がネットワーク入出力部１１２及びネットワーク１１４を介して表示器１１５に送信する。即ち、図６のフロー６０７に示すように、表示レート画像に対応する撮像データ（ａ、ａ’及びａ’’）が、表示器１１５へ送信される。   Returning to the description of FIG. 4, in this embodiment, display and recording are requested as an imaging data request. Therefore, first, in step S412, the network control unit 111 transmits the generated imaging data to the display unit 115 via the network input / output unit 112 and the network 114. That is, as shown in a flow 607 in FIG. 6, imaging data (a, a ′, and a ″) corresponding to the display rate image is transmitted to the display unit 115.

続いて、ステップＳ４１３では、ネットワーク制御部１１１が撮像データと、静止画像データが存在する場合には当該静止画像データとを、記録部１１３に格納する。即ち、図６のフロー６０８に示すように、撮像データ（ａ、ａ’及びａ’’）と静止画像データ（ｃ）が、記録部１１３に格納される。その後、ステップＳ４０７に戻って、フレーム画像の撮像を行い、以上の処理を撮像停止命令を受けるまで繰り返す。   Subsequently, in step S413, the network control unit 111 stores the captured image data and, if still image data exists, the still image data in the recording unit 113. That is, as shown in the flow 608 of FIG. 6, the imaging data (a, a ′, a ″) and the still image data (c) are stored in the recording unit 113. Thereafter, the process returns to step S407, the frame image is captured, and the above processing is repeated until an imaging stop command is received.

一方の表示装置１１５側では、ステップＳ３１１において撮像装置１０１から送信された撮像データを受信し、ＣＰＵ１４０１は、ステップＳ３１２において、撮像データをディスプレイ１４０４に表示させる。また、ステップＳ３１３では、ＣＰＵ１４０１は、撮像データにアトリビュート情報が添付されているか否かを判定する。もしアトリビュート情報が添付されている場合には（ステップＳ３１３において「ＹＥＳ」）、ステップＳ３１４に移行する。一方、アトリビュート情報が添付されていない場合には（ステップＳ３１３において「ＮＯ」）、ステップＳ３１１に戻って、処理を継続する。   On one display device 115 side, the imaging data transmitted from the imaging device 101 in step S311 is received, and the CPU 1401 displays the imaging data on the display 1404 in step S312. In step S313, the CPU 1401 determines whether attribute information is attached to the imaging data. If the attribute information is attached (“YES” in step S313), the process proceeds to step S314. On the other hand, when the attribute information is not attached (“NO” in step S313), the process returns to step S311 to continue the process.

ステップＳ３１４では、ＣＰＵ１４０１は、撮像データに添付されているアトリビュート情報を利用した処理を実行する。ここで実行される処理としては、例えば、以下のような処理が考えられる。まず、ディスプレイ１４０４において撮像データを再生する場合に、ＣＰＵ１４０１は、アトリビュート情報が含まれている撮像データの前後についてスロー再生を行う。さらに、ＣＰＵ１４０１は、記録部１１３に格納されている静止画像データを併せて表示させる。また、差分情報を表示させても良い。   In step S314, the CPU 1401 executes processing using attribute information attached to the imaging data. As the processing executed here, for example, the following processing can be considered. First, when reproducing the image data on the display 1404, the CPU 1401 performs slow reproduction before and after the image data including the attribute information. Further, the CPU 1401 displays still image data stored in the recording unit 113 together. Further, difference information may be displayed.

上記では、撮像データ要求で記録及び表示が要求された場合を記載した。これに対し、記録のみが要求された場合には、上記の処理において撮像データのネットワーク入出力部１１２からネットワーク１１４を介して表示装置１１５への送信処理が省略される。また、表示のみが要求された場合には、上記において撮像データの生成及び記録処理を省略し、記録部１１３に既に記録されている撮像データをネットワーク入出力部１１２からネットワーク１１４を介して表示装置１１５へ送信する。   In the above description, the case where recording and display are requested in response to an imaging data request has been described. On the other hand, when only recording is requested, the transmission processing of the imaging data from the network input / output unit 112 to the display device 115 via the network 114 is omitted in the above processing. Further, when only display is requested, the generation and recording processing of the imaging data is omitted in the above, and the imaging data already recorded in the recording unit 113 is displayed from the network input / output unit 112 via the network 114. 115.

以上のような実施の形態において、表示レートより高速な撮像レートにおいて撮像を行い、得られた高速レート画像を用いてフレーム間比較を行い、差分情報を検出することができる。この差分情報は、撮像領域内で変化するオブジェクトの存在を示すものであって、通常の表示レートでは捕捉できない速度で変化する場合であっても、検出することができる。これにより、表示レート画像からでは知ることができないオブジェクトの検知及び確認が可能となる。また、差分情報からアトリビュート情報を生成し、表示レート画像に付加して提供することで、表示装置側でアトリビュートデータを利用した通知、表示、再生方法など様々なアプリケーションが利用可能となる。 In the embodiment as described above, it is possible to detect difference information by performing imaging at an imaging rate faster than the display rate, and performing inter-frame comparison using the obtained high-speed rate image. This difference information indicates the presence of an object that changes in the imaging area, and can be detected even when the difference changes at a speed that cannot be captured at a normal display rate. As a result, it is possible to detect and confirm an object that cannot be known from the display rate image. Also, by generating attribute information from the difference information and providing it by adding it to the display rate image, various applications such as notification, display, and playback methods using attribute data can be used on the display device side.

（第２の実施形態）
第１の実施の形態では、高速レート撮像モード５０２で撮像を行い、表示装置１１５側で表示を行う場合、表示レートが撮像レートよりも低い場合に、高速レート画像をそのまま表示レート画像として用いた。即ち、表示レートが３０ｆｐｓで、撮像レートが１２０ｆｐｓの場合でも、１／１２０秒で１２０枚撮像されたフレーム画像のうちから３０枚を選択して表示レート画像として表示していた。これに対し、本実施形態では、電子シャッタ速度の設定を可能とし、設定された電子シャッタ速度に応じて、表示レート画像の生成方法を異ならせる点に特徴を有する。 (Second Embodiment)
In the first embodiment, when imaging is performed in the high-speed rate imaging mode 502 and display is performed on the display device 115 side, when the display rate is lower than the imaging rate, the high-speed rate image is used as it is as the display rate image. . In other words, even when the display rate is 30 fps and the imaging rate is 120 fps, 30 frames are selected from 120 frame images captured in 1/120 seconds and displayed as display rate images. On the other hand, the present embodiment is characterized in that the electronic shutter speed can be set, and the display rate image generation method varies depending on the set electronic shutter speed.

図９を参照して、本実施形態に対応するフレーム制御部１０４の構成の一例を説明する。図９は、本実施形態におけるフレーム制御部１０４の内部構成の一例を示す図である。フレーム制御部１０４は、電子シャッタ速度判断部９０１及びフレームレート判断部９０２からなる。   An example of the configuration of the frame control unit 104 corresponding to the present embodiment will be described with reference to FIG. FIG. 9 is a diagram illustrating an example of an internal configuration of the frame control unit 104 in the present embodiment. The frame control unit 104 includes an electronic shutter speed determination unit 901 and a frame rate determination unit 902.

まず、電子シャッタ速度判断部９０１は、画像処理部１０８に設定されている電子シャッタ速度情報を撮像制御部１１０及びフレームレート判断部９０２に伝達する。撮像制御部１１０は、通知された電子シャッタ速度情報に従い、画像処理部１０８や圧縮処理部１０９を制御する。   First, the electronic shutter speed determination unit 901 transmits electronic shutter speed information set in the image processing unit 108 to the imaging control unit 110 and the frame rate determination unit 902. The imaging control unit 110 controls the image processing unit 108 and the compression processing unit 109 according to the notified electronic shutter speed information.

この電子シャッタ速度情報は、撮像レートに対応する情報であって、表示装置１１５から設定可能である。即ち、電子シャッタ速度が１／１２０秒であれば、毎秒１２０枚のフレーム画像が撮像されることとなり、フレームレートは１２０ｆｐｓとなる。一方、電子シャッタ速度が１／３０秒であれば、毎秒３０枚のフレーム画像が撮像されることとなり、フレームレートは１２０ｆｐｓとなる。   This electronic shutter speed information is information corresponding to the imaging rate and can be set from the display device 115. That is, if the electronic shutter speed is 1/120 seconds, 120 frame images are captured per second, and the frame rate is 120 fps. On the other hand, if the electronic shutter speed is 1/30 seconds, 30 frame images are captured per second, and the frame rate is 120 fps.

但し、本実施形態では、ここで設定される電子シャッタ速度にかかわらず、予め設定された所定の電子シャッタ速度で撮像素子＋ＡＦＥ１０２における撮像を行うこととする。例えば、撮像素子＋ＡＦＥ１０２は、デフォルトで１／１２０秒の電子シャッタ速度で撮像を行うことができる。このデフォルト値は、任意に設定可能であるが、少なくとも表示レートよりも高いフレームレートに対応する値に設定されるべきである。   However, in the present embodiment, imaging by the imaging element + AFE 102 is performed at a predetermined electronic shutter speed set in advance regardless of the electronic shutter speed set here. For example, the imaging element + AFE 102 can perform imaging at an electronic shutter speed of 1/120 seconds by default. This default value can be arbitrarily set, but should be set to a value corresponding to a frame rate higher than at least the display rate.

次に、フレームレート判断部９０２は、撮像素子＋ＡＦＥ１０２からフレーム制御部１０４に転送されるフレーム画像に基づいてフレームレートを判断する。ここでのフレームレートは、上記予め設定された電子シャッタ速度（１／１２０秒）に対応する１２０ｆｐｓとなる。また、判定されたフレームレートと、電子シャッタ速度判断部９０１から通知された電子シャッタ速度とに基づいて、表示レート画像を生成するために画像処理部１０８に転送するフレーム画像を決定する。表示レート画像を生成するために用いられることとなったフレーム画像は、画像処理部１０８へ転送される。なお、撮像素子＋ＡＦＥ１０２から得られた全てのフレーム画像がフレームメモリ１０５に転送され、差分検出が行われることは、第１の実施形態と同様である。   Next, the frame rate determination unit 902 determines the frame rate based on the frame image transferred from the image sensor + AFE 102 to the frame control unit 104. The frame rate here is 120 fps corresponding to the preset electronic shutter speed (1/120 seconds). Further, based on the determined frame rate and the electronic shutter speed notified from the electronic shutter speed determination unit 901, a frame image to be transferred to the image processing unit 108 to determine a display rate image is determined. The frame image that has been used to generate the display rate image is transferred to the image processing unit 108. Note that all frame images obtained from the image sensor + AFE 102 are transferred to the frame memory 105 and difference detection is performed as in the first embodiment.

次に、図１０を参照して、表示装置１１５から設定された電子シャッタ速度に応じて、表示レート画像を生成する処理を説明する。図１０は、本実施形態に対応する表示レート画像の生成処理を説明するための図である。   Next, a process for generating a display rate image according to the electronic shutter speed set from the display device 115 will be described with reference to FIG. FIG. 10 is a diagram for explaining display rate image generation processing corresponding to the present embodiment.

まず、１００１は、表示装置１１５から設定された電子シャッタ速度が、撮像素子＋ＡＦＥ１０２に予め設定された電子シャッタ速度と一致する場合を示している。この場合、表示レート画像としては、撮像素子＋ＡＦＥ１０２により得られた高速レート画像をそのまま用いることができる。従って、表示装置１１５では、高速レート画像（ａ）がそのまま表示出力される。   First, reference numeral 1001 denotes a case where the electronic shutter speed set from the display device 115 matches the electronic shutter speed set in advance for the image sensor + AFE 102. In this case, as the display rate image, the high-speed rate image obtained by the imaging element + AFE 102 can be used as it is. Accordingly, the display device 115 displays and outputs the high-speed rate image (a) as it is.

一方、１００３は、表示装置１１５から設定された電子シャッタ速度が、撮像素子＋ＡＦＥ１０２に予め設定された電子シャッタ速度と一致しない場合を示している。図１０では、表示装置１１５から設定された電子シャッタ速度が１／３０秒の場合を一例として記載している。この場合、表示装置１１５から求められている電子シャッタ速度は、撮像素子＋ＡＦＥ１０２が実際に撮像を行っている速度（１／１２０秒）の４倍である。この場合は、４枚分の高速レート画像を合成して、１枚分の表示レート画像を生成する。図１０では、ａ'〜ｄ'の画像を合成して、一枚のａ'が生成される例を示している。この合成処理は、撮像制御部１１０の制御下において画像処理部１０８において行われる。なお、このときの画像合成は、公知の画像処理技術を利用することができ、例えば単純に画素値を足しあわせても良いし、平均値をとっても良い。 Meanwhile, 100 3, the electronic shutter speed set by the display device 115 shows a case that does not match the preset electronic shutter speed in the imaging element + AFE 102. In FIG. 10, the case where the electronic shutter speed set from the display device 115 is 1/30 second is described as an example. In this case, the electronic shutter speed required from the display device 115 is four times the speed (1/120 seconds) at which the image sensor + AFE 102 is actually capturing images. In this case, four high-speed rate images are synthesized to generate one display rate image. FIG. 10 illustrates an example in which one image a ′ is generated by combining the images a ′ to d ′. This composition processing is performed in the image processing unit 108 under the control of the imaging control unit 110. The image composition at this time can use a known image processing technique. For example, the pixel values may be simply added or an average value may be taken.

以上のように、本実施形態では、表示装置１１５側から、表示レート画像の生成処理に関する設定が可能となる。具体的に、電子シャッタ速度を設定して、設定された電子シャッタ速度と実際に撮像を行っている電子シャッタ速度とに基づいて、高速レート撮像モードで得られた画像を処理し、表示レート画像を生成することができる。これにより、第１の実施形態における効果に追加して、表示レート画像の画質を向上させることができる。   As described above, in the present embodiment, settings regarding display rate image generation processing can be performed from the display device 115 side. Specifically, the electronic shutter speed is set, and the image obtained in the high-speed rate imaging mode is processed based on the set electronic shutter speed and the actual electronic shutter speed at which imaging is performed, and the display rate image Can be generated. Thereby, in addition to the effect in 1st Embodiment, the image quality of a display rate image can be improved.

（第３の実施形態）
以上に説明した第１、２の実施の形態では、表示レートよりも高速なレートで撮像を行い、得られた高速レート画像から差分情報を検出して、表示レート画像では確認することができないオブジェクト検出を行った。また、表示装置１１５側では、表示レート画像をディスプレイ１４０４に表示させながら、アトリビュート情報の有無に応じて、高速レート画像を更に表示させて、検出されたオブジェクトの詳細を確認することが可能となっている。本実施形態では、差分情報が検出された高速レート画像からオブジェクト部分を切り出して、記録・表示することを可能にする点に特徴がある。 (Third embodiment)
In the first and second embodiments described above, an object that is picked up at a rate higher than the display rate, detects difference information from the obtained high-speed rate image, and cannot be confirmed in the display rate image Detection was performed. Further, on the display device 115 side, while displaying the display rate image on the display 1404, it is possible to further display the high-speed rate image according to the presence or absence of the attribute information and confirm the details of the detected object. ing. The present embodiment is characterized in that an object portion can be cut out from a high-speed rate image in which difference information is detected, and can be recorded / displayed.

以下、発明の第３の実施形態について詳細に説明する。図１１は、本発明の第３の実施形態によるネットワークカメラを想定した撮像装置のハードウェア構成の一例を示す図である。   Hereinafter, the third embodiment of the invention will be described in detail. FIG. 11 is a diagram illustrating an example of a hardware configuration of an imaging apparatus assuming a network camera according to the third embodiment of the present invention.

図１１に示すシステムの構成は、図１に示した構成とほぼ同様であるが、切り出し処理部１１０１を更に備える点で相違する。なお、図１１と図１とで共通する構成要素には同一の参照番号を付し、ここでは、簡単のために本実施形態に特有の処理について説明し、第１の実施形態と同様の処理については適宜省略することとする。   The configuration of the system illustrated in FIG. 11 is substantially the same as the configuration illustrated in FIG. 1, but is different in that a cut-out processing unit 1101 is further provided. 11 and 1 are denoted by the same reference numerals, and here, for the sake of simplicity, processing unique to the present embodiment will be described, and processing similar to that of the first embodiment will be described. Will be omitted as appropriate.

図１１において、フレーム制御部１０４は、フレームメモリ１０５に出力した高速レート画像のうち、フレーム間差分検出部で差分情報が生成されたフレーム画像を、本実施形態では切り出し処理部１１０１へ転送する。また、フレーム間差分検出部１０６は、生成した差分情報をアトリビュート生成部１０７と共に、切り出し処理部１１０１へ送信する。   In FIG. 11, the frame control unit 104 transfers, out of the high-speed rate image output to the frame memory 105, the frame image for which difference information has been generated by the inter-frame difference detection unit, to the cutout processing unit 1101 in this embodiment. Further, the interframe difference detection unit 106 transmits the generated difference information together with the attribute generation unit 107 to the cutout processing unit 1101.

切り出し処理部１１０１は、差分情報が生成されたフレーム画像のデータをフレームメモリ１０５から、差分情報をフレーム間差分検出部１０６から受信する。切り出し処理部１１０１は、受信したフレーム画像の中で差分情報が示すオブジェクトを含む最小画像領域を切り出してオブジェクト画像を抽出し、画像処理部１０８へ送信する。画像処理部１０８は、切り出し処理部１１０１から受信したオブジェクト画像について所定の画像処理を行って、圧縮処理部１０９へ転送する。圧縮処理部１０９では、オブジェクト画像を第１の実施形態における高速レート画像と同様に処理する。 The cut-out processing unit 1101 receives frame image data for which difference information has been generated from the frame memory 105 and the difference information from the inter-frame difference detection unit 106. Clipping processing unit 110 1 extracts the object image by cutting out the minimum image area including the object indicated by the difference information in the received frame image, and transmits to the image processing unit 108. The image processing unit 108 performs predetermined image processing on the object image received from the cutout processing unit 1101 and transfers the object image to the compression processing unit 109. The compression processing unit 109 processes the object image in the same manner as the high-speed rate image in the first embodiment.

次に、図１２を参照して、本実施形態に対応する表示装置１１５側での処理を説明する。図１２は、本実施形態に対応する表示装置１１５における表示処理の一例を示すフローチャートである。この処理は、第１の実施形態におけるステップＳ３１４に対応する処理として行われ、ＨＤ１４０３に格納された対応する処理プログラムをＲＡＭ１４０２に読み出し、ＣＰＵ１４０１が実行することで実現される。   Next, with reference to FIG. 12, processing on the display device 115 side corresponding to the present embodiment will be described. FIG. 12 is a flowchart illustrating an example of display processing in the display device 115 corresponding to the present embodiment. This processing is performed as processing corresponding to step S314 in the first embodiment, and is realized by reading the corresponding processing program stored in the HD 1403 into the RAM 1402 and executing it by the CPU 1401.

図１２において、ステップＳ１２０１では、ＣＰＵ１４０１は、撮像データに付加されたアトリビュート情報に対応するオブジェクトの静止画像データを受信したか否かを判定する。もし、受信していない場合には（ステップＳ１２０１で「ＮＯ」）、ステップＳ１２０２に移行する。一方、既に受信している場合には（ステップＳ１２０１で「ＹＥＳ」）、ステップＳ１２０４へ移行する。   In FIG. 12, in step S1201, the CPU 1401 determines whether still image data of an object corresponding to the attribute information added to the imaging data has been received. If not received ("NO" in step S1201), the process proceeds to step S1202. On the other hand, if it has already been received (“YES” in step S1201), the process proceeds to step S1204.

ステップＳ１２０２では、ＣＰＵ１４０１は、検出されたオブジェクトに対応する静止画像データの送信を撮像装置１０１に要求する。ステップＳ１２０３では、要求に応じて送信された静止画像データを撮像装置１０１から受信する。   In step S1202, the CPU 1401 requests the imaging apparatus 101 to transmit still image data corresponding to the detected object. In step S1203, the still image data transmitted in response to the request is received from the imaging apparatus 101.

ステップＳ１２０４では、ＣＰＵ１４０１は、撮像データ（表示レート画像に対応）に対し、フレームレートの異なる静止画像データを合成する。この合成処理は、具体的には以下のようにして行う。まず、静止画像データは、高速レート画像からオブジェクト領域を切り出したオブジェクト画像であるため、単体では表示画像として利用できない。そこで、背景画像として直前の撮像データを利用する。まず、ＣＰＵ１４０１は、撮像装置１０１から得られたオブジェクト画像の個数分だけ撮像データをコピーする。そして、アトリビュート情報に含まれる動きベクトルやオブジェクトの表示位置に基づき、コピーされた撮像データにおけるオブジェクト表示位置を決定する。表示位置が決定されるとオブジェクト画像をコピーされた撮像データに合成する。これにより合成処理を実行することができる。   In step S1204, the CPU 1401 synthesizes still image data having a different frame rate with the imaging data (corresponding to the display rate image). Specifically, this synthesis process is performed as follows. First, since still image data is an object image obtained by cutting out an object area from a high-speed rate image, it cannot be used alone as a display image. Therefore, the immediately preceding imaging data is used as the background image. First, the CPU 1401 copies imaging data by the number of object images obtained from the imaging device 101. Then, the object display position in the copied imaging data is determined based on the motion vector and the object display position included in the attribute information. When the display position is determined, the object image is combined with the copied imaging data. As a result, the synthesis process can be executed.

ステップＳ１２０５では、ＣＰＵ１４０１は、合成処理により生成された画像データを、ディスプレイ１４０４に表示させる。なお、撮像データは例えば３０ｆｐｓでの再生のためのデータであるのに対し、静止画像データは、１２０ｆｐｓで撮像された高速レート画像から抽出されたオブジェクト画像である。一方で、ディスプレイ１４０４における表示は、３０ｆｐｓの表示レートを保って行われる。従って、合成処理により生成された画像データは、所定の撮像データの間に挿入されて表示されることとなる。よって、再生形態はスロー再生に近いものとなる。   In step S1205, the CPU 1401 displays the image data generated by the synthesis process on the display 1404. Note that the captured image data is data for reproduction at, for example, 30 fps, while the still image data is an object image extracted from a high-speed rate image captured at 120 fps. On the other hand, display on the display 1404 is performed while maintaining a display rate of 30 fps. Therefore, the image data generated by the synthesis process is inserted and displayed between predetermined imaging data. Therefore, the playback mode is close to slow playback.

このときの表示形態を図１３を参照して説明する。図１３において、１３０１はディスプレイ１４０４に表示における表示画面を表す。１３０２は、オブジェクト画像１３０３乃至１３０５が合成された撮像データ（表示レート画像）を示している。オブジェクト画像１３０３乃至１３０５は、撮像データのフレーム間に検出されたオブジェクト画像を示す。ここでは、矢印１３０６の方向にオブジェクトが移動する場合が示されている。   The display form at this time will be described with reference to FIG. In FIG. 13, reference numeral 1301 denotes a display screen displayed on the display 1404. Reference numeral 1302 denotes imaging data (display rate image) obtained by combining the object images 1303 to 1305. Object images 1303 to 1305 indicate object images detected between frames of the imaging data. Here, a case where the object moves in the direction of the arrow 1306 is shown.

このように本実施形態によれば、差分情報を検出した高速レート画像の中からオブジェクト部分を切り出して記録・表示することが可能となる。より詳細には、表示装置１１５側においてスロー再生を行って、オブジェクトの動きを確認したり、オブジェクトのみを別画面で表示したりすることが可能となる。   As described above, according to the present embodiment, it is possible to cut out and record / display an object portion from a high-speed rate image in which difference information is detected. More specifically, it is possible to perform slow reproduction on the display device 115 side to check the movement of the object or display only the object on a separate screen.

［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。 [Other Embodiments]
Note that the present invention can be applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, and a printer), and a device (for example, a copying machine and a facsimile device) including a single device. You may apply to.

また、本発明の目的は、前述した機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムに供給し、そのシステムがプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現し、そのプログラムコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。   The object of the present invention can also be achieved by supplying a storage medium storing software program codes for realizing the above-described functions to the system, and the system reading and executing the program codes. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. In addition, an operating system (OS) running on a computer performs part or all of actual processing based on an instruction of the program code, and the above-described functions are realized by the processing.

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。   Furthermore, you may implement | achieve with the following forms. That is, the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer. Then, based on the instruction of the program code, the case where the above-described functions are realized by the CPU included in the function expansion card or the function expansion unit performing part or all of the actual processing is also included.

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。   When the present invention is applied to the storage medium, the storage medium stores program codes corresponding to the flowcharts described above.

本発明の第１の実施形態に対応する撮像装置１０１のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the imaging device 101 corresponding to the 1st Embodiment of this invention. 本発明の第１の実施形態に対応する撮像装置１０１内のフレーム間差分検出部１０６及びアトリビュート生成部１０７の内部構成の一例を示す図である。2 is a diagram illustrating an example of an internal configuration of an inter-frame difference detection unit 106 and an attribute generation unit 107 in the imaging apparatus 101 corresponding to the first embodiment of the present invention. FIG. 本発明の第１の実施形態に対応する表示装置１１５における処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process in the display apparatus 115 corresponding to the 1st Embodiment of this invention. 本発明の第１の実施形態に対応する撮像装置１０１における処理の一例を示すフローチャートである。6 is a flowchart illustrating an example of processing in the imaging apparatus 101 corresponding to the first embodiment of the present invention. 本発明の第１の実施形態に対応する撮像モードを説明するための図である。It is a figure for demonstrating the imaging mode corresponding to the 1st Embodiment of this invention. 本発明の第１の実施形態に対応する処理の流れを示すデータフロー図である。It is a data flow figure which shows the flow of the process corresponding to the 1st Embodiment of this invention. 本発明の第１の実施形態に対応するアトリビュート情報の生成を説明するための図である。It is a figure for demonstrating the production | generation of the attribute information corresponding to the 1st Embodiment of this invention. 本発明の第１の実施形態に対応する表示装置１１５において、撮像モード選択を行うための表示例を示す図である。It is a figure which shows the example of a display for performing imaging mode selection in the display apparatus 115 corresponding to the 1st Embodiment of this invention. 本発明の第１の実施形態に対応する表示装置１１５において、撮像データ要求選択を行うための表示例を示す図である。It is a figure which shows the example of a display for performing imaging data request selection in the display apparatus 115 corresponding to the 1st Embodiment of this invention. 本発明の第２の実施形態に対応するフレーム制御部１０４の内部構成の一例を示す図である。It is a figure which shows an example of the internal structure of the frame control part 104 corresponding to the 2nd Embodiment of this invention. 本発明の第２の実施形態に対応する表示レート画像の生成処理を説明するための図である。It is a figure for demonstrating the production | generation process of the display rate image corresponding to the 2nd Embodiment of this invention. 本発明の第３の実施形態による撮像装置１０１のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the imaging device 101 by the 3rd Embodiment of this invention. 本発明の第３の実施形態に対応する表示装置１１５における表示処理の一例を示すフローチャートである。It is a flowchart which shows an example of the display process in the display apparatus 115 corresponding to the 3rd Embodiment of this invention. 本発明の第３の実施形態に対応する表示装置１１５のディスプレイ１４０４における表示形態の一例を示す図である。It is a figure which shows an example of the display form in the display 1404 of the display apparatus 115 corresponding to the 3rd Embodiment of this invention. 本発明の実施形態に対応する表示装置１１５のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the display apparatus 115 corresponding to embodiment of this invention.

符号の説明Explanation of symbols

１０１ 撮像装置
１０２ 撮像素子＋AFE
１０３ 素子制御部
１０４ フレーム制御部
１０５ フレームメモリ
１０６ フレーム間差分検出部
１０７ アトリビュート生成部
１０８ 画像処理部
１０９ 圧縮処理部
１１０ 撮像制御部
１１１ ネットワーク制御部
１１２ ネットワーク入出力部
１１３ 記録部
１１４ ネットワーク
１１５ 表示装置（PC） 101 Imaging device 102 Imaging element + AFE
103 element control unit 104 frame control unit 105 frame memory 106 inter-frame difference detection unit 107 attribute generation unit 108 image processing unit 109 compression processing unit 110 imaging control unit 111 network control unit 112 network input / output unit 113 recording unit 114 network 115 display device (PC)

Claims (5)

情報処理装置と画像処理装置とが接続された画像処理システムであって、
前記画像処理装置は、
前記情報処理装置における画像の表示レートよりも高い高速レートであって、前記表示レートで連続するフレームの撮像の間に複数のフレームが撮像される高速レートにて被写体を撮像する撮像手段と、
前記表示レートで連続する第１及び第２のフレームの撮像の間に前記高速レートで撮像された第３及び第４のフレームのそれぞれと、前記第１のフレームとの比較によりオブジェクト画像を抽出する抽出手段と、
前記第１のフレームと前記第３のフレームとの比較により抽出されたオブジェクト画像と、当該オブジェクト画像の表示位置を示す第１の表示位置情報と、前記第１のフレームと前記第４のフレームとの比較により前記抽出されたオブジェクト画像と、当該オブジェクト画像の表示位置を示す第２の表示位置情報と、前記第１及び第２のフレームとを前記情報処理装置へ送信する送信手段とを有し、
前記情報処理装置は、
前記第１のフレームと前記第３のフレームとの比較により抽出されたオブジェクト画像と、前記第１のフレームと前記第４のフレームとの比較により抽出されたオブジェクト画像と、前記第１及び第２の表示位置情報と、前記第１及び第２のフレームとを受信する受信手段と、
前記第１のフレーム、前記第１のフレームと前記第３のフレームとの比較により抽出されたオブジェクト画像が前記第１の表示位置情報に基づいて前記第１のフレームに合成されたフレーム、前記第１のフレームと前記第４のフレームとの比較により抽出されたオブジェクト画像が前記第２の表示位置情報に基づいて前記第１のフレームに合成されたフレーム、前記第２のフレームを、前記表示レートで順次表示させる表示制御手段と
を有することを特徴とする画像処理システム。 An image processing system in which an information processing apparatus and an image processing apparatus are connected ,
The image processing apparatus includes:
An imaging unit that images a subject at a high-speed rate that is higher than a display rate of an image in the information processing apparatus and that captures a plurality of frames during imaging of frames that are continuous at the display rate ;
An object image is extracted by comparing each of the third and fourth frames imaged at the high-speed rate with the first frame during imaging of the first and second frames continuous at the display rate. Extraction means;
An object image extracted by comparing the first frame and the third frame; first display position information indicating a display position of the object image; the first frame and the fourth frame; Transmission means for transmitting the object image extracted by the comparison, second display position information indicating the display position of the object image, and the first and second frames to the information processing apparatus. ,
The information processing apparatus includes:
An object image extracted by comparing the first frame and the third frame, an object image extracted by comparing the first frame and the fourth frame, and the first and second frames Receiving position information and receiving means for receiving the first and second frames;
The first frame, a frame in which the object image extracted by comparing the first frame and the third frame is combined with the first frame based on the first display position information, A frame in which an object image extracted by comparing the first frame and the fourth frame is combined with the first frame based on the second display position information, and the second frame, the display rate Display control means for displaying in sequence with
An image processing system comprising: 情報処理装置と接続される画像処理装置であって、An image processing apparatus connected to an information processing apparatus,
前記情報処理装置における画像の表示レートよりも高い高速レートであって、前記表示レートで連続するフレームの撮像の間に複数のフレームが撮像される高速レートにて被写体を撮像する撮像手段と、An imaging unit that images a subject at a high-speed rate that is higher than a display rate of an image in the information processing apparatus and that captures a plurality of frames during imaging of frames that are continuous at the display rate;
前記表示レートで連続する第１及び第２のフレームの撮像の間に前記高速レートで撮像された第３及び第４のフレームのそれぞれと、前記第１のフレームとの比較によりオブジェクト画像を抽出する抽出手段と、An object image is extracted by comparing each of the third and fourth frames imaged at the high-speed rate with the first frame during imaging of the first and second frames continuous at the display rate. Extraction means;
前記第１のフレームと前記第３のフレームとの比較により抽出されたオブジェクト画像と、当該オブジェクト画像の表示位置を示す第１の表示位置情報と、前記第１のフレームと前記第４のフレームとの比較により抽出されたオブジェクト画像と、当該オブジェクト画像の表示位置を示す第２の表示位置情報と、前記第１及び第２のフレームとを、An object image extracted by comparing the first frame and the third frame; first display position information indicating a display position of the object image; the first frame and the fourth frame; The object image extracted by the comparison, the second display position information indicating the display position of the object image, and the first and second frames,
前記第１のフレーム、前記第１のフレームと前記第３のフレームとの比較により抽出されたオブジェクト画像が前記第１の表示位置情報に基づいて前記第１のフレームに合成されたフレーム、前記第１のフレームと前記第４のフレームとの比較により抽出されたオブジェクト画像が前記第２の表示位置情報に基づいて前記第１のフレームに合成されたフレーム、前記第２のフレームを、前記表示レートで順次表示させる前記情報処理装置へ送信する送信手段とThe first frame, a frame in which the object image extracted by comparing the first frame and the third frame is combined with the first frame based on the first display position information, A frame in which an object image extracted by comparing the first frame and the fourth frame is combined with the first frame based on the second display position information, and the second frame, the display rate Transmitting means for sequentially transmitting to the information processing device
を有することを特徴とする画像処理装置。An image processing apparatus comprising: 画像処理装置と接続される情報処理装置であって、An information processing apparatus connected to an image processing apparatus,
前記情報処理装置における表示レートで連続する第１及び第２のフレームの間に撮像された第３及び第４のフレームのうち、前記第３のフレームと前記第１のフレームとの比較により抽出されたオブジェクト画像と、当該オブジェクト画像の表示位置を示す第１の表示位置情報と、前記第４のフレームと前記第１のフレームとの比較により抽出されたオブジェクト画像と、当該オブジェクト画像の表示位置を示す第２の表示位置情報と、前記第１及び第２のフレームとを、前記画像処理装置から受信する受信手段と、Of the third and fourth frames captured between the first and second frames that are consecutive at the display rate in the information processing apparatus, the third frame is extracted by comparing the first frame with the first frame. An object image, first display position information indicating a display position of the object image, an object image extracted by comparing the fourth frame and the first frame, and a display position of the object image. Receiving means for receiving the second display position information shown and the first and second frames from the image processing device;
前記第１のフレーム、前記第１と第３のフレームとの比較により抽出されたオブジェクト画像が前記第１の表示位置情報に基づいて前記第１のフレームに合成されたフレーム、前記第１のフレームと前記第４のフレームとの比較により抽出されたオブジェクト画像が前記第２の表示位置情報に基づいて前記第１のフレームに合成されたフレーム、前記第２のフレームを、前記表示レートで順次表示させる表示制御手段とThe first frame, a frame in which an object image extracted by comparing the first and third frames is combined with the first frame based on the first display position information, and the first frame And the fourth frame are sequentially displayed at the display rate, the frame in which the object image extracted by comparison with the fourth frame is combined with the first frame based on the second display position information, and the second frame. Display control means
を有することを特徴とする情報処理装置。An information processing apparatus comprising: 情報処理装置と接続されるコンピュータに、To the computer connected to the information processing device,
前記情報処理装置における画像の表示レートよりも高い高速レートであって、前記表示レートで連続するフレームの撮像の間に複数のフレームが撮像される高速レートにて被写体を撮像する撮像手順と、An imaging procedure for imaging a subject at a high-speed rate that is higher than an image display rate in the information processing apparatus and that captures a plurality of frames during imaging of consecutive frames at the display rate;
前記表示レートで連続する第１及び第２のフレームの撮像の間に前記高速レートで撮像された第３及び第４のフレームのそれぞれと、前記第１のフレームとの比較によりオブジェクト画像を抽出する抽出手順と、An object image is extracted by comparing each of the third and fourth frames imaged at the high-speed rate with the first frame during imaging of the first and second frames continuous at the display rate. Extraction procedure;
前記第１のフレームと前記第３のフレームとの比較により抽出されたオブジェクト画像と、当該オブジェクト画像の表示位置を示す第１の表示位置情報と、前記第１のフレームと前記第４のフレームとの比較により抽出されたオブジェクト画像と、当該オブジェクト画像の表示位置を示す第２の表示位置情報と、前記第１及び第２のフレームとを、An object image extracted by comparing the first frame and the third frame; first display position information indicating a display position of the object image; the first frame and the fourth frame; The object image extracted by the comparison, the second display position information indicating the display position of the object image, and the first and second frames,
前記第１のフレーム、前記第１のフレームと前記第３のフレームとの比較により抽出されたオブジェクト画像が前記第１の表示位置情報に基づいて前記第１のフレームに合成されたフレーム、前記第１のフレームと前記第４のフレームとの比較により抽出されたオブジェクト画像が前記第２の表示位置情報に基づいて前記第１のフレームに合成されたフレーム、前記第２のフレームを、前記表示レートで順次表示させる前記情報処理装置へ送信する送信手順とThe first frame, a frame in which the object image extracted by comparing the first frame and the third frame is combined with the first frame based on the first display position information, A frame in which an object image extracted by comparing the first frame and the fourth frame is combined with the first frame based on the second display position information, and the second frame, the display rate A transmission procedure for sequentially transmitting the information to the information processing apparatus.
を実行させることを特徴とするプログラム。A program characterized by having executed. 画像処理装置と接続されるコンピュータに、In the computer connected to the image processing device,
前記情報処理装置における表示レートで連続する第１及び第２のフレームの間に撮像された第３及び第４のフレームのうち、前記第３のフレームと前記第１のフレームとの比較により抽出されたオブジェクト画像と、当該オブジェクト画像の表示位置を示す第１の表示位置情報と、前記第４のフレームと前記第１のフレームとの比較により抽出されたオブジェクト画像と、当該オブジェクト画像の表示位置を示す第２の表示位置情報と、前記第１及び第２のフレームとを、前記画像処理装置から受信する受信手順と、Of the third and fourth frames captured between the first and second frames that are consecutive at the display rate in the information processing apparatus, the third frame is extracted by comparing the first frame with the first frame. An object image, first display position information indicating a display position of the object image, an object image extracted by comparing the fourth frame and the first frame, and a display position of the object image. Receiving procedure for receiving the second display position information shown and the first and second frames from the image processing device;
前記第１のフレーム、前記第１のフレームと前記第３のフレームとの比較により抽出されたオブジェクト画像が前記第１の表示位置情報に基づいて前記第１のフレームに合成されたフレーム、前記第１のフレームと前記第４のフレームとの比較により抽出されたオブジェクト画像が前記第２の表示位置情報に基づいて前記第１のフレームに合成されたフレーム、前記第２のフレームを、前記表示レートで順次表示させる表示制御手順とThe first frame, a frame in which the object image extracted by comparing the first frame and the third frame is combined with the first frame based on the first display position information, A frame in which an object image extracted by comparing the first frame and the fourth frame is combined with the first frame based on the second display position information, and the second frame, the display rate Display control procedure to display sequentially with
を実行させることを特徴とするプログラム。A program characterized by having executed.
JP2006189809A 2006-07-10 2006-07-10 Image processing system, image processing apparatus, information processing apparatus, and program Expired - Fee Related JP4750634B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006189809A JP4750634B2 (en) 2006-07-10 2006-07-10 Image processing system, image processing apparatus, information processing apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006189809A JP4750634B2 (en) 2006-07-10 2006-07-10 Image processing system, image processing apparatus, information processing apparatus, and program

Publications (3)

Publication Number Publication Date
JP2008022081A JP2008022081A (en) 2008-01-31
JP2008022081A5 JP2008022081A5 (en) 2009-08-27
JP4750634B2 true JP4750634B2 (en) 2011-08-17

Family

ID=39077745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006189809A Expired - Fee Related JP4750634B2 (en) 2006-07-10 2006-07-10 Image processing system, image processing apparatus, information processing apparatus, and program

Country Status (1)

Country Link
JP (1) JP4750634B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5454574B2 (en) * 2009-05-14 2014-03-26 日本電気株式会社 Communication apparatus and secret information sharing method
JP4983961B2 (en) 2010-05-25 2012-07-25 株式会社ニコン Imaging device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359837A (en) * 2001-06-01 2002-12-13 Canon Inc Device, method and program for processing image and storage medium stored with image processing program
JP2003319378A (en) * 2002-04-26 2003-11-07 Hitachi Kokusai Electric Inc Supervisory camera system and transmission method for video signal
JP4438945B2 (en) * 2004-08-06 2010-03-24 日本ビクター株式会社 Monitoring system

Also Published As

Publication number Publication date
JP2008022081A (en) 2008-01-31

Similar Documents

Publication Publication Date Title
JP4926533B2 (en) Moving image processing apparatus, moving image processing method, and program
US9251765B2 (en) Image processing device, image processing method, and program for generating composite image
US7812864B2 (en) Red eye image correction device, electronic camera and red eye image correction program product
US20070222858A1 (en) Monitoring system, monitoring method and program therefor
JP6472253B2 (en) Image processing apparatus and control method thereof
US20070223909A1 (en) Camera phone, method of controlling the camera phone, and photography support method used for the camera phone
US10033931B2 (en) Image processing apparatus and image processing method for processing still image data
JP4816704B2 (en) Instruction system, instruction program
KR20130073724A (en) Method and apparatus for generating or storing resultant image which changes selected area
JP2010153947A (en) Image generating apparatus, image generating program and image display method
US20150103204A1 (en) Image processing device and method capable of displaying high-quality image while preventing display delay, and image pickup apparatus
JP6399764B2 (en) Projection apparatus, image processing apparatus, control method therefor, and program
US8711239B2 (en) Program recording medium, image processing apparatus, imaging apparatus, and image processing method
JP4750634B2 (en) Image processing system, image processing apparatus, information processing apparatus, and program
JP2009290318A (en) Image capturing apparatus and zooming adjustment method
JP2005151158A (en) Image recorder
JP2009088944A (en) Character recognition apparatus, imaging apparatus and video reproducing apparatus
JP4793049B2 (en) Imaging device, captured image display method, captured image display program, captured image deletion method, and captured image deletion program
JP2001358934A (en) Image pickup device and attached image composition method
JP4518582B2 (en) Image capturing apparatus and method
KR20130127221A (en) Apparatus and method for recording a moving picture of wireless terminal having a camera
JP5942422B2 (en) Information processing apparatus, control method thereof, and program
JP2003319386A (en) Photographed image transmission system for mobile terminal
JP2021125828A (en) Image processing device and image processing method
JP5195317B2 (en) Camera device, photographing method, and photographing control program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090710

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110516

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110519

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees