JP2008278378A - Imaging apparatus, network device, and information processing method - Google Patents

Imaging apparatus, network device, and information processing method Download PDF

Info

Publication number
JP2008278378A
JP2008278378A JP2007121836A JP2007121836A JP2008278378A JP 2008278378 A JP2008278378 A JP 2008278378A JP 2007121836 A JP2007121836 A JP 2007121836A JP 2007121836 A JP2007121836 A JP 2007121836A JP 2008278378 A JP2008278378 A JP 2008278378A
Authority
JP
Japan
Prior art keywords
video data
processing
capability
network device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007121836A
Other languages
Japanese (ja)
Inventor
Yoshiyuki Endo
吉之 遠藤
Teruo Hieda
輝夫 稗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007121836A priority Critical patent/JP2008278378A/en
Publication of JP2008278378A publication Critical patent/JP2008278378A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To process video data optimal for an environment for use or requested quality. <P>SOLUTION: An imaging apparatus capable of transmitting video data comprises: a generation unit for generating capability information indicating throughput of the imaging apparatus in response to a request from a network device; a transmission unit for transmitting to the network device the capability information generated by the generation unit; a setting unit which receives format information for processing video data determined by the network device on the basis of the capability information and performs setting corresponding to the format information upon a processing unit for performing imaging; a video data generation unit for generating video data corresponding to the format information on the basis of setting by the setting unit; and a video data transmission unit for transmitting to the network device the video data generated by the video data generation unit. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、撮像技術、撮像した映像データの処理技術に関する。   The present invention relates to an imaging technique and a technique for processing captured video data.

従来、カメラなどにより撮像された映像データを、ネットワークを介して情報処理装置やディスプレイなどへ伝送し、映像データを表示したり、蓄積する装置が多く提案されている。伝送する映像データの解像度等の属性を決定する方法としては、例えば、特許文献1は、送信先の処理能力に応じて送信する映像データの解像度を変換することが可能なシステムに関する技術を開示する。
また、特許文献2は、映像データの送信要求に応じて提供可能な映像ストリームの候補を所定のポリシーに基づいた評価関数により決定し、映像データの送信要求元に通知する技術が開示されている。
特開2005−39515号公報 特開2005−318415号公報
2. Description of the Related Art Conventionally, many devices that transmit video data captured by a camera or the like to an information processing device or a display via a network to display or store the video data have been proposed. As a method for determining attributes such as resolution of video data to be transmitted, for example, Patent Document 1 discloses a technique related to a system capable of converting the resolution of video data to be transmitted according to the processing capability of a transmission destination. .
Japanese Patent Application Laid-Open No. 2004-228688 discloses a technique for determining a video stream candidate that can be provided in response to a video data transmission request using an evaluation function based on a predetermined policy and notifying the video data transmission request source. .
JP 2005-39515 A JP 2005-318415 A

カメラや、受信装置は、画像サイズ・フレームレート変換機能、符号化機能、接続回線方式等、映像伝送に関する様々な機能を有している。そして、ネットワークを介して映像データを送信する場合に、経由するネットワークの性能や、映像データの使用目的も含めて最適な伝送形式を選択して、映像伝送をすることが必要となる。   The camera and the receiving apparatus have various functions related to video transmission such as an image size / frame rate conversion function, an encoding function, and a connection line system. When video data is transmitted via a network, it is necessary to select the optimal transmission format including the performance of the network through which the video data is transmitted and the purpose of use of the video data and transmit the video.

しかしながら、従来のシステムにおいては、送信側で伝送形式を決定しているため、経由するネットワークの性能や、映像データの使用目的も含めて最適な伝送形式を選択することができない。   However, in the conventional system, since the transmission format is determined on the transmission side, it is not possible to select an optimal transmission format including the performance of the network through which the transmission is made and the purpose of use of the video data.

本発明は、上記の課題に鑑みてなされたもので、使用環境や要求品質に対して最適な映像データの処理を可能にすることを目的とする。   The present invention has been made in view of the above-described problems, and an object of the present invention is to enable processing of video data optimal for the use environment and required quality.

本発明に係る撮像装置は、映像データを送信することが可能な撮像装置であって、
ネットワークデバイスからの要求に応じて、前記撮像装置の処理能力を示す能力情報を生成する生成手段と、
前記生成手段により生成された前記能力情報を、前記ネットワークデバイスに送信する送信手段と、
前記能力情報に基づき前記ネットワークデバイスが決定した映像データを処理するためのフォーマット情報を受信して、撮像を行うための処理部に前記フォーマット情報に対応した設定を行う設定手段と、
前記設定手段の設定に基づき、前記フォーマット情報に対応した映像データを生成する映像データ生成手段と、
前記映像データ生成手段により生成された映像データを前記ネットワークデバイスに送信する映像データ送信手段と、
を備えることを特徴とする。
An imaging apparatus according to the present invention is an imaging apparatus capable of transmitting video data,
Generating means for generating capability information indicating the processing capability of the imaging apparatus in response to a request from the network device;
Transmitting means for transmitting the capability information generated by the generating means to the network device;
Setting means for receiving format information for processing video data determined by the network device based on the capability information, and performing setting corresponding to the format information in a processing unit for performing imaging;
Video data generating means for generating video data corresponding to the format information based on the setting of the setting means;
Video data transmission means for transmitting the video data generated by the video data generation means to the network device;
It is characterized by providing.

あるいは、本発明にかかるネットワークデバイスは、撮像装置から送信される映像データを受信することが可能なネットワークデバイスであって、
前記撮像装置の処理能力を示す能力情報を受信する受信手段と、
受信した前記能力情報と、前記ネットワークデバイスの処理能力とに基づき、前記映像データを処理するためのフォーマット情報を決定する決定手段と、
前記決定手段により決定された前記フォーマット情報を、前記撮像装置に通知する通知手段と、
前記撮像装置から送信される前記フォーマット情報に対応した映像データを受信する映像データ受信手段と、
を備えることを特徴とする。
Alternatively, the network device according to the present invention is a network device capable of receiving video data transmitted from the imaging apparatus,
Receiving means for receiving capability information indicating the processing capability of the imaging device;
Determining means for determining format information for processing the video data based on the received capability information and the processing capability of the network device;
Notification means for notifying the imaging apparatus of the format information determined by the determination means;
Video data receiving means for receiving video data corresponding to the format information transmitted from the imaging device;
It is characterized by providing.

本発明に拠れば、使用環境や要求品質に対して最適な映像データの処理が可能になる。   According to the present invention, it is possible to process video data optimal for the use environment and required quality.

以下、図面を参照して、本発明の好適な実施形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。   Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, the constituent elements described in this embodiment are merely examples, and the technical scope of the present invention is determined by the scope of claims, and is limited by the following individual embodiments. is not.

<第1実施形態>
図1は本発明を適用できる映像データ処理システムの全体構成例を示すブロック図である。撮像装置(カメラ)100はTCP/IP、UDP/IP等の規格に準拠した通信が可能な通信部107と映像データの送信制御を行う送信通信制御部108とを有し、ネットワーク150に映像データを送信することが可能である。カメラ100の通信部107はネットワーク配線120を介して、LANやインターネットなどのネットワーク150と接続する。送信通信制御部108は、専用の制御回路またはCPUと周辺回路とで構成することが可能である。
<First Embodiment>
FIG. 1 is a block diagram showing an example of the overall configuration of a video data processing system to which the present invention can be applied. An imaging apparatus (camera) 100 includes a communication unit 107 capable of communication conforming to standards such as TCP / IP and UDP / IP, and a transmission communication control unit 108 that performs transmission control of video data. Can be sent. The communication unit 107 of the camera 100 is connected to a network 150 such as a LAN or the Internet via a network wiring 120. The transmission communication control unit 108 can be configured by a dedicated control circuit or CPU and peripheral circuits.

カメラ100は、構成要素として、レンズ101、CCDなどの撮像素子102、撮像信号処理部103、解像度変換処理部104を備える。また、カメラ100は、JPEG、MPEG4、H264等のフォーマットによる符号化処理を行う符号化処理部105と、符号化された映像データを一時保持する送信メモリ106を備える。   The camera 100 includes a lens 101, an image sensor 102 such as a CCD, an image signal processing unit 103, and a resolution conversion processing unit 104 as components. The camera 100 also includes an encoding processing unit 105 that performs an encoding process in a format such as JPEG, MPEG4, and H264, and a transmission memory 106 that temporarily stores the encoded video data.

表示装置(ディスプレイ)130は、ネットワークデバイスとして、ネットワーク150を介して、カメラ100から送信された映像データを受信して表示することが可能である。ディスプレイ130は、ネットワーク配線140を介してネットワーク150と接続する通信部131と、映像データの受信制御を行う受信通信制御部132を備える。受信通信制御部132は、専用の制御回路または、CPUと周辺回路とで構成することも可能である。また、ディスプレイ130は受信した映像データを一時保持する受信メモリ133、JPEG,MPEG4,H264等のフォーマットによる復号化を行う復号化処理部134、表示処理部135、液晶等の表示部136を備える。   The display device (display) 130 can receive and display video data transmitted from the camera 100 via the network 150 as a network device. The display 130 includes a communication unit 131 connected to the network 150 via the network wiring 140 and a reception communication control unit 132 that performs reception control of video data. The reception communication control unit 132 can also be configured by a dedicated control circuit or a CPU and peripheral circuits. The display 130 also includes a reception memory 133 that temporarily stores received video data, a decoding processing unit 134 that performs decoding in a format such as JPEG, MPEG4, and H264, a display processing unit 135, and a display unit 136 such as a liquid crystal display.

(カメラ100の動作)
まず、カメラ100のレンズ101で撮像された被写体像は、撮像素子102で光電変換される。撮像信号処理部103は、撮像素子102による光電変換の結果に基づき標準画像を生成する。解像度変換処理部104は、標準画像を各サイズの画像に変換することが可能である。
(Operation of camera 100)
First, a subject image captured by the lens 101 of the camera 100 is photoelectrically converted by the image sensor 102. The imaging signal processing unit 103 generates a standard image based on the result of photoelectric conversion by the imaging element 102. The resolution conversion processing unit 104 can convert a standard image into images of various sizes.

例えば、撮像素子102の有効画素数が1920x1080の場合、撮像信号処理部103が生成する標準画像も同解像度になる。解像度変換処理部104は、標準画像の縮小や一部切り出しを行い、1280x960,640x480, 320x240,160x120 等の通常用いられる画像サイズや、任意のサイズに解像度を変換することが可能である。符号化処理部105は、解像度変換処理部104により変換された上記それぞれのサイズの画像をJPEG、MPEG4、H264などの標準符号化方式に則り、映像データへ変換することが可能である。この映像データは、送信メモリ106に一時的に保存される。送信通信制御部108は、通信部107を制御して、送信メモリ106に保存された映像データを、ネットワーク配線120を介してネットワーク150へ送信する。   For example, when the effective pixel number of the image sensor 102 is 1920 × 1080, the standard image generated by the image signal processing unit 103 has the same resolution. The resolution conversion processing unit 104 can reduce or partially cut out the standard image, and convert the resolution to a normally used image size such as 1280x960, 640x480, 320x240, 160x120, or an arbitrary size. The encoding processing unit 105 can convert the image of each size converted by the resolution conversion processing unit 104 into video data in accordance with a standard encoding method such as JPEG, MPEG4, or H264. This video data is temporarily stored in the transmission memory 106. The transmission communication control unit 108 controls the communication unit 107 to transmit the video data stored in the transmission memory 106 to the network 150 via the network wiring 120.

(ディスプレイ130の動作)
カメラ100からネットワーク150に送信されたデータは、ネットワーク配線120を経由して、通信部131に入力される。通信部131は、TCP/IP、UDP/IP等の規格に準拠した通信が可能であり、受信通信制御部132の受信制御の下に映像データの受信処理を実行する。通信部131が受信した映像データは、受信メモリ133に一時的に保存される。
(Operation of display 130)
Data transmitted from the camera 100 to the network 150 is input to the communication unit 131 via the network wiring 120. The communication unit 131 can perform communication conforming to standards such as TCP / IP and UDP / IP, and executes video data reception processing under reception control of the reception communication control unit 132. The video data received by the communication unit 131 is temporarily stored in the reception memory 133.

復号化処理部134は、受信メモリ133に保存された映像データを符号化時に用いられた方式と同じ方式で復号し、受信映像を生成する。表示処理部135は受信映像を表示部136に適した信号に変換処理し、表示部136に表示する。   The decoding processing unit 134 decodes the video data stored in the reception memory 133 by the same method as that used at the time of encoding, and generates a received video. The display processing unit 135 converts the received video into a signal suitable for the display unit 136 and displays it on the display unit 136.

上記の動作により、カメラ100で撮影された画像が、ネットワーク150を経由してディスプレイ130の表示部136に表示される。   Through the above operation, an image captured by the camera 100 is displayed on the display unit 136 of the display 130 via the network 150.

尚、図1では、説明の簡略化のために、カメラ100が1台、ディスプレイ130が1台の組合せのみを示している。実際の構成では、複数台のカメラと複数台のディスプレイとで映像データ処理システムを構成することが可能である。その場合、1台のカメラから複数台のディスプレイへ映像データを送信し、また、1台のディスプレイは複数台のカメラからの映像データを受信し表示する動作を行うことが可能である。   In FIG. 1, only a combination of one camera 100 and one display 130 is shown for simplification of explanation. In an actual configuration, a video data processing system can be configured with a plurality of cameras and a plurality of displays. In that case, video data can be transmitted from one camera to a plurality of displays, and one display can receive and display video data from a plurality of cameras.

(送信通信制御部108、受信通信制御部132の動作例)
図2は、送信通信制御部108、受信通信制御部132の処理の流れを例示的に説明するフローチャートである。図中、実線は動作の流れを表し、破線は通信を経由したデータやコマンドの流れを表すものとする。
(Operation example of the transmission communication control unit 108 and the reception communication control unit 132)
FIG. 2 is a flowchart for exemplarily explaining the processing flow of the transmission communication control unit 108 and the reception communication control unit 132. In the figure, the solid line represents the flow of operation, and the broken line represents the flow of data and commands via communication.

(送信通信制御部108の動作)
まず、送信通信制御部108の動作であるが、S201で動作を開始する。S202で、送信通信制御部108は、受信通信制御部132の制御の下にディスプレイ130から送信されるカメラ100への接続要求を受信する。
(Operation of transmission communication control unit 108)
First, the operation of the transmission communication control unit 108 is started in S201. In step S <b> 202, the transmission communication control unit 108 receives a connection request to the camera 100 transmitted from the display 130 under the control of the reception communication control unit 132.

S203で、送信通信制御部108は、接続要求の送り元が接続可能な相手先であるか判定する。送信通信制御部108は、接続要求の送り元が接続可能な相手先であり、またカメラ100が接続可能な動作状態であれば、接続要求の送り元へ接続許可を送信する。以下の送信動作は、この接続要求の送り元へ行われる。   In step S203, the transmission communication control unit 108 determines whether the connection request source is a connectable partner. The transmission communication control unit 108 transmits a connection permission to the connection request source if the connection request source is a connectable partner and the camera 100 is in an operable state. The following transmission operation is performed to the connection request source.

次に、S204で、送信通信制御部108は、接続要求の送り元の受信通信制御部132の制御の下にディスプレイ130から送信される能力情報の要求(能力情報要求)を受信する。ここで、能力情報とは、カメラ100における映像データの送信能力を示す情報をいう。   Next, in S204, the transmission communication control unit 108 receives a request for capability information (capability information request) transmitted from the display 130 under the control of the reception communication control unit 132 that is the connection request source. Here, capability information refers to information indicating the transmission capability of video data in the camera 100.

カメラ100の送信通信制御部108は、能力情報の要求を受信すると、S205で、カメラ100内の各部の機能や性能やパラメータの設定範囲、現在の動作状況等をもとに能力情報を生成する。この処理の詳細は、後に図4を参照して説明する。   Upon receiving the capability information request, the transmission communication control unit 108 of the camera 100 generates capability information based on the function and performance of each unit in the camera 100, the parameter setting range, the current operation status, and the like in S205. . Details of this processing will be described later with reference to FIG.

S206で、カメラ100の送信通信制御部108は、先のステップS205で生成した能力情報を、要求元の受信通信制御部132に送信する。   In step S206, the transmission communication control unit 108 of the camera 100 transmits the capability information generated in the previous step S205 to the reception communication control unit 132 that is the request source.

S207で、カメラ100の送信通信制御部108は受信通信制御部132の制御の下にディスプレイ130から送信される映像データを表示するためのフォーマット情報(フォーマット)を受信する。   In step S <b> 207, the transmission communication control unit 108 of the camera 100 receives format information (format) for displaying video data transmitted from the display 130 under the control of the reception communication control unit 132.

カメラ100の送信通信制御部108は、フォーマットを受信すると、S208で、フォーマットに対応した映像データを生成するために必要な設定情報を生成する。   Upon receiving the format, the transmission communication control unit 108 of the camera 100 generates setting information necessary for generating video data corresponding to the format in S208.

S209で、送信通信制御部108は、設定情報を、フォーマット情報に対応した映像データの撮像を行うための処理部(撮像信号処理部103、解像度変換処理部104、符号化処理部105)に設定する(カメラ動作設定)。例えば、フォーマット内の画像サイズが640x480であれば、送信通信制御部108は、撮像素子102の画素数からこのサイズを得る縮小倍率を計算し、その倍率を解像度変換処理部へ設定する。また、符号化方式がMPEG4である場合、送信通信制御部108は、その方式を符号化処理部105へ設定する。撮像信号処理部103、解像度変換処理部104、符号化処理部105は、映像データ生成手段として機能し、この設定に基づき、フォーマットに対応した映像データを生成することができる。   In step S209, the transmission communication control unit 108 sets the setting information in the processing units (the imaging signal processing unit 103, the resolution conversion processing unit 104, and the encoding processing unit 105) for capturing video data corresponding to the format information. ON (Camera operation setting). For example, if the image size in the format is 640 × 480, the transmission communication control unit 108 calculates a reduction magnification for obtaining this size from the number of pixels of the image sensor 102 and sets the magnification in the resolution conversion processing unit. When the encoding method is MPEG4, the transmission communication control unit 108 sets the method to the encoding processing unit 105. The imaging signal processing unit 103, the resolution conversion processing unit 104, and the encoding processing unit 105 function as video data generation means, and can generate video data corresponding to the format based on this setting.

次にS210で、カメラ100の送信通信制御部108は、ディスプレイ130の受信通信制御部132から送信されるコマンドの受信動作に入る。コマンドが受信されると、S211で、送信通信制御部108は、コマンド種別を判定する。   In step S <b> 210, the transmission communication control unit 108 of the camera 100 starts receiving a command transmitted from the reception communication control unit 132 of the display 130. When the command is received, the transmission communication control unit 108 determines the command type in S211.

S211の判定で、コマンドが映像送信要求である場合に、S212で、送信通信制御部108は、映像データ送信手段として機能し、送信メモリ106に一時保存されている映像データをコマンドの送信元に送信する。   If it is determined in S211 that the command is a video transmission request, in S212, the transmission communication control unit 108 functions as a video data transmission unit, and uses video data temporarily stored in the transmission memory 106 as a command transmission source. Send.

一方、S211の判定で、コマンドが切断要求であれば、S213で、送信通信制御部108は、動作を終了する。この後、処理をS201に戻し、送信通信制御部108は、同様の処理を繰り返す。   On the other hand, if it is determined in S211 that the command is a disconnection request, the transmission communication control unit 108 ends the operation in S213. Thereafter, the process returns to S201, and the transmission communication control unit 108 repeats the same process.

(受信通信制御部132の動作)
また、受信通信制御部132の動作であるが、S220で動作を開始する。S221で、受信通信制御部132は、カメラ100に対して接続要求を送信する。以下の送信動作はこのカメラ100に対して行われる。
(Operation of the reception communication control unit 132)
The operation of the reception communication control unit 132 is started in S220. In step S <b> 221, the reception communication control unit 132 transmits a connection request to the camera 100. The following transmission operation is performed on the camera 100.

S222で、受信通信制御部132は、送信通信制御部108の制御の下にカメラ100から送信された接続許可を受信する。   In S222, the reception communication control unit 132 receives the connection permission transmitted from the camera 100 under the control of the transmission communication control unit 108.

接続許可が受信されると、S223で、受信通信制御部132は、能力情報の要求(能力情報要求)を送信する。   When the connection permission is received, in S223, the reception communication control unit 132 transmits a capability information request (capability information request).

S224で、受信通信制御部132は、送信通信制御部108の制御の下にカメラ100から送信された能力情報を受信する。   In S224, the reception communication control unit 132 receives the capability information transmitted from the camera 100 under the control of the transmission communication control unit 108.

S225で、受信通信制御部132は、能力情報と、ディスプレイ130の処理能力(復号化処理部134や表示処理部135の機能、性能)、または、ユーザーから入力される表示目的に応じた選択により、映像データのフォーマットを決定する。この処理の詳細は、後に図5を参照して説明する。   In S225, the reception communication control unit 132 selects the capability information and the processing capability of the display 130 (the function and performance of the decoding processing unit 134 and the display processing unit 135) or a selection according to the display purpose input from the user. Determine the format of the video data. Details of this processing will be described later with reference to FIG.

S226で、受信通信制御部132は、先のステップS225で決定したフォーマットをカメラ100に送信する(フォーマット通知)。   In S226, the reception communication control unit 132 transmits the format determined in the previous step S225 to the camera 100 (format notification).

S227で、受信通信制御部132は、コマンドとして、映像送信要求をカメラ100に送信する。   In S227, the reception communication control unit 132 transmits a video transmission request to the camera 100 as a command.

S228で、受信通信制御部132は、通信部131を制御して、送信通信制御部108の制御の下にカメラ100から送信される映像データを受信する。この処理の詳細は、後に図6を参照して説明する。   In step S <b> 228, the reception communication control unit 132 controls the communication unit 131 to receive video data transmitted from the camera 100 under the control of the transmission communication control unit 108. Details of this processing will be described later with reference to FIG.

S229で、受信通信制御部132は、受信した映像データを表示部136に表示する。   In S229, the reception communication control unit 132 displays the received video data on the display unit 136.

S230で、受信通信制御部132は、所定の条件に従い、映像データの表示が完了したか判定する。表示完了の判定条件として、受信通信制御部132は、例えば、映像データの表示開始から不図示の計時部(タイマー)を起動して時刻の計測を開始し、所定時間経過後に表示完了と判定することが可能である。あるいは、受信通信制御部132は、ユーザーの操作入力を条件として、表示完了と判定することも可能である。   In S230, the reception communication control unit 132 determines whether the display of the video data is completed according to a predetermined condition. As a display completion determination condition, for example, the reception communication control unit 132 starts a time measurement unit (timer) (not shown) from the start of video data display to start time measurement, and determines that display is complete after a predetermined time has elapsed. It is possible. Alternatively, the reception communication control unit 132 can determine that the display is complete on the condition of the user's operation input.

S230の判定で映像データの表示が完了していない場合(S230−No)、処理をステップS227に戻し、受信通信制御部132は、同様の処理を繰り返す。   If the display of the video data is not completed in the determination of S230 (S230-No), the process returns to step S227, and the reception communication control unit 132 repeats the same process.

一方、S230の判定で映像データの表示が完了した場合に(S230−Yes)、S231で、受信通信制御部132は、コマンドとして、切断要求をカメラ100に送信し、処理を終了する(S232)。   On the other hand, when the display of the video data is completed in the determination of S230 (S230-Yes), in S231, the reception communication control unit 132 transmits a disconnection request to the camera 100 as a command, and ends the processing (S232). .

図2の説明では、説明の簡単化のため、カメラ100を1台、ディスプレイ130を1台とした場合の動作を説明した。本発明の趣旨はこの例に限定されず、例えば、図2の動作を複数のディスプレイやカメラに対応させて並列に動作させることで、複数台のカメラと複数台のディスプレイとに対応したシステム構成も可能である。例えば、送信通信制御部108、受信通信制御部132は複数の制御回路と動作状態を記憶するレジスタとを複数備え、制御回路はそれぞれ時分割でレジスタを切り替えることで、並列動作の実行が可能になる。   In the description of FIG. 2, for simplification of description, the operation when one camera 100 and one display 130 are used has been described. The gist of the present invention is not limited to this example. For example, a system configuration corresponding to a plurality of cameras and a plurality of displays by operating the operation of FIG. 2 in parallel corresponding to a plurality of displays and cameras. Is also possible. For example, the transmission communication control unit 108 and the reception communication control unit 132 include a plurality of control circuits and a plurality of registers for storing operation states, and the control circuits can execute parallel operations by switching the registers in a time division manner. Become.

(処理能力リストの例)
図3は、図2のS205で生成される能力情報のうち、カメラ100の機能、性能で定まる処理能力情報のリスト(処理能力リスト)を例示する図である。この例では、処理能力情報をツリー状に表現しているが、実際のファイルの形式は、例えば、XML形式や、インデックスつきのテキスト形式で表すことが出来る。図3に例示されるように、カメラ100の内部の機能、性能を動作モード(例えば、JPEG、MPEG4)に対応して分類して送信することで、ディスプレイ内で必要なフォーマットを選択することが出来る。
(Example of processing capacity list)
FIG. 3 is a diagram illustrating a list of processing capability information (processing capability list) determined by the function and performance of the camera 100 among the capability information generated in S205 of FIG. In this example, the processing capability information is expressed in a tree shape, but the actual file format can be expressed in, for example, an XML format or a text format with an index. As illustrated in FIG. 3, it is possible to select a necessary format in the display by classifying and transmitting the internal functions and performance of the camera 100 corresponding to the operation mode (for example, JPEG, MPEG4). I can do it.

(能力情報生成の工程の詳細)
図4は、図2のS205(能力情報生成工程)の詳細な情報処理の流れを説明する図である。図4の処理は、送信通信制御部108の全体的な制御の下に実行される。
(Details of capability information generation process)
FIG. 4 is a diagram for explaining the detailed information processing flow of S205 (capability information generation step) in FIG. The process of FIG. 4 is executed under the overall control of the transmission communication control unit 108.

S401で、送信通信制御部108は、解像度変換処理部104の最大処理能力と、現状の解像度変換負荷の比率とから、解像度変換残能力(解像度変換能力の余裕)を求める。解像度変換処理部104の処理能力は、画像サイズ、フレームレート、縮小率に関係している。例えば、1/2縮小換算で120frame・Mピクセル /秒とすると、現在、2Mピクセルの映像を30fpsで1/2縮小していると、60frame・Mピクセル/秒の処理を行っていることになり、50%の残能力になる。   In step S <b> 401, the transmission communication control unit 108 obtains a remaining resolution conversion capacity (a margin for resolution conversion capacity) from the maximum processing capacity of the resolution conversion processing unit 104 and the ratio of the current resolution conversion load. The processing capability of the resolution conversion processing unit 104 is related to the image size, the frame rate, and the reduction rate. For example, assuming that the resolution is 120 frames · M pixels / second in terms of 1/2 reduction, if a video of 2M pixels is reduced by half at 30fps, processing of 60 frames · M pixels / second is being performed. 50% remaining capacity.

S402で、送信通信制御部108は、符号化処理部105の最大処理能力と、現状の符号化処理負荷の比率とから符号化処理残能力(符号化処理能力の余裕)を求める。符号化処理部105の処理能力は、画像サイズ、フレームレートと符号化方式に関係している。例えば、JPEG方式に比べ、MPEG4は、単方向予測で2〜4倍、双方向予測では8〜15倍程度処理能力が必要になる。これらの状態をもとに、送信通信制御部108は、現在の処理能力を求め、残能力を求める。   In step S <b> 402, the transmission communication control unit 108 obtains the remaining encoding processing capacity (encoding processing capacity margin) from the maximum processing capacity of the encoding processing unit 105 and the ratio of the current encoding processing load. The processing capability of the encoding processing unit 105 is related to the image size, frame rate, and encoding method. For example, compared to the JPEG system, MPEG4 requires processing power of 2 to 4 times for unidirectional prediction and 8 to 15 times for bidirectional prediction. Based on these states, the transmission communication control unit 108 obtains the current processing capacity and obtains the remaining capacity.

S403で、送信通信制御部108は、通信部107の最大通信能力と、現状の通信量の比率から、通信部残能力(通信処理能力の余裕)を求める。例えば、100BASE-TXのインターフェースを用いて通信する場合、原理的な最大通信能力は100Mbpsであるが、実際には、データにヘッダやフッタが付くことで、映像データの通信能力は80〜90%程度になる。更に、送信メモリ106へのアクセス時間や通信部107内部での処理時間等で最大通信能力が決まる。これに対し、現状の通信状態は、現在送信している映像データの画像サイズ、フレームレートと符号化方式の他、符号化の際に行う量子化処理の量子化値(Q値)にも大きく依存する。このQ値とデータ量の対応テーブルを用いて求めるか、現状の時間当たりの通信データ量を求めることで、送信通信制御部108は、通信部残能力を求めることができる。   In step S <b> 403, the transmission communication control unit 108 obtains the remaining communication unit capacity (communication processing capacity margin) from the maximum communication capability of the communication unit 107 and the ratio of the current communication amount. For example, when communicating using a 100BASE-TX interface, the theoretical maximum communication capacity is 100 Mbps, but in reality, the communication capacity of video data is 80 to 90% by adding a header or footer to the data. It will be about. Further, the maximum communication capability is determined by the access time to the transmission memory 106, the processing time in the communication unit 107, and the like. On the other hand, the current communication state is greatly increased in the quantization value (Q value) of the quantization process performed at the time of encoding in addition to the image size, frame rate and encoding method of the currently transmitted video data. Dependent. The transmission communication control unit 108 can obtain the remaining communication unit capacity by obtaining the correspondence table between the Q value and the data amount or by obtaining the current communication data amount per time.

S404で、送信通信制御部108は処理能力リスト(図3)、解像度変換残能力(S401)、符号化処理残能力(S402)、通信部残能力(S403)、増加割合計算パラメータにより能力情報を生成する。   In S404, the transmission communication control unit 108 obtains capability information based on the processing capability list (FIG. 3), resolution conversion remaining capability (S401), encoding processing remaining capability (S402), communication unit remaining capability (S403), and an increase rate calculation parameter. Generate.

ここで、増加割合計算パラメータは、あるフォーマットにより映像データを送信する際に、解像度変換処理部104、符号化処理部105、通信部107の処理における負荷の増加割合を計算するためのパラメータである。   Here, the increase rate calculation parameter is a parameter for calculating the increase rate of the load in the processing of the resolution conversion processing unit 104, the encoding processing unit 105, and the communication unit 107 when video data is transmitted in a certain format. .

(フォーマット決定工程の詳細)
図5は、図2のS225(フォーマット決定工程)の詳細な情報処理の流れを説明する図である。図5の処理は、受信通信制御部132の全体的な制御の下に実行される。
(Details of format determination process)
FIG. 5 is a diagram for explaining a detailed information processing flow of S225 (format determination step) in FIG. The process of FIG. 5 is executed under the overall control of the reception communication control unit 132.

S501で、受信通信制御部132は、リスト生成手段として機能し、S224でカメラ100から受信した能力情報から処理能力リストを抽出する。   In step S501, the reception communication control unit 132 functions as a list generation unit, and extracts a processing capability list from the capability information received from the camera 100 in step S224.

S502で、受信通信制御部132は、S501で抽出した処理能力リストと、復号化処理部134、表示処理部135の能力をもとに、選択可能なフォーマットの組合せのリストを生成する。例えば、復号化処理部134がJPEGのみに対応していて、表示サイズとして640x480 15fps以下,320x240 30fps以下の場合、受信通信制御部132は、以下の選択肢(1),(2)を持つリストを生成する。   In S502, the reception communication control unit 132 generates a list of combinations of selectable formats based on the processing capability list extracted in S501 and the capabilities of the decoding processing unit 134 and the display processing unit 135. For example, when the decoding processing unit 134 supports only JPEG and the display size is 640 × 480 15 fps or less, 320 × 240 30 fps or less, the reception communication control unit 132 displays a list having the following options (1) and (2): Generate.

(1)モード=JPEG サイズ=640x480 フレームレート=15fps以下 Q値=0〜100
(2)モード=JPEG サイズ=320x240 フレームレート=30fps以下 Q値=0〜100。
(1) Mode = JPEG size = 640x480 Frame rate = 15 fps or less Q value = 0 to 100
(2) Mode = JPEG size = 320 × 240 Frame rate = 30 fps or less Q value = 0-100.

他にも対応可能であれば、対応可能な数の選択肢を持つリストが得られる。   If there are other options available, a list with as many options as possible can be obtained.

S503で、受信通信制御部132は、S224でカメラ100から受信した能力情報に基づき、解像度変換残能力、符号化処理残能力、通信部残能力、増加割合計算パラメータを抽出する。   In S503, the reception communication control unit 132 extracts the resolution conversion remaining capacity, the remaining coding process capacity, the communication section remaining capacity, and the increase rate calculation parameter based on the capacity information received from the camera 100 in S224.

S504で、受信通信制御部132は、能力算出手段として機能し、S502で生成したそれぞれのフォーマットを選択した場合の、カメラの解像度変換残能力、符号化処理残能力、通信部残能力を、増加割合計算パラメータを基に計算する。受信通信制御部132は、選択可能なフォーマットに対して、それぞれ必要とされるカメラの解像度変換残能力、符号化処理残能力、通信部残能力を増加割合計算パラメータにより計算することが可能である。あるフォーマットに対し、フレームレート、Q値は幅がある。そのため、受信通信制御部132は、例えば、フレームレートを最大、最大の1/2、最大の1/4とし、Q値をいくつかの推奨値(たとえば40、50、60)等を用いて計算することが可能である。   In S504, the reception communication control unit 132 functions as a capability calculation unit, and increases the resolution conversion remaining capability, the remaining encoding processing capability, and the communication unit remaining capability when the respective formats generated in S502 are selected. Calculate based on percentage calculation parameters. The reception communication control unit 132 can calculate the required resolution conversion remaining capacity, encoding process remaining capacity, and communication section remaining capacity of the required format for each selectable format using the increase rate calculation parameter. . For a certain format, the frame rate and Q value vary. Therefore, for example, the reception communication control unit 132 sets the frame rate to the maximum, 1/2 of the maximum, 1/4 of the maximum, and calculates the Q value using some recommended values (for example, 40, 50, 60). Is possible.

S505で、受信通信制御部132は、S504で計算した算出結果に基づき、各残能力が正(プラス)となる、残能力に余裕があるものの組み合わせを選択候補として設定する。各残能力が正であれば、カメラ100がこの映像データの送信を行っても、現在行っている他のディスプレイへの映像データの送信へ悪影響が無く、自ディスプレイに対してフォーマット通りの送信が可能である。   In S505, the reception communication control unit 132 sets, as selection candidates, combinations of those having a remaining capacity that are positive (plus) based on the calculation result calculated in S504. If each remaining capacity is positive, even if the camera 100 transmits the video data, there is no adverse effect on the transmission of the video data to the other display currently being performed, and the transmission according to the format can be performed to the own display. Is possible.

逆に負(マイナス)になる能力があれば、現在行っている他のディスプレイへの映像データの送信へ悪影響が発生する可能性がある。この場合、例えば、自ディスプレイに対してフォーマットどおりの送信が出来ず、映像が途切れたりする可能性がある。   On the other hand, if there is an ability to become negative (minus), there is a possibility that an adverse effect may occur on the transmission of video data to another display currently being performed. In this case, for example, there is a possibility that the image cannot be transmitted to the display itself and the video is interrupted.

S506で、受信通信制御部132は、S505で得た選択候補の中で、表示画像が最も高画質な組合せを推奨設定として選択する。選択の際、受信通信制御部132は、画面サイズ、フレームレート、Q値を変数として、所定の関数を用いて画質評価値を求め、その画質評価値の最も高いものを選択する。予めユーザー設定として、フレームレートを優先するか、画面サイズを優先するか、Q値を優先するかなどの選択基準を入力させ、受信通信制御部132は、選択基準の入力に応じて画質評価値を求め、その画質評価値の最も高いものを選択することもできる。   In step S506, the reception communication control unit 132 selects a combination having the highest image quality as a recommended setting from among the selection candidates obtained in step S505. At the time of selection, the reception communication control unit 132 obtains an image quality evaluation value using a predetermined function using the screen size, frame rate, and Q value as variables, and selects the one having the highest image quality evaluation value. As a user setting, selection criteria such as whether to prioritize the frame rate, the screen size, or the Q value are input in advance, and the reception communication control unit 132 determines the image quality evaluation value according to the selection criteria input. Can be selected, and the image with the highest image quality evaluation value can be selected.

S507で、受信通信制御部132はS502で生成したリストに、S505で設定した選択候補、S504で計算した各残能力、S506で選択した推奨設定を付加し、選択可能に表示する。また、この際、受信通信制御部132は、S505で設定した選択候補以外は、グレーアウトして選択できないように表示することにより、他のディスプレイへの送信への悪影響の発生を予防することも可能である。   In step S507, the reception communication control unit 132 adds the selection candidates set in step S505, the remaining capacities calculated in step S504, and the recommended settings selected in step S506 to the list generated in step S502, and displays them in a selectable manner. Also, at this time, the reception communication control unit 132 can prevent the occurrence of adverse effects on transmission to other displays by displaying grayed out other than the selection candidates set in S505 so that they cannot be selected. It is.

また、受信通信制御部132は、S506で得た画質評価値を用いて、高画質な順に表示するなどの表示制御により、ユーザーの選択を支援することが可能である。   In addition, the reception communication control unit 132 can support the user's selection through display control such as displaying in the order of image quality using the image quality evaluation value obtained in S506.

S507の処理により、例えば、表示部136の上に、ダイアログなどが表示され、ユーザーは、不図示のリモコンやキーボード、マウスなどを用いて、いずれか1つのフォーマットを選択することが可能である。   By the processing in S507, for example, a dialog or the like is displayed on the display unit 136, and the user can select any one format using a remote controller, a keyboard, a mouse, or the like (not shown).

S508で、受信通信制御部132は、ユーザーの選択により、映像データの送信フォーマットを決定する。   In S508, the reception communication control unit 132 determines the transmission format of the video data according to the user's selection.

(映像データ受信工程の詳細)
図6は、図2のS228(映像データ受信工程)の詳細な情報処理の流れを説明する図である。図6の処理は、受信通信制御部132の全体的な制御の下に実行される。
(Details of video data reception process)
FIG. 6 is a diagram for explaining a detailed information processing flow in S228 (video data receiving step) in FIG. The process of FIG. 6 is executed under the overall control of the reception communication control unit 132.

S601で、受信通信制御部132は、不図示の計時部(タイマー)を起動して、映像データの受信開始時刻を記録する(第1計時工程)。   In S601, the reception communication control unit 132 activates a timer (not shown) and records the reception start time of the video data (first timing step).

S602で、受信通信制御部132は、映像データの受信を開始する。   In step S602, the reception communication control unit 132 starts receiving video data.

S603で、受信通信制御部132は、映像データの区切りとして1ブロックの受信が完了したか判定する。1ブロックの映像データの受信が完了してなければ、受信通信制御部132は、処理をS602へ戻す。「1ブロック」とは、映像データの一区切りで、符号化方式や送信フォーマットにより異なるが、例えばJPEGであれば1画面分、あるいは、MPEG4であれば、1GOP(Group of Picture)分などを1ブロックとすることができる。   In step S603, the reception communication control unit 132 determines whether reception of one block is completed as a video data break. If reception of one block of video data has not been completed, the reception communication control unit 132 returns the process to S602. “One block” is a segment of video data, and differs depending on the encoding method and transmission format. For example, for JPEG, one screen or for MPEG4, one GOP (Group of Picture) is one block. It can be.

一方、1ブロックの映像データの受信が完了した時に(S603−Yes)、受信通信制御部132は、S604で、タイマーが計測する時刻を参照して1ブロック受信終了時刻を記録する(第2計時工程)。   On the other hand, when the reception of the video data of one block is completed (S603-Yes), the reception communication control unit 132 records the one-block reception end time with reference to the time measured by the timer in S604 (second time measurement). Process).

S605で、受信通信制御部132は、データサイズ算出手段として機能し、1ブロックの映像データのデータサイズを計算する。   In step S605, the reception communication control unit 132 functions as a data size calculation unit and calculates the data size of one block of video data.

S606で、受信通信制御部132は、S605で算出した1ブロックの映像データのサイズと、S601で記録した受信開始時刻と、S604で記録した受信終了時刻とから、通信の実レートを計算する。   In S606, the reception communication control unit 132 calculates the actual communication rate from the size of the video data of one block calculated in S605, the reception start time recorded in S601, and the reception end time recorded in S604.

S607で、受信通信制御部132は、通信レート算出手段として機能し、現状の設定フォーマットから、通信の必要レートを計算する。   In S <b> 607, the reception communication control unit 132 functions as a communication rate calculation unit, and calculates a necessary communication rate from the current setting format.

S608で、受信通信制御部132は、S606で算出した通信の実レートと、S607で算出した通信の必要レートとを比較する。S608の比較で、実レートが必要レートを下回っている場合に(S608−No)、処理はS609に進められる。   In S608, the reception communication control unit 132 compares the actual communication rate calculated in S606 with the required communication rate calculated in S607. If the actual rate is lower than the required rate in the comparison in S608 (S608-No), the process proceeds to S609.

S609において、受信通信制御部132は、表示処理部135を制御して、実レートが必要とされるフレームレート(通信レート)を下回る、通信レート不足の警告を表示部136に表示する。これにより、ユーザーは、映像データがカメラ100内で滞留したり、あるいは、設定フレームレートよりも低いフレームレートでしか送信することができないことを知ることが出来る。ユーザーは、これに応じて設定を変更するなどの対処をすることで、意図した通りの動作が行われないことを未然に防ぐことが出来る。   In step S <b> 609, the reception communication control unit 132 controls the display processing unit 135 to display a communication rate shortage warning below the frame rate (communication rate) at which the actual rate is required on the display unit 136. Thereby, the user can know that the video data stays in the camera 100 or can be transmitted only at a frame rate lower than the set frame rate. The user can prevent the operation as intended from being performed by taking measures such as changing the setting according to this.

一方、S608の比較で、受信通信制御部132は、実レートが必要レートを上回っていると判定する場合(S608−Yes)、問題発生の可能性がないため、次の工程(図2のS229)へ進む。   On the other hand, if the reception communication control unit 132 determines that the actual rate exceeds the necessary rate in the comparison in S608 (S608-Yes), there is no possibility of occurrence of a problem, so the next step (S229 in FIG. 2). Go to).

以上説明したとおり、本実施形態に拠れば、カメラ100及びディスプレイ130の使用環境や要求品質に対して最適なフォーマットに基づいた映像データの表示が可能になる。   As described above, according to the present embodiment, it is possible to display video data based on a format optimal for the usage environment and required quality of the camera 100 and the display 130.

<第2実施形態>
図7は本発明の第2実施形態にかかる映像データ処理システムの全体構成例を示すブロック図である。図7において、第1実施形態の構成と同一の構成要素(カメラ100、ディスプレイ130)または相当部分には同一の参照番号が付されている。
Second Embodiment
FIG. 7 is a block diagram showing an example of the overall configuration of a video data processing system according to the second embodiment of the present invention. In FIG. 7, the same reference numerals are assigned to the same components (camera 100, display 130) or corresponding parts as those in the first embodiment.

蓄積装置700は、ネットワークデバイスとして、ネットワーク150より映像データを受信してディスク装置706へ蓄積し、また、ディスク装置706から再生した映像をネットワークへ送信可能である。   As a network device, the storage device 700 can receive video data from the network 150 and store it in the disk device 706, and can transmit the video reproduced from the disk device 706 to the network.

蓄積装置700は、ネットワーク配線710を介してネットワーク150と接続する通信部701と、映像データの受信または送信のための制御を行う蓄積通信制御部702を備える。蓄積通信制御部702は、専用の制御回路または、CPUと周辺回路とで構成することも可能である。   The storage device 700 includes a communication unit 701 connected to the network 150 via the network wiring 710 and a storage communication control unit 702 that performs control for receiving or transmitting video data. The accumulated communication control unit 702 can be configured by a dedicated control circuit or a CPU and peripheral circuits.

蓄積装置700は、受信した映像データまたは送信する映像データを一時保持する送受信メモリ703と、映像データをファイルとして管理するファイル管理部704を備える。蓄積装置700は、更に、ハードディスクドライブや光ディスクドライブ、フラッシュメモリディスクなどのディスク装置706と、ディスク装置706を制御し、蓄積処理手段として機能するディスク制御部705を備える。   The storage device 700 includes a transmission / reception memory 703 that temporarily stores received video data or video data to be transmitted, and a file management unit 704 that manages the video data as a file. The storage device 700 further includes a disk device 706 such as a hard disk drive, an optical disk drive, or a flash memory disk, and a disk control unit 705 that controls the disk device 706 and functions as storage processing means.

蓄積装置700は録画動作と再生動作とを実行することが可能である。録画動作において、カメラ100からネットワーク150に送信されたデータは、ネットワーク配線710を経由して、通信部701に入力される。通信部701に入力された映像データは、蓄積通信制御部702の制御の下に受信処理され、送受信メモリ703に一時的に格納(蓄積)される。この受信データはファイル管理部704によりファイル化される。このファイルは、ディスク制御部705により、ディスク装置706に適した信号に変換され、ディスク装置706へ格納(蓄積)される。   The storage device 700 can execute a recording operation and a reproduction operation. In the recording operation, data transmitted from the camera 100 to the network 150 is input to the communication unit 701 via the network wiring 710. The video data input to the communication unit 701 is subjected to reception processing under the control of the accumulation communication control unit 702 and temporarily stored (accumulated) in the transmission / reception memory 703. The received data is filed by the file management unit 704. This file is converted into a signal suitable for the disk device 706 by the disk control unit 705 and stored (accumulated) in the disk device 706.

また、再生動作では、ディスク装置706に格納(蓄積)されたファイルはディスク制御部705により読み出され、ファイル管理部704は、読み出されたファイルから映像データを取り出す。そして、ファイル管理部704は、取り出した映像データを送受信メモリ703に一時的に格納(蓄積)する。   In the reproduction operation, the file stored (accumulated) in the disk device 706 is read by the disk control unit 705, and the file management unit 704 extracts video data from the read file. Then, the file management unit 704 temporarily stores (accumulates) the extracted video data in the transmission / reception memory 703.

通信部701は、蓄積通信制御部702の制御の下に、送受信メモリ703に一時的に格納(蓄積)された映像データを、ネットワーク配線710を経由してネットワーク150へ送信する。ここで送信された映像データは、ディスプレイ130により表示されるが、ディスプレイ130における処理は第1実施形態の説明と同一となるため説明を省略する。   The communication unit 701 transmits the video data temporarily stored (accumulated) in the transmission / reception memory 703 to the network 150 via the network wiring 710 under the control of the accumulation communication control unit 702. The video data transmitted here is displayed on the display 130, but the processing in the display 130 is the same as that described in the first embodiment, and thus the description thereof is omitted.

(送信通信制御部108、蓄積通信制御部702の動作例)
図8は、蓄積通信制御部702は、送信通信制御部108の処理の流れを例示的に説明するフローチャートである。第1実施形態で説明した図2と同一の処理に関しては、同一の参照番号を付し、詳細な説明は省略する。
(Operation example of transmission communication control unit 108 and storage communication control unit 702)
FIG. 8 is a flowchart illustrating an example of the processing flow of the transmission communication control unit 108 by the accumulated communication control unit 702. The same processes as those in FIG. 2 described in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.

蓄積通信制御部702の動作は、スタートから能力情報の受信までは、図2の受信通信制御部132の動作S220からS224までと、同一の動作となる。ここで、S220からS224に対応する動作を蓄積通信制御部702が主体となって実行するものとする。   The operation of the accumulated communication control unit 702 is the same from the start to the reception of the capability information, from the operations S220 to S224 of the reception communication control unit 132 in FIG. Here, it is assumed that the operation corresponding to S220 to S224 is executed mainly by the stored communication control unit 702.

S801で、蓄積通信制御部702は、S224で受信した能力情報と、蓄積装置内のファイル管理部704、ディスク制御部705の機能、性能、ユーザーから入力される表示目的に応じた選択により、映像データのフォーマットを決定する。   In step S801, the storage communication control unit 702 selects the video according to the capability information received in step S224, the function and performance of the file management unit 704 and the disk control unit 705 in the storage device, and the display purpose input from the user. Determine the format of the data.

フォーマットをカメラ100に通知するフォーマットの通知工程(S226)から映像データの受信工程(S228)までの動作は、図2の受信通信制御部132の動作と同一である。ここで、S226からS228に対応する動作を蓄積通信制御部702が主体となって実行するものとする。   The operations from the format notification step (S226) for notifying the camera 100 of the format to the video data reception step (S228) are the same as the operations of the reception communication control unit 132 in FIG. Here, it is assumed that the operation corresponding to S226 to S228 is executed mainly by the accumulated communication control unit 702.

S802で、蓄積通信制御部702は、通信部701を制御して、送信通信制御部108の制御の下にカメラ100から送信される映像データを受信する。   In step S <b> 802, the accumulation communication control unit 702 controls the communication unit 701 to receive video data transmitted from the camera 100 under the control of the transmission communication control unit 108.

S803で、蓄積通信制御部702は、ファイル管理部704を制御して、受信した映像データをファイル化し、ディスク制御部705の制御の下にファイルをディスク装置706へ格納(蓄積)する。   In step S <b> 803, the storage communication control unit 702 controls the file management unit 704 to convert the received video data into a file, and stores (accumulates) the file in the disk device 706 under the control of the disk control unit 705.

S804で、蓄積通信制御部702は、所定の条件に応じて、映像データ(ファイル)の蓄積が完了したか判定する。   In step S804, the accumulation communication control unit 702 determines whether the accumulation of the video data (file) is completed according to a predetermined condition.

蓄積完了の判定条件として、蓄積通信制御部702は、ディスク制御部705の通知を受けて、映像データ(ファイル)の蓄積完了を判定することができる。   As a determination condition for the completion of storage, the storage communication control unit 702 can determine the completion of storage of video data (file) upon receiving a notification from the disk control unit 705.

S804の判定で映像データ(ファイル)の蓄積が完了していない場合(S804−No)、処理をステップS227に戻し、蓄積通信制御部702は、同様の処理を繰り返す。   If the accumulation of video data (file) is not completed in the determination in S804 (S804-No), the process returns to step S227, and the accumulation communication control unit 702 repeats the same process.

一方、S804の判定で映像データ(ファイル)の蓄積が完了した場合に(S804−Yes)、S231で、蓄積通信制御部702は、コマンドとして、切断要求をカメラ100に送信し、処理を終了する(S232)。   On the other hand, when the accumulation of video data (file) is completed in the determination in S804 (S804-Yes), in S231, the accumulation communication control unit 702 transmits a disconnection request to the camera 100 as a command, and ends the process. (S232).

蓄積装置700は、カメラ100から送信された映像データを、ネットワーク150を介して受信してディスク装置706に蓄積する。また、蓄積装置700は、ディスク装置706から再生した映像を、ネットワーク150を介してディスプレイ130に送信することが可能である。   The storage device 700 receives the video data transmitted from the camera 100 via the network 150 and stores it in the disk device 706. Further, the storage device 700 can transmit the video reproduced from the disk device 706 to the display 130 via the network 150.

以上説明したとおり、本実施形態に拠れば、カメラ100、蓄積装置700の使用環境や要求品質に対して最適なフォーマットに基づいた映像データの蓄積と再生が可能になる。   As described above, according to the present embodiment, video data can be stored and played back based on a format that is optimal for the usage environment and required quality of the camera 100 and the storage device 700.

<第3実施形態>
なお、本発明の目的は、前述した実施形態の機能を実現するコンピュータプログラムのプログラムコードを記録したコンピュータ可読の記憶媒体を、システムあるいは装置に供給することによっても、達成されることは言うまでもない。また、システムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
<Third Embodiment>
Needless to say, the object of the present invention can also be achieved by supplying a system or apparatus with a computer-readable storage medium storing the program code of the computer program that implements the functions of the above-described embodiments. Needless to say, this can also be achieved by the computer (or CPU or MPU) of the system or apparatus reading and executing the program code stored in the storage medium.

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。   In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、不揮発性のメモリカード、ROMなどを用いることができる。   As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a nonvolatile memory card, a ROM, or the like can be used.

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれることは言うまでもない。   Further, the functions of the above-described embodiment are realized by executing the program code read by the computer. In addition, an OS (operating system) running on a computer performs part or all of actual processing based on an instruction of a program code, and the above-described embodiment is realized by the processing. Needless to say.

第1実施形態に係る映像データ処理システムの全体構成例を示すブロック図である。1 is a block diagram illustrating an example of the overall configuration of a video data processing system according to a first embodiment. 送信通信制御部108、受信通信制御部132の処理の流れを例示的に説明するフローチャートである。6 is a flowchart illustratively explaining the flow of processing of a transmission communication control unit and a reception communication control unit 132. 処理能力情報のリストを例示する図である。It is a figure which illustrates the list | wrist of processing capability information. 図2のS205(能力情報生成工程)の詳細な処理の流れを説明する図である。It is a figure explaining the flow of the detailed process of S205 (capability information generation process) of FIG. 図2のS225(フォーマット決定工程)の詳細な処理の流れを説明する図である。It is a figure explaining the flow of a detailed process of S225 (format determination process) of FIG. 図2のS228(映像データ受信工程)の詳細な処理の流れを説明する図である。It is a figure explaining the flow of a detailed process of S228 (video data reception process) of FIG. 第2実施形態にかかる映像データ処理システムの全体構成例を示すブロック図である。It is a block diagram which shows the example of whole structure of the video data processing system concerning 2nd Embodiment. 送信通信制御部108の処理の流れを例示的に説明するフローチャートである。5 is a flowchart for exemplarily explaining a processing flow of a transmission communication control unit.

符号の説明Explanation of symbols

100 カメラ
102 撮像素子
107 通信部
108 送信通信制御部
150 ネットワーク
130 ディスプレイ
131 通信部
132 受信通信制御部
136 表示部
700 蓄積装置
701 通信部
702 蓄積通信制御部
706 ディスク装置
DESCRIPTION OF SYMBOLS 100 Camera 102 Image pick-up element 107 Communication part 108 Transmission communication control part 150 Network 130 Display 131 Communication part 132 Reception communication control part 136 Display part 700 Accumulation apparatus 701 Communication part 702 Accumulation communication control part 706 Disk apparatus

Claims (16)

映像データを送信することが可能な撮像装置であって、
ネットワークデバイスからの要求に応じて、前記撮像装置の処理能力を示す能力情報を生成する生成手段と、
前記生成手段により生成された前記能力情報を、前記ネットワークデバイスに送信する送信手段と、
前記能力情報に基づき前記ネットワークデバイスが決定した映像データを処理するためのフォーマット情報を受信して、撮像を行うための処理部に前記フォーマット情報に対応した設定を行う設定手段と、
前記設定手段の設定に基づき、前記フォーマット情報に対応した映像データを生成する映像データ生成手段と、
前記映像データ生成手段により生成された映像データを前記ネットワークデバイスに送信する映像データ送信手段と、
を備えることを特徴とする撮像装置。
An imaging device capable of transmitting video data,
Generating means for generating capability information indicating the processing capability of the imaging apparatus in response to a request from the network device;
Transmitting means for transmitting the capability information generated by the generating means to the network device;
Setting means for receiving format information for processing video data determined by the network device based on the capability information, and performing setting corresponding to the format information in a processing unit for performing imaging;
Video data generating means for generating video data corresponding to the format information based on the setting of the setting means;
Video data transmission means for transmitting the video data generated by the video data generation means to the network device;
An imaging apparatus comprising:
前記生成手段は、前記撮像を行うための処理部の最大処理能力と、前記処理部の現状の負荷と、に基づき前記処理部の余裕を求めて、前記能力情報を生成することを特徴とする請求項1に記載の撮像装置。   The generation unit generates the capability information by obtaining a margin of the processing unit based on a maximum processing capability of the processing unit for performing the imaging and a current load of the processing unit. The imaging device according to claim 1. 撮像装置から送信される映像データを受信することが可能なネットワークデバイスであって、
前記撮像装置の処理能力を示す能力情報を受信する受信手段と、
受信した前記能力情報と、前記ネットワークデバイスの処理能力とに基づき、前記映像データを処理するためのフォーマット情報を決定する決定手段と、
前記決定手段により決定された前記フォーマット情報を、前記撮像装置に通知する通知手段と、
前記撮像装置から送信される前記フォーマット情報に対応した映像データを受信する映像データ受信手段と、
を備えることを特徴とするネットワークデバイス。
A network device capable of receiving video data transmitted from an imaging device,
Receiving means for receiving capability information indicating the processing capability of the imaging device;
Determining means for determining format information for processing the video data based on the received capability information and the processing capability of the network device;
Notification means for notifying the imaging apparatus of the format information determined by the determination means;
Video data receiving means for receiving video data corresponding to the format information transmitted from the imaging device;
A network device comprising:
前記映像データ受信手段により受信された前記映像データを表示手段に表示するための処理を行う表示処理手段を更に備えることを特徴とする請求項3に記載のネットワークデバイス。   4. The network device according to claim 3, further comprising display processing means for performing processing for displaying the video data received by the video data receiving means on a display means. 前記映像データ受信手段により受信された前記映像データを蓄積手段に蓄積するための処理を行う蓄積処理手段を更に備えることを特徴とする請求項3に記載のネットワークデバイス。   The network device according to claim 3, further comprising storage processing means for performing processing for storing the video data received by the video data receiving means in the storage means. 前記決定手段は、
前記受信した能力情報と、前記ネットワークデバイスの処理能力と、に基づき、選択可能なフォーマット情報の組合せリストを生成するリスト生成手段と、
前記選択可能なフォーマット情報のそれぞれに対して、必要とされる撮像装置の能力を算出する能力算出手段と、
前記撮像装置の能力の算出結果に基づき、前記映像データの表示が最も高画質となる推奨設定を前記リストに付加して、表示手段に表示する付加手段と、
を更に備えることを特徴とする請求項3に記載のネットワークデバイス。
The determining means includes
List generating means for generating a selectable combination list of format information based on the received capability information and the processing capability of the network device;
Capability calculation means for calculating the required capability of the imaging device for each of the selectable format information,
Based on the calculation result of the capability of the imaging device, an addition unit that adds a recommended setting that displays the video data with the highest image quality to the list, and displays it on the display unit;
The network device according to claim 3, further comprising:
前記映像データ受信手段は、
前記映像データの受信開始時刻と、前記映像データの受信終了時刻と、を計測することが可能な計時手段と、
前記映像データの区切りとして1ブロックの映像データのデータサイズを算出するデータサイズ算出手段と、
前記受信開始時刻と、前記1ブロックの映像データの受信終了時刻と、前記データサイズと、に基づき、通信の実レートを算出する通信レート算出手段と、
前記通信の実レートと、必要とされる通信レートとを比較して、前記通信の実レートが、前記必要とされる通信レートよりも低い場合に、通信レート不足の警告を表示手段に表示する比較手段と、
を更に備えることを特徴とする請求項3に記載のネットワークデバイス。
The video data receiving means includes
Timing means capable of measuring the reception start time of the video data and the reception end time of the video data;
Data size calculating means for calculating the data size of one block of video data as a delimiter of the video data;
Communication rate calculation means for calculating an actual communication rate based on the reception start time, the reception end time of the video data of the one block, and the data size;
The actual communication rate is compared with the required communication rate, and when the actual communication rate is lower than the required communication rate, a warning about insufficient communication rate is displayed on the display means. A comparison means;
The network device according to claim 3, further comprising:
映像データを送信することが可能な撮像装置における情報処理方法であって、
生成手段が、ネットワークデバイスからの要求に応じて、前記撮像装置の処理能力を示す能力情報を生成する生成工程と、
送信手段が、前記生成工程により生成された前記能力情報を、前記ネットワークデバイスに送信する送信工程と、
前記能力情報に基づき前記ネットワークデバイスが決定した映像データを処理するためのフォーマット情報を受信して、設定手段が、撮像を行うための処理部に前記フォーマット情報に対応した設定を行う設定工程と、
映像データ生成手段が、前記設定工程の設定に基づき、前記フォーマット情報に対応した映像データを生成する映像データ生成工程と、
映像データ送信手段が、前記映像データ生成工程により生成された映像データを前記ネットワークデバイスに送信する映像データ送信工程と、
を備えることを特徴とする情報処理方法。
An information processing method in an imaging apparatus capable of transmitting video data,
A generating step for generating capability information indicating the processing capability of the imaging apparatus in response to a request from the network device;
A transmission step of transmitting the capability information generated by the generation step to the network device;
A setting step of receiving format information for processing the video data determined by the network device based on the capability information, and a setting unit performing setting corresponding to the format information in a processing unit for performing imaging;
A video data generating step for generating video data corresponding to the format information based on the setting in the setting step;
A video data transmitting means for transmitting the video data generated by the video data generating step to the network device;
An information processing method comprising:
前記生成工程では、前記撮像を行うための処理部の最大処理能力と、前記処理部の現状の負荷と、に基づき前記処理部の余裕を求めて、前記能力情報を生成することを特徴とする請求項8に記載の情報処理方法。   In the generating step, the capability information is generated by obtaining a margin of the processing unit based on a maximum processing capability of the processing unit for performing the imaging and a current load of the processing unit. The information processing method according to claim 8. 撮像装置から送信される映像データを受信することが可能なネットワークデバイスにおける情報処理方法であって、
受信手段が、前記撮像装置の処理能力を示す能力情報を受信する受信工程と、
決定手段が、受信した前記能力情報と、前記ネットワークデバイスの処理能力とに基づき、前記映像データを処理するためのフォーマット情報を決定する決定工程と、
通知手段が、前記決定工程により決定された前記フォーマット情報を、前記撮像装置に通知する通知工程と、
映像データ受信手段が、前記撮像装置から送信される前記フォーマット情報に対応した映像データを受信する映像データ受信工程と、
を備えることを特徴とする情報処理方法。
An information processing method in a network device capable of receiving video data transmitted from an imaging apparatus,
A receiving step in which receiving means receives capability information indicating the processing capability of the imaging apparatus;
A determining step for determining format information for processing the video data based on the received capability information and the processing capability of the network device;
A notification step of notifying the imaging apparatus of the format information determined by the determination step;
A video data receiving step for receiving video data corresponding to the format information transmitted from the imaging device;
An information processing method comprising:
表示処理手段が、前記映像データ受信工程により受信された前記映像データを表示手段に表示するための処理を行う表示処理工程を更に備えることを特徴とする請求項10に記載の情報処理方法。   The information processing method according to claim 10, further comprising a display processing step in which the display processing unit performs processing for displaying the video data received in the video data receiving step on the display unit. 蓄積処理手段が、前記映像データ受信工程により受信された前記映像データを蓄積手段に蓄積するための処理を行う蓄積処理工程を更に備えることを特徴とする請求項10に記載の情報処理方法。   11. The information processing method according to claim 10, further comprising a storage processing step in which the storage processing unit performs processing for storing the video data received in the video data receiving step in the storage unit. 前記決定工程は、
リスト生成手段が、前記受信した能力情報と、前記ネットワークデバイスの処理能力と、に基づき、選択可能なフォーマット情報の組合せリストを生成するリスト生成工程と、
能力算出手段が、前記選択可能なフォーマット情報のそれぞれに対して、必要とされる撮像装置の能力を算出する能力算出工程と、
付加手段が、前記撮像装置の能力の算出結果に基づき、前記映像データの表示が最も高画質となる推奨設定を前記リストに付加して、表示手段に表示する付加工程と、
を更に備えることを特徴とする請求項10に記載の情報処理方法。
The determination step includes
A list generation step of generating a list of selectable format information combinations based on the received capability information and the processing capability of the network device;
A capability calculating step for calculating a required capability of the imaging apparatus for each of the selectable format information;
An adding step of adding a recommended setting that displays the video data with the highest image quality to the list based on the calculation result of the capability of the imaging apparatus, and displaying the list on the display unit;
The information processing method according to claim 10, further comprising:
前記映像データ受信工程は、
計時手段が、前記映像データの受信開始時刻を計測する第1計時工程と、
データサイズ算出手段が、前記映像データの区切りとして1ブロックの映像データのデータサイズを算出するデータサイズ算出工程と、
計時手段が、前記1ブロックの映像データの受信終了時刻を計測する第2計時工程と、
通信レート算出手段が、前記受信開始時刻と、前記1ブロックの映像データの受信終了時刻と、前記データサイズと、に基づき、通信の実レートを算出する通信レート算出工程と、
比較手段が、前記通信の実レートと、必要とされる通信レートとを比較して、前記通信の実レートが、前記必要とされる通信レートよりも低い場合に、通信レート不足の警告を表示手段に表示する比較工程と、
を更に備えることを特徴とする請求項10に記載の情報処理方法。
The video data receiving step includes
A first time measuring step in which the time measuring means measures the reception start time of the video data;
A data size calculating step for calculating a data size of one block of video data as a delimiter of the video data;
A second time measuring step in which the time measuring means measures the reception end time of the video data of the one block;
A communication rate calculating means for calculating an actual communication rate based on the reception start time, the reception end time of the video data of the one block, and the data size;
The comparison means compares the actual communication rate with the required communication rate, and if the actual communication rate is lower than the required communication rate, a warning about insufficient communication rate is displayed. A comparison process displayed on the means;
The information processing method according to claim 10, further comprising:
請求項8乃至14のいずれか1項に記載の情報処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。   15. A computer program that causes a computer to execute the information processing method according to claim 8. 請求項15に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読の記憶媒体。   A computer-readable storage medium storing the computer program according to claim 15.
JP2007121836A 2007-05-02 2007-05-02 Imaging apparatus, network device, and information processing method Withdrawn JP2008278378A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007121836A JP2008278378A (en) 2007-05-02 2007-05-02 Imaging apparatus, network device, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007121836A JP2008278378A (en) 2007-05-02 2007-05-02 Imaging apparatus, network device, and information processing method

Publications (1)

Publication Number Publication Date
JP2008278378A true JP2008278378A (en) 2008-11-13

Family

ID=40055764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007121836A Withdrawn JP2008278378A (en) 2007-05-02 2007-05-02 Imaging apparatus, network device, and information processing method

Country Status (1)

Country Link
JP (1) JP2008278378A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176455A (en) * 2010-02-23 2011-09-08 Canon Inc Content providing apparatus, processing method of content providing apparatus, and program
JP2015073154A (en) * 2013-10-01 2015-04-16 株式会社リコー Data transmission system, data transmission program, and data transmission method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176455A (en) * 2010-02-23 2011-09-08 Canon Inc Content providing apparatus, processing method of content providing apparatus, and program
JP2015073154A (en) * 2013-10-01 2015-04-16 株式会社リコー Data transmission system, data transmission program, and data transmission method

Similar Documents

Publication Publication Date Title
US8988491B2 (en) Apparatus, system, and method of transmitting encoded image data, and recording medium storing control program
JP5979241B2 (en) Camera system
US20110158313A1 (en) Reception apparatus, reception method, and program
US8749698B2 (en) Lens unit, imaging apparatus including the lens unit, and imaging method
JPWO2013132828A1 (en) Communication system and relay device
JP6463041B2 (en) Image processing apparatus, image processing method, and program
JP2005078304A (en) Usb function device
JP5766297B2 (en) Imaging device, video recording device, video display device, video monitoring device, video monitoring system, and video monitoring method
CN112714320B (en) Decoding method, decoding device and computer readable storage medium
JP2004266404A (en) Tracking type cooperative monitoring system
JPWO2013187033A1 (en) Control device, image transmission method, and control program
CN108696505A (en) Video distribution apparatus, video reception apparatus, method of video distribution and recording medium
US10015395B2 (en) Communication system, communication apparatus, communication method and program
EP3547673A1 (en) Image processing apparatus, videoconference system, image processing method, and carrier means
JP2008278378A (en) Imaging apparatus, network device, and information processing method
US20110044603A1 (en) Video reproduction method, video reproduction device, and video distribution system
JP2007324809A (en) Network camera device
US11284094B2 (en) Image capturing device, distribution system, distribution method, and recording medium
JP2005323379A (en) Systems and methods for responding to data transfer
CN109511285A (en) Image signal processor, video-signal processing method and program
JP2007089090A (en) Wireless control system
CN115777199A (en) Information processing apparatus, information processing method, and program
JP2013211715A (en) Imaging device
JP2012015831A (en) Video processing device, video processing system, and video processing method
JP2005045297A (en) Camera system and camera apparatus

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20100706