JP2008278378A - Imaging apparatus, network device, and information processing method - Google Patents
Imaging apparatus, network device, and information processing method Download PDFInfo
- Publication number
- JP2008278378A JP2008278378A JP2007121836A JP2007121836A JP2008278378A JP 2008278378 A JP2008278378 A JP 2008278378A JP 2007121836 A JP2007121836 A JP 2007121836A JP 2007121836 A JP2007121836 A JP 2007121836A JP 2008278378 A JP2008278378 A JP 2008278378A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- processing
- capability
- network device
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、撮像技術、撮像した映像データの処理技術に関する。 The present invention relates to an imaging technique and a technique for processing captured video data.
従来、カメラなどにより撮像された映像データを、ネットワークを介して情報処理装置やディスプレイなどへ伝送し、映像データを表示したり、蓄積する装置が多く提案されている。伝送する映像データの解像度等の属性を決定する方法としては、例えば、特許文献1は、送信先の処理能力に応じて送信する映像データの解像度を変換することが可能なシステムに関する技術を開示する。
また、特許文献2は、映像データの送信要求に応じて提供可能な映像ストリームの候補を所定のポリシーに基づいた評価関数により決定し、映像データの送信要求元に通知する技術が開示されている。
Japanese Patent Application Laid-Open No. 2004-228688 discloses a technique for determining a video stream candidate that can be provided in response to a video data transmission request using an evaluation function based on a predetermined policy and notifying the video data transmission request source. .
カメラや、受信装置は、画像サイズ・フレームレート変換機能、符号化機能、接続回線方式等、映像伝送に関する様々な機能を有している。そして、ネットワークを介して映像データを送信する場合に、経由するネットワークの性能や、映像データの使用目的も含めて最適な伝送形式を選択して、映像伝送をすることが必要となる。 The camera and the receiving apparatus have various functions related to video transmission such as an image size / frame rate conversion function, an encoding function, and a connection line system. When video data is transmitted via a network, it is necessary to select the optimal transmission format including the performance of the network through which the video data is transmitted and the purpose of use of the video data and transmit the video.
しかしながら、従来のシステムにおいては、送信側で伝送形式を決定しているため、経由するネットワークの性能や、映像データの使用目的も含めて最適な伝送形式を選択することができない。 However, in the conventional system, since the transmission format is determined on the transmission side, it is not possible to select an optimal transmission format including the performance of the network through which the transmission is made and the purpose of use of the video data.
本発明は、上記の課題に鑑みてなされたもので、使用環境や要求品質に対して最適な映像データの処理を可能にすることを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to enable processing of video data optimal for the use environment and required quality.
本発明に係る撮像装置は、映像データを送信することが可能な撮像装置であって、
ネットワークデバイスからの要求に応じて、前記撮像装置の処理能力を示す能力情報を生成する生成手段と、
前記生成手段により生成された前記能力情報を、前記ネットワークデバイスに送信する送信手段と、
前記能力情報に基づき前記ネットワークデバイスが決定した映像データを処理するためのフォーマット情報を受信して、撮像を行うための処理部に前記フォーマット情報に対応した設定を行う設定手段と、
前記設定手段の設定に基づき、前記フォーマット情報に対応した映像データを生成する映像データ生成手段と、
前記映像データ生成手段により生成された映像データを前記ネットワークデバイスに送信する映像データ送信手段と、
を備えることを特徴とする。
An imaging apparatus according to the present invention is an imaging apparatus capable of transmitting video data,
Generating means for generating capability information indicating the processing capability of the imaging apparatus in response to a request from the network device;
Transmitting means for transmitting the capability information generated by the generating means to the network device;
Setting means for receiving format information for processing video data determined by the network device based on the capability information, and performing setting corresponding to the format information in a processing unit for performing imaging;
Video data generating means for generating video data corresponding to the format information based on the setting of the setting means;
Video data transmission means for transmitting the video data generated by the video data generation means to the network device;
It is characterized by providing.
あるいは、本発明にかかるネットワークデバイスは、撮像装置から送信される映像データを受信することが可能なネットワークデバイスであって、
前記撮像装置の処理能力を示す能力情報を受信する受信手段と、
受信した前記能力情報と、前記ネットワークデバイスの処理能力とに基づき、前記映像データを処理するためのフォーマット情報を決定する決定手段と、
前記決定手段により決定された前記フォーマット情報を、前記撮像装置に通知する通知手段と、
前記撮像装置から送信される前記フォーマット情報に対応した映像データを受信する映像データ受信手段と、
を備えることを特徴とする。
Alternatively, the network device according to the present invention is a network device capable of receiving video data transmitted from the imaging apparatus,
Receiving means for receiving capability information indicating the processing capability of the imaging device;
Determining means for determining format information for processing the video data based on the received capability information and the processing capability of the network device;
Notification means for notifying the imaging apparatus of the format information determined by the determination means;
Video data receiving means for receiving video data corresponding to the format information transmitted from the imaging device;
It is characterized by providing.
本発明に拠れば、使用環境や要求品質に対して最適な映像データの処理が可能になる。 According to the present invention, it is possible to process video data optimal for the use environment and required quality.
以下、図面を参照して、本発明の好適な実施形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, the constituent elements described in this embodiment are merely examples, and the technical scope of the present invention is determined by the scope of claims, and is limited by the following individual embodiments. is not.
<第1実施形態>
図1は本発明を適用できる映像データ処理システムの全体構成例を示すブロック図である。撮像装置(カメラ)100はTCP/IP、UDP/IP等の規格に準拠した通信が可能な通信部107と映像データの送信制御を行う送信通信制御部108とを有し、ネットワーク150に映像データを送信することが可能である。カメラ100の通信部107はネットワーク配線120を介して、LANやインターネットなどのネットワーク150と接続する。送信通信制御部108は、専用の制御回路またはCPUと周辺回路とで構成することが可能である。
<First Embodiment>
FIG. 1 is a block diagram showing an example of the overall configuration of a video data processing system to which the present invention can be applied. An imaging apparatus (camera) 100 includes a
カメラ100は、構成要素として、レンズ101、CCDなどの撮像素子102、撮像信号処理部103、解像度変換処理部104を備える。また、カメラ100は、JPEG、MPEG4、H264等のフォーマットによる符号化処理を行う符号化処理部105と、符号化された映像データを一時保持する送信メモリ106を備える。
The
表示装置(ディスプレイ)130は、ネットワークデバイスとして、ネットワーク150を介して、カメラ100から送信された映像データを受信して表示することが可能である。ディスプレイ130は、ネットワーク配線140を介してネットワーク150と接続する通信部131と、映像データの受信制御を行う受信通信制御部132を備える。受信通信制御部132は、専用の制御回路または、CPUと周辺回路とで構成することも可能である。また、ディスプレイ130は受信した映像データを一時保持する受信メモリ133、JPEG,MPEG4,H264等のフォーマットによる復号化を行う復号化処理部134、表示処理部135、液晶等の表示部136を備える。
The display device (display) 130 can receive and display video data transmitted from the
(カメラ100の動作)
まず、カメラ100のレンズ101で撮像された被写体像は、撮像素子102で光電変換される。撮像信号処理部103は、撮像素子102による光電変換の結果に基づき標準画像を生成する。解像度変換処理部104は、標準画像を各サイズの画像に変換することが可能である。
(Operation of camera 100)
First, a subject image captured by the
例えば、撮像素子102の有効画素数が1920x1080の場合、撮像信号処理部103が生成する標準画像も同解像度になる。解像度変換処理部104は、標準画像の縮小や一部切り出しを行い、1280x960,640x480, 320x240,160x120 等の通常用いられる画像サイズや、任意のサイズに解像度を変換することが可能である。符号化処理部105は、解像度変換処理部104により変換された上記それぞれのサイズの画像をJPEG、MPEG4、H264などの標準符号化方式に則り、映像データへ変換することが可能である。この映像データは、送信メモリ106に一時的に保存される。送信通信制御部108は、通信部107を制御して、送信メモリ106に保存された映像データを、ネットワーク配線120を介してネットワーク150へ送信する。
For example, when the effective pixel number of the
(ディスプレイ130の動作)
カメラ100からネットワーク150に送信されたデータは、ネットワーク配線120を経由して、通信部131に入力される。通信部131は、TCP/IP、UDP/IP等の規格に準拠した通信が可能であり、受信通信制御部132の受信制御の下に映像データの受信処理を実行する。通信部131が受信した映像データは、受信メモリ133に一時的に保存される。
(Operation of display 130)
Data transmitted from the
復号化処理部134は、受信メモリ133に保存された映像データを符号化時に用いられた方式と同じ方式で復号し、受信映像を生成する。表示処理部135は受信映像を表示部136に適した信号に変換処理し、表示部136に表示する。
The
上記の動作により、カメラ100で撮影された画像が、ネットワーク150を経由してディスプレイ130の表示部136に表示される。
Through the above operation, an image captured by the
尚、図1では、説明の簡略化のために、カメラ100が1台、ディスプレイ130が1台の組合せのみを示している。実際の構成では、複数台のカメラと複数台のディスプレイとで映像データ処理システムを構成することが可能である。その場合、1台のカメラから複数台のディスプレイへ映像データを送信し、また、1台のディスプレイは複数台のカメラからの映像データを受信し表示する動作を行うことが可能である。
In FIG. 1, only a combination of one
(送信通信制御部108、受信通信制御部132の動作例)
図2は、送信通信制御部108、受信通信制御部132の処理の流れを例示的に説明するフローチャートである。図中、実線は動作の流れを表し、破線は通信を経由したデータやコマンドの流れを表すものとする。
(Operation example of the transmission
FIG. 2 is a flowchart for exemplarily explaining the processing flow of the transmission
(送信通信制御部108の動作)
まず、送信通信制御部108の動作であるが、S201で動作を開始する。S202で、送信通信制御部108は、受信通信制御部132の制御の下にディスプレイ130から送信されるカメラ100への接続要求を受信する。
(Operation of transmission communication control unit 108)
First, the operation of the transmission
S203で、送信通信制御部108は、接続要求の送り元が接続可能な相手先であるか判定する。送信通信制御部108は、接続要求の送り元が接続可能な相手先であり、またカメラ100が接続可能な動作状態であれば、接続要求の送り元へ接続許可を送信する。以下の送信動作は、この接続要求の送り元へ行われる。
In step S203, the transmission
次に、S204で、送信通信制御部108は、接続要求の送り元の受信通信制御部132の制御の下にディスプレイ130から送信される能力情報の要求(能力情報要求)を受信する。ここで、能力情報とは、カメラ100における映像データの送信能力を示す情報をいう。
Next, in S204, the transmission
カメラ100の送信通信制御部108は、能力情報の要求を受信すると、S205で、カメラ100内の各部の機能や性能やパラメータの設定範囲、現在の動作状況等をもとに能力情報を生成する。この処理の詳細は、後に図4を参照して説明する。
Upon receiving the capability information request, the transmission
S206で、カメラ100の送信通信制御部108は、先のステップS205で生成した能力情報を、要求元の受信通信制御部132に送信する。
In step S206, the transmission
S207で、カメラ100の送信通信制御部108は受信通信制御部132の制御の下にディスプレイ130から送信される映像データを表示するためのフォーマット情報(フォーマット)を受信する。
In step S <b> 207, the transmission
カメラ100の送信通信制御部108は、フォーマットを受信すると、S208で、フォーマットに対応した映像データを生成するために必要な設定情報を生成する。
Upon receiving the format, the transmission
S209で、送信通信制御部108は、設定情報を、フォーマット情報に対応した映像データの撮像を行うための処理部(撮像信号処理部103、解像度変換処理部104、符号化処理部105)に設定する(カメラ動作設定)。例えば、フォーマット内の画像サイズが640x480であれば、送信通信制御部108は、撮像素子102の画素数からこのサイズを得る縮小倍率を計算し、その倍率を解像度変換処理部へ設定する。また、符号化方式がMPEG4である場合、送信通信制御部108は、その方式を符号化処理部105へ設定する。撮像信号処理部103、解像度変換処理部104、符号化処理部105は、映像データ生成手段として機能し、この設定に基づき、フォーマットに対応した映像データを生成することができる。
In step S209, the transmission
次にS210で、カメラ100の送信通信制御部108は、ディスプレイ130の受信通信制御部132から送信されるコマンドの受信動作に入る。コマンドが受信されると、S211で、送信通信制御部108は、コマンド種別を判定する。
In step S <b> 210, the transmission
S211の判定で、コマンドが映像送信要求である場合に、S212で、送信通信制御部108は、映像データ送信手段として機能し、送信メモリ106に一時保存されている映像データをコマンドの送信元に送信する。
If it is determined in S211 that the command is a video transmission request, in S212, the transmission
一方、S211の判定で、コマンドが切断要求であれば、S213で、送信通信制御部108は、動作を終了する。この後、処理をS201に戻し、送信通信制御部108は、同様の処理を繰り返す。
On the other hand, if it is determined in S211 that the command is a disconnection request, the transmission
(受信通信制御部132の動作)
また、受信通信制御部132の動作であるが、S220で動作を開始する。S221で、受信通信制御部132は、カメラ100に対して接続要求を送信する。以下の送信動作はこのカメラ100に対して行われる。
(Operation of the reception communication control unit 132)
The operation of the reception
S222で、受信通信制御部132は、送信通信制御部108の制御の下にカメラ100から送信された接続許可を受信する。
In S222, the reception
接続許可が受信されると、S223で、受信通信制御部132は、能力情報の要求(能力情報要求)を送信する。
When the connection permission is received, in S223, the reception
S224で、受信通信制御部132は、送信通信制御部108の制御の下にカメラ100から送信された能力情報を受信する。
In S224, the reception
S225で、受信通信制御部132は、能力情報と、ディスプレイ130の処理能力(復号化処理部134や表示処理部135の機能、性能)、または、ユーザーから入力される表示目的に応じた選択により、映像データのフォーマットを決定する。この処理の詳細は、後に図5を参照して説明する。
In S225, the reception
S226で、受信通信制御部132は、先のステップS225で決定したフォーマットをカメラ100に送信する(フォーマット通知)。
In S226, the reception
S227で、受信通信制御部132は、コマンドとして、映像送信要求をカメラ100に送信する。
In S227, the reception
S228で、受信通信制御部132は、通信部131を制御して、送信通信制御部108の制御の下にカメラ100から送信される映像データを受信する。この処理の詳細は、後に図6を参照して説明する。
In step S <b> 228, the reception
S229で、受信通信制御部132は、受信した映像データを表示部136に表示する。
In S229, the reception
S230で、受信通信制御部132は、所定の条件に従い、映像データの表示が完了したか判定する。表示完了の判定条件として、受信通信制御部132は、例えば、映像データの表示開始から不図示の計時部(タイマー)を起動して時刻の計測を開始し、所定時間経過後に表示完了と判定することが可能である。あるいは、受信通信制御部132は、ユーザーの操作入力を条件として、表示完了と判定することも可能である。
In S230, the reception
S230の判定で映像データの表示が完了していない場合(S230−No)、処理をステップS227に戻し、受信通信制御部132は、同様の処理を繰り返す。
If the display of the video data is not completed in the determination of S230 (S230-No), the process returns to step S227, and the reception
一方、S230の判定で映像データの表示が完了した場合に(S230−Yes)、S231で、受信通信制御部132は、コマンドとして、切断要求をカメラ100に送信し、処理を終了する(S232)。
On the other hand, when the display of the video data is completed in the determination of S230 (S230-Yes), in S231, the reception
図2の説明では、説明の簡単化のため、カメラ100を1台、ディスプレイ130を1台とした場合の動作を説明した。本発明の趣旨はこの例に限定されず、例えば、図2の動作を複数のディスプレイやカメラに対応させて並列に動作させることで、複数台のカメラと複数台のディスプレイとに対応したシステム構成も可能である。例えば、送信通信制御部108、受信通信制御部132は複数の制御回路と動作状態を記憶するレジスタとを複数備え、制御回路はそれぞれ時分割でレジスタを切り替えることで、並列動作の実行が可能になる。
In the description of FIG. 2, for simplification of description, the operation when one
(処理能力リストの例)
図3は、図2のS205で生成される能力情報のうち、カメラ100の機能、性能で定まる処理能力情報のリスト(処理能力リスト)を例示する図である。この例では、処理能力情報をツリー状に表現しているが、実際のファイルの形式は、例えば、XML形式や、インデックスつきのテキスト形式で表すことが出来る。図3に例示されるように、カメラ100の内部の機能、性能を動作モード(例えば、JPEG、MPEG4)に対応して分類して送信することで、ディスプレイ内で必要なフォーマットを選択することが出来る。
(Example of processing capacity list)
FIG. 3 is a diagram illustrating a list of processing capability information (processing capability list) determined by the function and performance of the
(能力情報生成の工程の詳細)
図4は、図2のS205(能力情報生成工程)の詳細な情報処理の流れを説明する図である。図4の処理は、送信通信制御部108の全体的な制御の下に実行される。
(Details of capability information generation process)
FIG. 4 is a diagram for explaining the detailed information processing flow of S205 (capability information generation step) in FIG. The process of FIG. 4 is executed under the overall control of the transmission
S401で、送信通信制御部108は、解像度変換処理部104の最大処理能力と、現状の解像度変換負荷の比率とから、解像度変換残能力(解像度変換能力の余裕)を求める。解像度変換処理部104の処理能力は、画像サイズ、フレームレート、縮小率に関係している。例えば、1/2縮小換算で120frame・Mピクセル /秒とすると、現在、2Mピクセルの映像を30fpsで1/2縮小していると、60frame・Mピクセル/秒の処理を行っていることになり、50%の残能力になる。
In step S <b> 401, the transmission
S402で、送信通信制御部108は、符号化処理部105の最大処理能力と、現状の符号化処理負荷の比率とから符号化処理残能力(符号化処理能力の余裕)を求める。符号化処理部105の処理能力は、画像サイズ、フレームレートと符号化方式に関係している。例えば、JPEG方式に比べ、MPEG4は、単方向予測で2〜4倍、双方向予測では8〜15倍程度処理能力が必要になる。これらの状態をもとに、送信通信制御部108は、現在の処理能力を求め、残能力を求める。
In step S <b> 402, the transmission
S403で、送信通信制御部108は、通信部107の最大通信能力と、現状の通信量の比率から、通信部残能力(通信処理能力の余裕)を求める。例えば、100BASE-TXのインターフェースを用いて通信する場合、原理的な最大通信能力は100Mbpsであるが、実際には、データにヘッダやフッタが付くことで、映像データの通信能力は80〜90%程度になる。更に、送信メモリ106へのアクセス時間や通信部107内部での処理時間等で最大通信能力が決まる。これに対し、現状の通信状態は、現在送信している映像データの画像サイズ、フレームレートと符号化方式の他、符号化の際に行う量子化処理の量子化値(Q値)にも大きく依存する。このQ値とデータ量の対応テーブルを用いて求めるか、現状の時間当たりの通信データ量を求めることで、送信通信制御部108は、通信部残能力を求めることができる。
In step S <b> 403, the transmission
S404で、送信通信制御部108は処理能力リスト(図3)、解像度変換残能力(S401)、符号化処理残能力(S402)、通信部残能力(S403)、増加割合計算パラメータにより能力情報を生成する。
In S404, the transmission
ここで、増加割合計算パラメータは、あるフォーマットにより映像データを送信する際に、解像度変換処理部104、符号化処理部105、通信部107の処理における負荷の増加割合を計算するためのパラメータである。
Here, the increase rate calculation parameter is a parameter for calculating the increase rate of the load in the processing of the resolution
(フォーマット決定工程の詳細)
図5は、図2のS225(フォーマット決定工程)の詳細な情報処理の流れを説明する図である。図5の処理は、受信通信制御部132の全体的な制御の下に実行される。
(Details of format determination process)
FIG. 5 is a diagram for explaining a detailed information processing flow of S225 (format determination step) in FIG. The process of FIG. 5 is executed under the overall control of the reception
S501で、受信通信制御部132は、リスト生成手段として機能し、S224でカメラ100から受信した能力情報から処理能力リストを抽出する。
In step S501, the reception
S502で、受信通信制御部132は、S501で抽出した処理能力リストと、復号化処理部134、表示処理部135の能力をもとに、選択可能なフォーマットの組合せのリストを生成する。例えば、復号化処理部134がJPEGのみに対応していて、表示サイズとして640x480 15fps以下,320x240 30fps以下の場合、受信通信制御部132は、以下の選択肢(1),(2)を持つリストを生成する。
In S502, the reception
(1)モード=JPEG サイズ=640x480 フレームレート=15fps以下 Q値=0〜100
(2)モード=JPEG サイズ=320x240 フレームレート=30fps以下 Q値=0〜100。
(1) Mode = JPEG size = 640x480 Frame rate = 15 fps or less Q value = 0 to 100
(2) Mode = JPEG size = 320 × 240 Frame rate = 30 fps or less Q value = 0-100.
他にも対応可能であれば、対応可能な数の選択肢を持つリストが得られる。 If there are other options available, a list with as many options as possible can be obtained.
S503で、受信通信制御部132は、S224でカメラ100から受信した能力情報に基づき、解像度変換残能力、符号化処理残能力、通信部残能力、増加割合計算パラメータを抽出する。
In S503, the reception
S504で、受信通信制御部132は、能力算出手段として機能し、S502で生成したそれぞれのフォーマットを選択した場合の、カメラの解像度変換残能力、符号化処理残能力、通信部残能力を、増加割合計算パラメータを基に計算する。受信通信制御部132は、選択可能なフォーマットに対して、それぞれ必要とされるカメラの解像度変換残能力、符号化処理残能力、通信部残能力を増加割合計算パラメータにより計算することが可能である。あるフォーマットに対し、フレームレート、Q値は幅がある。そのため、受信通信制御部132は、例えば、フレームレートを最大、最大の1/2、最大の1/4とし、Q値をいくつかの推奨値(たとえば40、50、60)等を用いて計算することが可能である。
In S504, the reception
S505で、受信通信制御部132は、S504で計算した算出結果に基づき、各残能力が正(プラス)となる、残能力に余裕があるものの組み合わせを選択候補として設定する。各残能力が正であれば、カメラ100がこの映像データの送信を行っても、現在行っている他のディスプレイへの映像データの送信へ悪影響が無く、自ディスプレイに対してフォーマット通りの送信が可能である。
In S505, the reception
逆に負(マイナス)になる能力があれば、現在行っている他のディスプレイへの映像データの送信へ悪影響が発生する可能性がある。この場合、例えば、自ディスプレイに対してフォーマットどおりの送信が出来ず、映像が途切れたりする可能性がある。 On the other hand, if there is an ability to become negative (minus), there is a possibility that an adverse effect may occur on the transmission of video data to another display currently being performed. In this case, for example, there is a possibility that the image cannot be transmitted to the display itself and the video is interrupted.
S506で、受信通信制御部132は、S505で得た選択候補の中で、表示画像が最も高画質な組合せを推奨設定として選択する。選択の際、受信通信制御部132は、画面サイズ、フレームレート、Q値を変数として、所定の関数を用いて画質評価値を求め、その画質評価値の最も高いものを選択する。予めユーザー設定として、フレームレートを優先するか、画面サイズを優先するか、Q値を優先するかなどの選択基準を入力させ、受信通信制御部132は、選択基準の入力に応じて画質評価値を求め、その画質評価値の最も高いものを選択することもできる。
In step S506, the reception
S507で、受信通信制御部132はS502で生成したリストに、S505で設定した選択候補、S504で計算した各残能力、S506で選択した推奨設定を付加し、選択可能に表示する。また、この際、受信通信制御部132は、S505で設定した選択候補以外は、グレーアウトして選択できないように表示することにより、他のディスプレイへの送信への悪影響の発生を予防することも可能である。
In step S507, the reception
また、受信通信制御部132は、S506で得た画質評価値を用いて、高画質な順に表示するなどの表示制御により、ユーザーの選択を支援することが可能である。
In addition, the reception
S507の処理により、例えば、表示部136の上に、ダイアログなどが表示され、ユーザーは、不図示のリモコンやキーボード、マウスなどを用いて、いずれか1つのフォーマットを選択することが可能である。
By the processing in S507, for example, a dialog or the like is displayed on the
S508で、受信通信制御部132は、ユーザーの選択により、映像データの送信フォーマットを決定する。
In S508, the reception
(映像データ受信工程の詳細)
図6は、図2のS228(映像データ受信工程)の詳細な情報処理の流れを説明する図である。図6の処理は、受信通信制御部132の全体的な制御の下に実行される。
(Details of video data reception process)
FIG. 6 is a diagram for explaining a detailed information processing flow in S228 (video data receiving step) in FIG. The process of FIG. 6 is executed under the overall control of the reception
S601で、受信通信制御部132は、不図示の計時部(タイマー)を起動して、映像データの受信開始時刻を記録する(第1計時工程)。
In S601, the reception
S602で、受信通信制御部132は、映像データの受信を開始する。
In step S602, the reception
S603で、受信通信制御部132は、映像データの区切りとして1ブロックの受信が完了したか判定する。1ブロックの映像データの受信が完了してなければ、受信通信制御部132は、処理をS602へ戻す。「1ブロック」とは、映像データの一区切りで、符号化方式や送信フォーマットにより異なるが、例えばJPEGであれば1画面分、あるいは、MPEG4であれば、1GOP(Group of Picture)分などを1ブロックとすることができる。
In step S603, the reception
一方、1ブロックの映像データの受信が完了した時に(S603−Yes)、受信通信制御部132は、S604で、タイマーが計測する時刻を参照して1ブロック受信終了時刻を記録する(第2計時工程)。
On the other hand, when the reception of the video data of one block is completed (S603-Yes), the reception
S605で、受信通信制御部132は、データサイズ算出手段として機能し、1ブロックの映像データのデータサイズを計算する。
In step S605, the reception
S606で、受信通信制御部132は、S605で算出した1ブロックの映像データのサイズと、S601で記録した受信開始時刻と、S604で記録した受信終了時刻とから、通信の実レートを計算する。
In S606, the reception
S607で、受信通信制御部132は、通信レート算出手段として機能し、現状の設定フォーマットから、通信の必要レートを計算する。
In S <b> 607, the reception
S608で、受信通信制御部132は、S606で算出した通信の実レートと、S607で算出した通信の必要レートとを比較する。S608の比較で、実レートが必要レートを下回っている場合に(S608−No)、処理はS609に進められる。
In S608, the reception
S609において、受信通信制御部132は、表示処理部135を制御して、実レートが必要とされるフレームレート(通信レート)を下回る、通信レート不足の警告を表示部136に表示する。これにより、ユーザーは、映像データがカメラ100内で滞留したり、あるいは、設定フレームレートよりも低いフレームレートでしか送信することができないことを知ることが出来る。ユーザーは、これに応じて設定を変更するなどの対処をすることで、意図した通りの動作が行われないことを未然に防ぐことが出来る。
In step S <b> 609, the reception
一方、S608の比較で、受信通信制御部132は、実レートが必要レートを上回っていると判定する場合(S608−Yes)、問題発生の可能性がないため、次の工程(図2のS229)へ進む。
On the other hand, if the reception
以上説明したとおり、本実施形態に拠れば、カメラ100及びディスプレイ130の使用環境や要求品質に対して最適なフォーマットに基づいた映像データの表示が可能になる。
As described above, according to the present embodiment, it is possible to display video data based on a format optimal for the usage environment and required quality of the
<第2実施形態>
図7は本発明の第2実施形態にかかる映像データ処理システムの全体構成例を示すブロック図である。図7において、第1実施形態の構成と同一の構成要素(カメラ100、ディスプレイ130)または相当部分には同一の参照番号が付されている。
Second Embodiment
FIG. 7 is a block diagram showing an example of the overall configuration of a video data processing system according to the second embodiment of the present invention. In FIG. 7, the same reference numerals are assigned to the same components (
蓄積装置700は、ネットワークデバイスとして、ネットワーク150より映像データを受信してディスク装置706へ蓄積し、また、ディスク装置706から再生した映像をネットワークへ送信可能である。
As a network device, the
蓄積装置700は、ネットワーク配線710を介してネットワーク150と接続する通信部701と、映像データの受信または送信のための制御を行う蓄積通信制御部702を備える。蓄積通信制御部702は、専用の制御回路または、CPUと周辺回路とで構成することも可能である。
The
蓄積装置700は、受信した映像データまたは送信する映像データを一時保持する送受信メモリ703と、映像データをファイルとして管理するファイル管理部704を備える。蓄積装置700は、更に、ハードディスクドライブや光ディスクドライブ、フラッシュメモリディスクなどのディスク装置706と、ディスク装置706を制御し、蓄積処理手段として機能するディスク制御部705を備える。
The
蓄積装置700は録画動作と再生動作とを実行することが可能である。録画動作において、カメラ100からネットワーク150に送信されたデータは、ネットワーク配線710を経由して、通信部701に入力される。通信部701に入力された映像データは、蓄積通信制御部702の制御の下に受信処理され、送受信メモリ703に一時的に格納(蓄積)される。この受信データはファイル管理部704によりファイル化される。このファイルは、ディスク制御部705により、ディスク装置706に適した信号に変換され、ディスク装置706へ格納(蓄積)される。
The
また、再生動作では、ディスク装置706に格納(蓄積)されたファイルはディスク制御部705により読み出され、ファイル管理部704は、読み出されたファイルから映像データを取り出す。そして、ファイル管理部704は、取り出した映像データを送受信メモリ703に一時的に格納(蓄積)する。
In the reproduction operation, the file stored (accumulated) in the
通信部701は、蓄積通信制御部702の制御の下に、送受信メモリ703に一時的に格納(蓄積)された映像データを、ネットワーク配線710を経由してネットワーク150へ送信する。ここで送信された映像データは、ディスプレイ130により表示されるが、ディスプレイ130における処理は第1実施形態の説明と同一となるため説明を省略する。
The
(送信通信制御部108、蓄積通信制御部702の動作例)
図8は、蓄積通信制御部702は、送信通信制御部108の処理の流れを例示的に説明するフローチャートである。第1実施形態で説明した図2と同一の処理に関しては、同一の参照番号を付し、詳細な説明は省略する。
(Operation example of transmission
FIG. 8 is a flowchart illustrating an example of the processing flow of the transmission
蓄積通信制御部702の動作は、スタートから能力情報の受信までは、図2の受信通信制御部132の動作S220からS224までと、同一の動作となる。ここで、S220からS224に対応する動作を蓄積通信制御部702が主体となって実行するものとする。
The operation of the accumulated
S801で、蓄積通信制御部702は、S224で受信した能力情報と、蓄積装置内のファイル管理部704、ディスク制御部705の機能、性能、ユーザーから入力される表示目的に応じた選択により、映像データのフォーマットを決定する。
In step S801, the storage
フォーマットをカメラ100に通知するフォーマットの通知工程(S226)から映像データの受信工程(S228)までの動作は、図2の受信通信制御部132の動作と同一である。ここで、S226からS228に対応する動作を蓄積通信制御部702が主体となって実行するものとする。
The operations from the format notification step (S226) for notifying the
S802で、蓄積通信制御部702は、通信部701を制御して、送信通信制御部108の制御の下にカメラ100から送信される映像データを受信する。
In step S <b> 802, the accumulation
S803で、蓄積通信制御部702は、ファイル管理部704を制御して、受信した映像データをファイル化し、ディスク制御部705の制御の下にファイルをディスク装置706へ格納(蓄積)する。
In step S <b> 803, the storage
S804で、蓄積通信制御部702は、所定の条件に応じて、映像データ(ファイル)の蓄積が完了したか判定する。
In step S804, the accumulation
蓄積完了の判定条件として、蓄積通信制御部702は、ディスク制御部705の通知を受けて、映像データ(ファイル)の蓄積完了を判定することができる。
As a determination condition for the completion of storage, the storage
S804の判定で映像データ(ファイル)の蓄積が完了していない場合(S804−No)、処理をステップS227に戻し、蓄積通信制御部702は、同様の処理を繰り返す。
If the accumulation of video data (file) is not completed in the determination in S804 (S804-No), the process returns to step S227, and the accumulation
一方、S804の判定で映像データ(ファイル)の蓄積が完了した場合に(S804−Yes)、S231で、蓄積通信制御部702は、コマンドとして、切断要求をカメラ100に送信し、処理を終了する(S232)。
On the other hand, when the accumulation of video data (file) is completed in the determination in S804 (S804-Yes), in S231, the accumulation
蓄積装置700は、カメラ100から送信された映像データを、ネットワーク150を介して受信してディスク装置706に蓄積する。また、蓄積装置700は、ディスク装置706から再生した映像を、ネットワーク150を介してディスプレイ130に送信することが可能である。
The
以上説明したとおり、本実施形態に拠れば、カメラ100、蓄積装置700の使用環境や要求品質に対して最適なフォーマットに基づいた映像データの蓄積と再生が可能になる。
As described above, according to the present embodiment, video data can be stored and played back based on a format that is optimal for the usage environment and required quality of the
<第3実施形態>
なお、本発明の目的は、前述した実施形態の機能を実現するコンピュータプログラムのプログラムコードを記録したコンピュータ可読の記憶媒体を、システムあるいは装置に供給することによっても、達成されることは言うまでもない。また、システムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
<Third Embodiment>
Needless to say, the object of the present invention can also be achieved by supplying a system or apparatus with a computer-readable storage medium storing the program code of the computer program that implements the functions of the above-described embodiments. Needless to say, this can also be achieved by the computer (or CPU or MPU) of the system or apparatus reading and executing the program code stored in the storage medium.
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、不揮発性のメモリカード、ROMなどを用いることができる。 As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a nonvolatile memory card, a ROM, or the like can be used.
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれることは言うまでもない。 Further, the functions of the above-described embodiment are realized by executing the program code read by the computer. In addition, an OS (operating system) running on a computer performs part or all of actual processing based on an instruction of a program code, and the above-described embodiment is realized by the processing. Needless to say.
100 カメラ
102 撮像素子
107 通信部
108 送信通信制御部
150 ネットワーク
130 ディスプレイ
131 通信部
132 受信通信制御部
136 表示部
700 蓄積装置
701 通信部
702 蓄積通信制御部
706 ディスク装置
DESCRIPTION OF
Claims (16)
ネットワークデバイスからの要求に応じて、前記撮像装置の処理能力を示す能力情報を生成する生成手段と、
前記生成手段により生成された前記能力情報を、前記ネットワークデバイスに送信する送信手段と、
前記能力情報に基づき前記ネットワークデバイスが決定した映像データを処理するためのフォーマット情報を受信して、撮像を行うための処理部に前記フォーマット情報に対応した設定を行う設定手段と、
前記設定手段の設定に基づき、前記フォーマット情報に対応した映像データを生成する映像データ生成手段と、
前記映像データ生成手段により生成された映像データを前記ネットワークデバイスに送信する映像データ送信手段と、
を備えることを特徴とする撮像装置。 An imaging device capable of transmitting video data,
Generating means for generating capability information indicating the processing capability of the imaging apparatus in response to a request from the network device;
Transmitting means for transmitting the capability information generated by the generating means to the network device;
Setting means for receiving format information for processing video data determined by the network device based on the capability information, and performing setting corresponding to the format information in a processing unit for performing imaging;
Video data generating means for generating video data corresponding to the format information based on the setting of the setting means;
Video data transmission means for transmitting the video data generated by the video data generation means to the network device;
An imaging apparatus comprising:
前記撮像装置の処理能力を示す能力情報を受信する受信手段と、
受信した前記能力情報と、前記ネットワークデバイスの処理能力とに基づき、前記映像データを処理するためのフォーマット情報を決定する決定手段と、
前記決定手段により決定された前記フォーマット情報を、前記撮像装置に通知する通知手段と、
前記撮像装置から送信される前記フォーマット情報に対応した映像データを受信する映像データ受信手段と、
を備えることを特徴とするネットワークデバイス。 A network device capable of receiving video data transmitted from an imaging device,
Receiving means for receiving capability information indicating the processing capability of the imaging device;
Determining means for determining format information for processing the video data based on the received capability information and the processing capability of the network device;
Notification means for notifying the imaging apparatus of the format information determined by the determination means;
Video data receiving means for receiving video data corresponding to the format information transmitted from the imaging device;
A network device comprising:
前記受信した能力情報と、前記ネットワークデバイスの処理能力と、に基づき、選択可能なフォーマット情報の組合せリストを生成するリスト生成手段と、
前記選択可能なフォーマット情報のそれぞれに対して、必要とされる撮像装置の能力を算出する能力算出手段と、
前記撮像装置の能力の算出結果に基づき、前記映像データの表示が最も高画質となる推奨設定を前記リストに付加して、表示手段に表示する付加手段と、
を更に備えることを特徴とする請求項3に記載のネットワークデバイス。 The determining means includes
List generating means for generating a selectable combination list of format information based on the received capability information and the processing capability of the network device;
Capability calculation means for calculating the required capability of the imaging device for each of the selectable format information,
Based on the calculation result of the capability of the imaging device, an addition unit that adds a recommended setting that displays the video data with the highest image quality to the list, and displays it on the display unit;
The network device according to claim 3, further comprising:
前記映像データの受信開始時刻と、前記映像データの受信終了時刻と、を計測することが可能な計時手段と、
前記映像データの区切りとして1ブロックの映像データのデータサイズを算出するデータサイズ算出手段と、
前記受信開始時刻と、前記1ブロックの映像データの受信終了時刻と、前記データサイズと、に基づき、通信の実レートを算出する通信レート算出手段と、
前記通信の実レートと、必要とされる通信レートとを比較して、前記通信の実レートが、前記必要とされる通信レートよりも低い場合に、通信レート不足の警告を表示手段に表示する比較手段と、
を更に備えることを特徴とする請求項3に記載のネットワークデバイス。 The video data receiving means includes
Timing means capable of measuring the reception start time of the video data and the reception end time of the video data;
Data size calculating means for calculating the data size of one block of video data as a delimiter of the video data;
Communication rate calculation means for calculating an actual communication rate based on the reception start time, the reception end time of the video data of the one block, and the data size;
The actual communication rate is compared with the required communication rate, and when the actual communication rate is lower than the required communication rate, a warning about insufficient communication rate is displayed on the display means. A comparison means;
The network device according to claim 3, further comprising:
生成手段が、ネットワークデバイスからの要求に応じて、前記撮像装置の処理能力を示す能力情報を生成する生成工程と、
送信手段が、前記生成工程により生成された前記能力情報を、前記ネットワークデバイスに送信する送信工程と、
前記能力情報に基づき前記ネットワークデバイスが決定した映像データを処理するためのフォーマット情報を受信して、設定手段が、撮像を行うための処理部に前記フォーマット情報に対応した設定を行う設定工程と、
映像データ生成手段が、前記設定工程の設定に基づき、前記フォーマット情報に対応した映像データを生成する映像データ生成工程と、
映像データ送信手段が、前記映像データ生成工程により生成された映像データを前記ネットワークデバイスに送信する映像データ送信工程と、
を備えることを特徴とする情報処理方法。 An information processing method in an imaging apparatus capable of transmitting video data,
A generating step for generating capability information indicating the processing capability of the imaging apparatus in response to a request from the network device;
A transmission step of transmitting the capability information generated by the generation step to the network device;
A setting step of receiving format information for processing the video data determined by the network device based on the capability information, and a setting unit performing setting corresponding to the format information in a processing unit for performing imaging;
A video data generating step for generating video data corresponding to the format information based on the setting in the setting step;
A video data transmitting means for transmitting the video data generated by the video data generating step to the network device;
An information processing method comprising:
受信手段が、前記撮像装置の処理能力を示す能力情報を受信する受信工程と、
決定手段が、受信した前記能力情報と、前記ネットワークデバイスの処理能力とに基づき、前記映像データを処理するためのフォーマット情報を決定する決定工程と、
通知手段が、前記決定工程により決定された前記フォーマット情報を、前記撮像装置に通知する通知工程と、
映像データ受信手段が、前記撮像装置から送信される前記フォーマット情報に対応した映像データを受信する映像データ受信工程と、
を備えることを特徴とする情報処理方法。 An information processing method in a network device capable of receiving video data transmitted from an imaging apparatus,
A receiving step in which receiving means receives capability information indicating the processing capability of the imaging apparatus;
A determining step for determining format information for processing the video data based on the received capability information and the processing capability of the network device;
A notification step of notifying the imaging apparatus of the format information determined by the determination step;
A video data receiving step for receiving video data corresponding to the format information transmitted from the imaging device;
An information processing method comprising:
リスト生成手段が、前記受信した能力情報と、前記ネットワークデバイスの処理能力と、に基づき、選択可能なフォーマット情報の組合せリストを生成するリスト生成工程と、
能力算出手段が、前記選択可能なフォーマット情報のそれぞれに対して、必要とされる撮像装置の能力を算出する能力算出工程と、
付加手段が、前記撮像装置の能力の算出結果に基づき、前記映像データの表示が最も高画質となる推奨設定を前記リストに付加して、表示手段に表示する付加工程と、
を更に備えることを特徴とする請求項10に記載の情報処理方法。 The determination step includes
A list generation step of generating a list of selectable format information combinations based on the received capability information and the processing capability of the network device;
A capability calculating step for calculating a required capability of the imaging apparatus for each of the selectable format information;
An adding step of adding a recommended setting that displays the video data with the highest image quality to the list based on the calculation result of the capability of the imaging apparatus, and displaying the list on the display unit;
The information processing method according to claim 10, further comprising:
計時手段が、前記映像データの受信開始時刻を計測する第1計時工程と、
データサイズ算出手段が、前記映像データの区切りとして1ブロックの映像データのデータサイズを算出するデータサイズ算出工程と、
計時手段が、前記1ブロックの映像データの受信終了時刻を計測する第2計時工程と、
通信レート算出手段が、前記受信開始時刻と、前記1ブロックの映像データの受信終了時刻と、前記データサイズと、に基づき、通信の実レートを算出する通信レート算出工程と、
比較手段が、前記通信の実レートと、必要とされる通信レートとを比較して、前記通信の実レートが、前記必要とされる通信レートよりも低い場合に、通信レート不足の警告を表示手段に表示する比較工程と、
を更に備えることを特徴とする請求項10に記載の情報処理方法。 The video data receiving step includes
A first time measuring step in which the time measuring means measures the reception start time of the video data;
A data size calculating step for calculating a data size of one block of video data as a delimiter of the video data;
A second time measuring step in which the time measuring means measures the reception end time of the video data of the one block;
A communication rate calculating means for calculating an actual communication rate based on the reception start time, the reception end time of the video data of the one block, and the data size;
The comparison means compares the actual communication rate with the required communication rate, and if the actual communication rate is lower than the required communication rate, a warning about insufficient communication rate is displayed. A comparison process displayed on the means;
The information processing method according to claim 10, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007121836A JP2008278378A (en) | 2007-05-02 | 2007-05-02 | Imaging apparatus, network device, and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007121836A JP2008278378A (en) | 2007-05-02 | 2007-05-02 | Imaging apparatus, network device, and information processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008278378A true JP2008278378A (en) | 2008-11-13 |
Family
ID=40055764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007121836A Withdrawn JP2008278378A (en) | 2007-05-02 | 2007-05-02 | Imaging apparatus, network device, and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008278378A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011176455A (en) * | 2010-02-23 | 2011-09-08 | Canon Inc | Content providing apparatus, processing method of content providing apparatus, and program |
JP2015073154A (en) * | 2013-10-01 | 2015-04-16 | 株式会社リコー | Data transmission system, data transmission program, and data transmission method |
-
2007
- 2007-05-02 JP JP2007121836A patent/JP2008278378A/en not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011176455A (en) * | 2010-02-23 | 2011-09-08 | Canon Inc | Content providing apparatus, processing method of content providing apparatus, and program |
JP2015073154A (en) * | 2013-10-01 | 2015-04-16 | 株式会社リコー | Data transmission system, data transmission program, and data transmission method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8988491B2 (en) | Apparatus, system, and method of transmitting encoded image data, and recording medium storing control program | |
JP5979241B2 (en) | Camera system | |
US20110158313A1 (en) | Reception apparatus, reception method, and program | |
US8749698B2 (en) | Lens unit, imaging apparatus including the lens unit, and imaging method | |
JPWO2013132828A1 (en) | Communication system and relay device | |
JP6463041B2 (en) | Image processing apparatus, image processing method, and program | |
JP2005078304A (en) | Usb function device | |
JP5766297B2 (en) | Imaging device, video recording device, video display device, video monitoring device, video monitoring system, and video monitoring method | |
CN112714320B (en) | Decoding method, decoding device and computer readable storage medium | |
JP2004266404A (en) | Tracking type cooperative monitoring system | |
JPWO2013187033A1 (en) | Control device, image transmission method, and control program | |
CN108696505A (en) | Video distribution apparatus, video reception apparatus, method of video distribution and recording medium | |
US10015395B2 (en) | Communication system, communication apparatus, communication method and program | |
EP3547673A1 (en) | Image processing apparatus, videoconference system, image processing method, and carrier means | |
JP2008278378A (en) | Imaging apparatus, network device, and information processing method | |
US20110044603A1 (en) | Video reproduction method, video reproduction device, and video distribution system | |
JP2007324809A (en) | Network camera device | |
US11284094B2 (en) | Image capturing device, distribution system, distribution method, and recording medium | |
JP2005323379A (en) | Systems and methods for responding to data transfer | |
CN109511285A (en) | Image signal processor, video-signal processing method and program | |
JP2007089090A (en) | Wireless control system | |
CN115777199A (en) | Information processing apparatus, information processing method, and program | |
JP2013211715A (en) | Imaging device | |
JP2012015831A (en) | Video processing device, video processing system, and video processing method | |
JP2005045297A (en) | Camera system and camera apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100706 |