JP2008219479A - 画像伝送システム、撮像装置、及び画像伝送方法 - Google Patents

Abstract

【課題】 ネットワークの負荷状況が変化しても、撮像画像のリアルタイム表示や滑らかな動画表示ができる画像伝送システム、撮像装置、及び画像伝送方法を得ることを目的とする。
【解決手段】 撮像データに送信時刻を特定した第１の画像番号を付加して送信する送信情報付加手段と、ネットワークを経由して第１の画像番号を付加した撮像データを受信し、第１の画像番号に対応した第２の画像番号を生成して返信する受信情報付加手段と、第１の画像番号とネットワークを経由して受信した第２の画像番号とからネットワークの遅延時間を検出する遅延時間検出手段と、遅延時間に基づいてネットワークの負荷状況を判定するトラフィック判定手段と、トラフィック判定手段の判定結果に従い、遅延時間に基づいて決定した伝送量削減率に応じて撮像データの伝送量を制御する伝送量制御手段とを備えてなる。
【選択図】 図1

Description

この発明は、ネットワークを経由して撮像データを伝送する画像伝送システム、撮像装置、及び画像伝送方法に関するものである。

ネットワークを経由して撮像データを伝送する画像伝送システムでは、ネットワークの負荷状況によって撮像データの伝送時間が遅延し、リアルタイムでの画像表示が困難となる場合があった。そこで、撮像データが伝送される時間を計測し、伝送時間が１フレームの撮像周期よりも長くなる場合に、フレームを間引きして伝送することでリアルタイムの撮像データを表示する撮像サーバが提案されている。（例えば特許文献１参照。）

しかし、上記のような撮像サーバでは、フレームを間引きすることによって画像の欠落、いわゆるコマ落ちが生じてしまい、滑らかな動作の動画を伝送することが困難となるという問題があった。そこで、ネットワークの負荷が重くなり、伝送速度が低下した場合に、撮像データの伝送量を圧縮することにより、ネットワークが混雑している場合でも、コマ落ちのない動きの滑らかな動画を表示できる撮像装置が提案されている。（例えば特許文献２及び特許文献３参照。）

特開平１０−４２１８５号公報（段落０１５４、第１１図） 特開２００６−１８６５５２号公報（段落００８２、第１０図） 特開２００５−１７６１３２号公報（段落００４７、第７図）

しかしながら、上記のように伝送速度が低下した場合に撮像データの伝送量を圧縮するものでは、ネットワークの負荷状況による伝送速度が想定範囲を超えて低下した場合に、伝送時間が撮像周期を超えることになる。このため、撮像データをスムーズに伝送できず、撮像データのリアルタイム表示や滑らかな動画表示が行えないという問題があった。また、伝送速度の低下を過大に想定した場合、伝送量が必要以上に圧縮され、画像が劣化してしまうという問題があった。

この発明は、上記のような問題点を解決するためになされたものであり、ネットワークの負荷状況が変化しても、撮像画像のリアルタイム表示や滑らかな動画表示ができる画像伝送システム、撮像装置、及び画像伝送方法を得ることを目的とする。

この発明にかかる画像伝送システムは、ネットワークを経由して撮像データを伝送する画像伝送システムにおいて、前記撮像データに送信時刻を特定した第１の画像番号を付加して送信する送信情報付加手段と、前記ネットワークを経由して前記第１の画像番号を付加した撮像データを受信し、前記第１の画像番号に対応した第２の画像番号を生成して返信する受信情報付加手段と、前記第１の画像番号と前記ネットワークを経由して受信した前記第２の画像番号とから前記ネットワークの遅延時間を検出する遅延時間検出手段と、前記遅延時間に基づいて前記ネットワークの負荷状況を判定するトラフィック判定手段と、前記トラフィック判定手段の判定結果に従い、前記遅延時間に基づいて決定した伝送量削減率に応じて前記撮像データの伝送量を制御する伝送量制御手段とを備えてなる。

この発明によればネットワークの負荷状況を判定し、この判定結果に従い、ネットワークの遅延時間に基づいて決定した伝送量削減率に応じて撮像データの伝送量を制御することにより、ネットワークの負荷状況が変化しても、撮像画像のリアルタイム表示や滑らかな動画表示ができる画像伝送システムを得ることができる。

実施の形態１．
図１〜図３は、本発明の実施の形態１に係る画像伝送システムを示すもので、図１は、画像伝送システムの要部構成を示すブロック図、図２は画像伝送システムの機器構成を示すブロック図、図３は図２の部分構成を示すブロック図である。図１に示す画像伝送システムは、具体的には、図２、図３に示す撮像装置と画像処理装置内の電気回路などのハードウェア、プログラムにより動作するソフトウェア、又はハードウェアとソフトウェアの組み合わせにより構成される。そこで、撮像装置９と画像処理装置８について説明した後、画像伝送システムについて説明する。

[撮像装置の説明]
図２に示すように、撮像装置９は、撮像処理手段１１、ネットワーク接続手段１２、記憶手段１３と、制御手段１０を有し、それぞれ汎用バス１４によって接続されている。

撮像処理手段１１は、図３に示すように固体撮像素子１５を用いて撮像を行う、いわゆるカメラ部分である。撮像処理手段１１は、ＣＣＤ（Charge Couple device）などの固体撮像素子１５と、固体撮像素子１５からのアナログ信号にＣＤＳ（Correlated Double Sampling）処理を行うアナログ信号処理手段１６と、アナログ信号処理手段１６のアナログ出力をデジタル信号に変換するＡ／Ｄ変換手段１７を有する。さらに、固体撮像素子１５の有効画素を水平、垂直方向で所定の画素数に分割した測光窓を設け、測光窓毎にＡ／Ｄ変換手段１７の出力を積算する積算手段１８と、積算手段の出力をもとに、後述する方法で露出を制御する露出制御手段１９と、固体撮像素子１５のタイミングのパルスを生成するタイミング生成手段２０と、Ａ／Ｄ変換手段１７の出力にデジタル信号処理を行うカメラ画像生成手段２１を有する。

固体撮像素子１５は、被写体からの光信号を受光し、光電変換するフォトダイオードと、フォトダイオードの信号を垂直転送ＣＣＤ、水平転送ＣＣＤと経由し、電気信号として取り出すための手段を有するＣＣＤセンサーである。そして、１フレーム期間内（撮像周期）ごとにフォトダイオードに蓄積した電荷は、後述するタイミング生成手段２０からの電荷読み出しパルスの印加により、垂直転送ＣＣＤに読み出すことができる。また、タイミング生成手段２０の電荷掃き出しパルスにより、フォトダイオード内の蓄積電荷を固体撮像素子１５の基板電位へ掃き出すことができる。この掃き出し電荷パルスの印加を止めて、電荷読み出しパルスで垂直転送ＣＣＤに蓄積電荷を読み出すまでの時間が電荷蓄積時間となり、電荷蓄積時間を調整（露出制御手段１９→タイミング生成手段２０）することで、シャッタースピードを調整する。

また、固体撮像素子１５に上記のようなＣＣＤを用いる場合、一般的にドラフトモード、モニターモード、画素混合駆動、間引きモードと呼ばれる駆動モードがあり、これらのモードを使用することによって、読み出し画素数を減少させ、高速に読み出すことが可能となる。また、ＣＣＤの場合、水平画素混合読み出しによる水平画素方向の間引きも存在するが、垂直ＣＣＤの読み出しラインを間引くことで画素数を制御する構成が多い。

なお、露出量や読み出し画素数の調整による高速読み出し手段を備えることができるなら、固体撮像素子１５には光電変換機能を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーを使用してもよい。ＣＭＯＳセンサーを使用した場合、画素単位で読み出す画素の位置、ならびに画素数を切り替えることができ、ＲＯＩ（Region Of Interest）や、上述した間引きモードと呼ばれる駆動モードを用いることで、読み出し画素数を調整することができる。

アナログ信号処理手段１６は、固体撮像素子１５からの撮像信号をＣＤＳ処理し、処理したアナログ信号を出力する。また、露出制御手段１９からの指令により、利得を調整して露出制御する場合もある。

Ａ／Ｄ変換手段１７は、アナログ信号処理手段１６から出力されたアナログ信号をデジタル変換し、デジタル信号として出力する。

積算手段１８は、所定の手順で定めた測光窓毎にＡ／Ｄ変換手段１７のデジタル信号出力を積算する。例えば、有効画素数が６４０×４８０の場合、測光窓の大きさを１０画素×１０画素とすると、有効画素内に６４×１０個の測光窓が得られる。そして、得られた測光窓のうち、測光に必要な位置の測光窓に対応するデジタル信号出力について積算する。なお、測光窓のサイズおよび、使用する測光窓の位置や窓数は、撮像装置の仕様により、任意のサイズ、任意の位置、任意の窓数に設定することができる。

露出制御手段１９は、積算手段１８の測光窓毎の積算値に基づいて、経験的に統計的に得られるアルゴリズムに従い、有効な測光窓を選択し、選択した測光窓の積算値が、ＡＰＬ（Average Picture Level）になるように被写体の露出条件を求める。そして、タイミング生成手段２０の電子シャッタパルスのパルス数を調整して、固体撮像素子１５の露光時間を制御する。あるいは、アナログ信号処理手段１６の利得を制御する。

タイミング生成手段２０は、固体撮像素子１５の駆動タイミングパルスを生成する手段を有する。駆動タイミングパルスは、例えばＣＣＤセンサーでは、水平ＣＣＤの電荷転送を行う水平転送パルス、垂直ＣＣＤの電荷転送を行う垂直転送パルス、蓄積された電荷をＣＣＤ基板電位へ掃き出し、電子シャッタを行う電荷掃き出しパルス、水平ＣＣＤの水平転送された電荷を画素毎にリセットするリセットパルスなどのパルスである。さらに、タイミング生成手段２０は、アナログ信号処理手段１６のサンプリングパルスと、Ａ／Ｄ変換手段１７のＡ／Ｄクロックを生成する手段も有する。

さらに、画素間引きを行う際には、画像読み出しパルス、水平転送パルス、垂直転送パルスを画素間引きに適応した駆動タイミングに切り替える手段も有する。

なお、上述した固体撮像素子１５にＣＭＯＳセンサーを用いる場合には、アナログ信号処理手段１６、Ａ／Ｄ変換手段１７、タイミング生成手段２０をワンチップで実現し、小型化することも可能である。

カメラ画像処理手段２１は、Ａ／Ｄ変換手段１７から入力されたデジタル信号に、ホワイトバランス、補間処理によるＲＧＢ信号生成、ＹＣｂＣｒ変換、カラーマトリクス、階調変換を行う手段を有する。そして、カメラ画像処理手段２１は、これらの手段により処理された、一般的な画像表示手段で画像を表示させることができる撮像信号Ｘａを出力する。撮像信号Ｘａは、例えば、８ビット階調で水平６４０×垂直４８０画素に２次元配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の撮像信号（以下ＲＧＢ信号と称す）である。なお、Ｍを水平画素位置、Ｎを垂直画素位置とすると、撮像信号ＸａのＲ信号レベルはＲ（Ｍ，Ｎ）、撮像信号ＸａのＧ信号レベルはＧ（Ｍ，Ｎ）、撮像信号ＸａのＢ信号レベルはＢ（Ｍ，Ｎ）と表記できる。

カメラ画像処理手段２１の撮像信号Ｘａは、ＲＧＢ信号に限らず、ＹＣｂＣｒ信号、Ｌ＊ａ＊ｂ＊信号、又はＨＳＶ（Hue Saturation Value）信号などであってもよい。その場合、撮像装置９は、各色空間の信号をＲＧＢ信号に色変換処理する色変換手段（図示せず）を備える必要がある。また、撮像信号Ｘａの階調数は、８ビットに限定されることは無く、静止画ファイルで用いられる１０ビットまたは１２ビットなどの他の階調数であってもよい。さらに、撮像信号Ｘａの画素数も、水平１０２４×垂直９６０画素などの他の画素数であってもよい。

そして、カメラ画像処理手段２１は、汎用バス１４に接続され、図２に示す制御手段１０からの指示により、露出制御、カラー信号時にホワイトバランスのオートトラッキングなどの制御を行う。

また、カメラ画像処理手段２１は、上述した表示装置での表示が可能な撮像信号Ｘａを静止画として伝送するためのＪＰＥＧ圧縮や、動画として伝送するためのＭＰＥＧ、モーションＪＰＥＧなどの圧縮処理を行う手段を有し、制御手段１０からの指示により圧縮率を制御して伝送するための撮像データのデータ量を調整できる。本画像伝送システムでは、ネットワークの混雑情況に応じて、制御手段１０の指示により、伝送に最適な圧縮率で撮像データのデータ量を調整する。

そして、カメラ画像処理手段２１は、制御手段１０からのＤＭＡ（Direct memory Access）転送要求に基づき、撮像データのＤＭＡ転送を行い、記憶手段１３に記憶させる。記憶手段１３に記憶された撮像データは、ネットワーク接続手段１２を経由して、ネットワークを経由して伝送される。

ネットワーク接続手段１２は、撮像処理手段１１から出力された撮像データをネットワーク６、７を介して、画像処理装置８へ伝送するためのインターフェースである。ネットワーク接続手段１２は、汎用バス１４に接続されており、制御手段１０の画像伝送要求に応じて、記憶手段１３内に記録された撮像データを第１のネットワークデータとしてネットワーク６へ伝送する。また、反対に画像処理装置８からのデータを、制御手段１０の制御により、第２のネットワークデータとしてネットワーク７を経由して入手し、記憶手段１３に出力することもできる。なお、本実施の形態では便宜上、第１のネットワークデータと第２のネットワークデータを伝送するネットワークの番号を別番号で表記しているが、同一のものであってもよい。

図４は、プロトコルにＴＣＰ（Transmission Control Protocol）を用いた第１のネットワークデータの例である。第１のネットワークデータは、ネットワークのプロトコルにより規定されるネットワークヘッダー（図中２点鎖線より上）と、撮像データを伝送する際に設けられる画像ヘッダーと、撮像装置９の撮像データで構成される。

ネットワークヘッダーは、以下のフィールドで構成されている。送信元ポート番号は送信元（撮像装置９）のポート番号を示すフィールド、シーケンス番号はデータ位置を示すフィールド、ＡＣＫ（ACKnowledgement）番号は次に送られてくるべきシーケンス番号を示すフィールド、データオフセットはデータの開始位置を示すフィールド、制御ビットはＡＣＫ番号使用の有無、上位層へのデータの受渡しタイミング指定等の制御を示すフィールド、ウィンドウは一度に受信できるデータ量を示すフィールド、チェックサムはデータ誤りを検出するためのフィールド、緊急ポインタは制御ビットのＵＲＧ（緊急処理用ビット）がオン時に緊急データ位置を示すフィールド、パディングはＴＣＰヘッダーが３２ビットの倍数になるように調整するフィールドである。

画像ヘッダーは、フレーム単位や、数フレームをまとめた画像パケット単位で生成する送信画像番号の情報を有している。送信画像番号は、撮像装置９から送信される際に、撮像データを判別するために、撮像画像データの送信順番、送信時間を特定できるように個別につけられる番号であり、以下、第１の画像番号と称する。また、送信された複数の第１の画像番号に関する履歴・情報は、撮像装置９内の記憶手段１３内に保持され、後述する遅延時間検出に用いることができる。

ネットワーク伝送においては、Ｅｔｈｅｒｎｅｔ（米国Xerox Corporationの登録商標）プロトコルなど、プロトコルごとに固有のヘッダー構造を持つが、これらはネットワークヘッダーに含まれるものとする。なお、Ｅｔｈｅｒｎｅｔ（Ｒ）パケットの構造については、実施の形態３にて述べる。

記憶手段１３は、汎用バス１４に接続されたフラッシュメモリ、ＳＤＲＡＭなどの一時記憶装置である。そして、記憶手段１３は、制御手段１０の指示により、撮像処理手段１１の画像データを記憶する。また、画像ヘッダーの履歴と、送信時間に関する第１の画像番号の情報も保持しており、制御手段１０の指示にて読み出すことができる。

制御手段１０は、撮像処理手段１１の撮像データをＤＭＡ転送させる機能や、撮像処理手段１１の露出制御などのカメラ制御機能を有する。また、ネットワーク接続手段１２を制御し、撮像データをネットワーク伝送する機能や、画像処理装置８からの第２のネットワークデータ及び、記憶手段１３に保持された送信画像情報に基づいて、撮像データの伝送に要する時間を算出し、伝送するデータの最適なサイズを算出する機能を有する。

［画像処理装置の構成］
次に、画像処理装置の８の構成を図２のブロック図を用いて説明する。画像処理装置８は、汎用バス２６によって接続されたストレージ手段２２と、ネットワーク接続手段２３と、記憶手段２４と、画像処理手段２５と、第２の制御手段２７とで構成している。

ネットワーク接続手段２３は、ネットワーク６，７を経由してネットワークに接続されている。画像処理装置８から撮像装置９へ送信するデータは、第１のネットワークデータにより伝送された第１の画像番号に対して第２の画像番号を付加した第２のネットワークデータである。また、撮像装置９の露出、画素数、ホワイトバランスなど、撮像装置９の設定状態を撮像装置９の外部装置(画像処理装置８)から調整するためのデータも含むことができる。

ネットワーク接続手段２３は、ネットワーク６，７を経由して得たデータを、汎用バス２６を介して記憶手段２４へＤＭＡ転送する機能や、記憶手段２４に保持された情報を、ネットワーク６，７を経由して撮像装置９に伝送する機能を有する。

記憶手段２４は、ネットワーク情報や、画像処理した画像データの一時記憶を行うフラッシュメモリ、ＳＤＲＡＭなどの一時記憶装置である。

画像処理手段２５は、第１のネットワークデータとして撮像装置９から伝送された撮像データに画像処理をする機能を有する。画像処理としては、ノイズ除去、階調制御、圧縮画像の解凍処理などの画像処理と、撮像画像から特徴点を抽出し、特徴点検出、認証処理などを行うことができる。

第２の制御手段２７は、記憶手段２４に保持されたデータを解析する処理機能を有する。解析処理の一例として、第１のネットワークデータから画像ヘッダー情報と画像データに分離して、画像ヘッダーより第１の画像番号を検出する。また、ネットワーク線６，７を経由して得たネットワーク情報から、画像データを取り出すネットワーク処理機能も有し、画像情報を規定のメモリ空間へ展開する。

また、第２の制御手段２７は、画像処理装置８を用いるユーザや管理者のシステム要求により、撮像装置の電源ＯＮ／ＯＦＦ、撮像サイズ、レンズズーム制御など撮像装置９の動作状態を制御する動作状態制御機能も有する。

ストレージ手段２２は、ネットワーク６，７を経由して得た撮像データを記録・保持する機能を有する。

図５は、画像処理装置８から撮像装置９へネットワーク伝送される第２のネットワークデータを示す。送信元ポート番号を画像処理装置８のポート番号を用いる点と、宛て先ポート番号に撮像装置９のポート番号を用いる点を除いては、第１のネットワークデータ（図４）と同様の構成である。

第２のネットワークデータには、ネットワークヘッダーに続いて、第１のネットワークデータから抽出された第１の画像番号に対する第２の画像番号が付加される。第２の画像番号は、受信した第１のネットワークデータから抽出したデータの内、画像処理手段２５で画像処理を行う画像データに対応する第１の画像番号から生成する。これにより、撮像装置９において、第２の画像番号を受信した際も、撮像装置９自身が送信した画像データの第１の画像番号と対応付けすることができる。画像データの全データの受信を確認し、第２のネットワークデータを送信する。

以上説明を行った画像処理装置８は、パーソナルコンピュータ、ハードディスクストレージ用コントローラなどの機能を満たす。

「画像伝送システムの構成」
次に、画像伝送システムについて説明する。画像伝送システムは、図１に示すように送信情報付加手段１、遅延時間検出手段３、トラフィック判定手段４、伝送量制御手段５が構築された撮像装置９と、受信情報付加手段２が構築された画像処理装置８とがネットワーク６，７を経由して接続されることによって構成されている。

送信情報付加手段１は、撮像処理手段１１で撮像される撮像画像のフレーム単位に第１の画像番号を付加するもので、撮像装置９の制御手段１０（図２）内に構築されたソフトウェアで構成している。第１の画像番号は、フレーム単位でインクリメントされており、異なるフレームでは、異なる第１の画像番号を有する。フレーム単位は、撮像処理手段１１において、撮像を周期的に行う時間(逆数はフレームレート)の１周期を示しており、異なる画像間の第１の画像番号の差分値にフレームレートの逆数を乗算することで、第１の画像番号の差分値に相当する画像の撮影した時間を求めることができる。

また、送信情報付加手段１は、第１の画像番号を含む画像ヘッダーと、第１の画像番号に対する撮像データを、画像ヘッダー情報に追加して、ネットワーク接続手段１２を経由し、ネットワーク６へ伝送する。このとき、送信した第１の画像番号は、撮像装置９内の制御手段１０によって記録手段１３内で保持されており、遅延時間を検出する際に利用することができる。

なお、送信情報付加手段１は、カメラ画像処理手段２１のハードウェア内に構築することもできる。

受信情報付加手段２は、ネットワーク経由で得た送信情報付加手段１からの第１の画像番号に対し、画像データを正常に受信した結果を示す第２の画像番号を第２のネットワークデータに付加するもので、画像処理装置８の第２の制御手段２７（図２）内に構築されたソフトウェアで構成している。第２の画像番号を有する第２のネットワークデータは、ネットワーク接続手段２３を介して、ネットワーク７を経由し、遅延時間検出手段３に伝送される。

なお、受信情報付加手段２は、画像処理装置８内の画像処理手段２５のハードウェア内に構築することもできる。

遅延時間検出手段３は、撮像装置９内の制御手段１０（図２）に構築され、第１の画像番号を送信してから、第２の画像番号を受信するまでに経過したフレーム数に対応する時間から、ネットワークでのデータ転送に要する時間（以降遅延時間と称する）を検出する。または、受信した第２の画像番号に対応した第１の画像番号と、現在伝送を行おうとする撮像データに対する第１の画像番号の差分から遅延時間を検出する。

遅延時間検出手段３で検出する遅延時間は、ネットワークの負荷が重く、混雑している場合（または、画像データ伝送量が多い場合）、送信情報付加手段１が第１の画像番号を送信してから、遅延時間検出手段３が第２の画像番号を受信するまでの時間がかかり、増大する。一方、ネットワークの負荷が軽い場合は、第１の画像番号が、受信情報付加手段２へスムーズに伝送できるため、第２の画像番号を受信するまでの時間が短くなる。このように、ネットワークの負荷状況により、遅延時間は増減する。

トラフィック判定手段４は、撮像装置９内の制御手段１０（図２）に構築され、遅延時間検出手段３により検出された遅延時間から、ネットワークのトラフィック状況、つまり負荷状況を判定する。以下、詳細に示す。

第１の画像番号を伝送し、第２の画像番号を受信するまでの時間（Ｔ）は、
Ｔ＝τ１＋τ２＋τ３＋τ４
となる。ここで、τ１は、送信情報付加手段１から受信情報付加手段２にいたる第１のネットワークデータを伝送する時間。τ２は、画像処理装置８で第１の画像番号を解析し、第２の画像番号を生成し、ネットワークへ伝送するまでの時間。τ３は、受信情報付加手段２から遅延時間検出手段３へいたる第２のネットワークデータの伝送時間。τ４は、撮像装置９で第２の画像番号から遅延時間を検出するまでの時間である。

τ２とτ４は、画像処理装置８と撮像装置８内の処理時間である。つまり、τ２とτ４の和は画像処理装置８と撮像装置８固有の処理時間であるので、構成した機器自身の性能によって規定され、一定値（ｋ）を取ると考えられる。
τ２＋τ４＝ｋ ・・・（１）

したがって、ネットワークの負荷状況で変化するのは、時間τ１とτ２であり、時間τ１と時間τ２を加算した値を遅延時間をＴＤとすると、
Ｔ＝ＴＤ＋ｋ ・・・（２）
となる。よって、あらかじめｋを計測しておくことで、
ＴＤ＝Ｔ−ｋ ・・・（３）
で、遅延時間ＴＤを求めることができる。

続いて、ネットワークによる撮像データの伝送が正常にできる場合の遅延時間ＴＤの上限値をＴＤ１とする。つまり、第１の画像番号を送信し、第２の画像番号を受信するまでの時間Ｔ（遅延時間ＴＤ＋定数ｋ）が１フレームの撮像周期以下となる遅延時間の上限値である。一方、ネットワークの負荷が増大して、正常に撮像データの伝送が行えない場合の遅延時間をＴＤ２とする。つまり、次のフレームに移っても第２の画像番号を受信できない場合であって、画像処理装置８に、完全に撮像データが伝送される前に次のフレームの撮像データの伝送に移る場合の遅延時間である。すると、ＴＤ１とＴＤ２は、ネットワークの負荷状況により変化するΔＴＤによって以下のように表すことができる。
ＴＤ２＝ＴＤ１＋ΔＴＤ・・・（４）

ここで、ＴＤ２がＴＤ１より大きい、つまりΔＴＤが正の値ならば、ネットワークは負荷が重く伝送速度が低下しており、ＴＤ２がＴＤ１より小さい、つまりΔＴＤが０以下ならば、ネットワークの負荷は少なく、正常に撮像データが伝送できることになる。つまり、トラフィック判定手段４は、ΔＴＤの値が０より小さいか、０を超えているかでネットワークの負荷状況を判定することができ、その判定結果を遅延時間とともに伝送量制御手段５に出力する。

このように簡単な演算と、少ないデータで、ネットワークの負荷状況を判定することができる。また、単純な演算処理であるので、撮像装置９を構成する制御手段１０内に構築することが可能となり、低コスト化、サイズの小型化などの効果を有する。

また、遅延時間ＴＤの検出の際、毎回遅延時間ＴＤの履歴を取っておき、遅延時間ＴＤが極端に増加した場合は、ネットワークの負荷が異常に増大していると判別し、撮像を中止する、または、ネットワークの負荷量が軽減されるまで撮像データを伝送せずに記録しておくなどの処置を施すこともできる。

伝送量制御手段５は、カメラ画像処理手段２１（図３）内のＦＰＧＡ（図示せず）などのハードウェアロジックで構築され、トラフィック判定手段４から、ネットワークの負荷が増大しているとの判定結果を受けると、遅延時間ＴＤに基づいて下記の方法で決定した伝送量削減率に応じて撮像データの伝送量を制御する。

ネットワークの負荷が軽いときに、時間ＴＤ１内に撮像データを伝送できる伝送量をＰ１とすると、ネットワークの負荷が増大しているとき（遅延時間＝ＴＤ２）に、同じ時間ＴＤ１内に伝送できる撮像データのデータ伝送量Ｐ２は、
Ｐ２＝ＴＤ１×（Ｐ１／ＴＤ２） ・・・（５）
となる。

したがって、ネットワークの負荷が増大した場合においても、データ伝送に要する時間を撮像周期内に収めるには、撮像データの伝送量をＴＤ１内に伝送できるように削減する必要がある。このときの削減率は、
α＝１−（Ｐ２／Ｐ１）
＝１−ＴＤ１×（Ｐ１／ＴＤ２）／Ｐ１
＝１−１／（１＋ΔＴＤ／ＴＤ１） ・・・（６）
となる。つまり、正常時の遅延時間ＴＤの上限値ＴＤ１に対する、遅延時間の変化量δＴＤを測定することで、撮像データの伝送量の削減率を得ることができる。図６に式（６）による伝送時間増加率（ΔＴＤ／ＴＤ１）と撮像データの削減率との関係を示す。正常状態の遅延時間ＴＤ１に対して撮像周期内に１フレームの撮像データを伝送するために必要な画像伝送量の削減率は、ΔＴＤの増加に伴って増大させる必要があることがわかる。

このように、撮像装置９および画像処理装置８内部での、つまり、機器固有の処理時間ｋと、遅延時間の上限値ＴＤ１、及び遅延時間ＴＤから、撮像データの削減率が得られる。

但し、上記削減率はネットワークの負荷状況が遅延時間ＴＤを検出した後も変化しない場合を想定したものであり、多少の増加を見込んで（安全率を考慮して）削減率を多めに設定するようにしてもよい。

なお、伝送量制御手段５は、上述したＦＰＧＡなどのハードウェアロジックに構築された場合には、高速処理が可能となる。一方、制御手段１０（図２）のソフトウェアに構築することもでき、その場合、信頼性の高いアルゴリズムを構築することができ、ソフトのためハードウェアで実現する際のゲート規模増大や、コスト増加などを防ぐことができる

撮像データのデータ削減率の調整方法としては、ＪＰＥＧ、ＭＰＥＧなど、画像圧縮率を制御することで実現できる。

ここで、ネットワークの負荷が変化することにより、伝送速度が異なる場合での動作について説明する。
［負荷が軽い状態の動作説明］
ネットワークの負荷が軽く、正常に画像伝送システムが動作しているノーマル状態の動作について説明を行う。図７、図８、図９は、正常時の動作（シーケンス）を示すシーケンス図、タイミング図、および説明図である。

図７および図８のＳ１からＳ６は、処理ステップの動作を示し、同一番号は、同一の処理を示す。なお、図８に示すＶＤは、撮像の１フレームの期間を示す垂直同期信号である。以下、ステップごとに処理の詳細を説明する。

ステップ１（Ｓ１）は、画像処理装置８から撮像装置９への撮像開始要求である。撮像開始要求を撮像装置９が受信すると、撮像を開始し、ネットワーク経由で、画像処理装置８に向け、撮像データを伝送する準備が整う。

ステップ２（Ｓ２）は、撮像装置９が撮像開始要求を受け、撮像を実際に開始する。このとき、送信情報付加手段１は、撮像画像に対する第１の画像番号をフレームごとに生成する。

ステップ３（Ｓ３）は、撮像状態であり、送信情報付加手段１は、撮像処理手段１１で撮像された撮像データに第１の画像番号を付加し、第１のネットワークデータとして送信する。

ステップ４（Ｓ４）は、画像処理装置８が第１のネットワークデータを受信するステップである。

ステップ５（Ｓ５）は、画像処理装置８において、第１のネットワークデータが全データ受信された確認を行う。受信情報付加手段２は、全データ受信確認後、画像ヘッダー内の第１の画像番号を解析した結果をもとに、第２の画像番号を生成する。また、生成した第２の画像番号を画像ヘッダーに付加して、第２のネットワークデータを生成し、撮像装置９へ転送する。また、このとき、画像処理装置８は受信した撮像データを表示するための処理を並行して行っている。

ステップ６（Ｓ６）は、撮像装置９において、第２のネットワークデータを受信し、画像ヘッダー内の第２の画像番号を検出する。遅延時間検出手段３は、第２の画像番号から対応する第１の画像番号をもとめ、受信するまでの時間遅延ＴＤが得られる。

トラフィック判定手段４が構築されている制御手段１０内には、あらかじめ、ＴＤ１及びｋのデータを保持しており、遅延時間がＴＤ１以下である場合、ΔＴＤ＝０とし、ネットワークの伝送量の負荷状態が軽いと判断する。ΔＴＤ／ＴＤ１＝０となるため、伝送量の削減率は０％、つまり、伝送率は１００％となり、伝送量を削減することなく画像伝送を行う。以下、ステップ４以降の処理を繰返す。

図９は、画像データ量を画像の大きさで示したイメージ図である。図９に示すように、フレーム１からフレーム３において、同一の伝送量の撮像データを伝送することができる。

［負荷が重い状態で伝送量の制御を実施しない場合の動作説明］
次に、ネットワークの負荷が重くなって、伝送速度が遅くなった場合に、伝送量の制御を実施しない場合（異常時）の動作について、図１０のタイミング図、図１１の説明図を用いて説明を行う。

先に説明した正常状態における処理ステップ番号と同一の番号は、同一の処理である。ネットワーク負荷が重いため、撮像処理装置９からネットワークの伝送遅延が発生している。図では、ステップ３の開始点から第２の画像番号を受信するステップＳ６までの時間が、負荷が軽い状態の時間に比べ長くなる（ΔＴＤ＞０）。このため、ΔＴＤ分の遅延時間が増大し、フレーム６（ＦＲ６）で画像の欠落が発生する。次のフレームでは、フレーム６内にステップ５の応答が無かったため、ステップ２（Ｓ２の処理を開始し、正常な画像を転送している。よって、図１１に示すとおり、フレーム６で画像の欠落が発生している。

図１１において、フレーム６の画像欠落後、フレーム７にて欠落が発生していない。これは、画像の欠落があったことを判断してデータをリセットし、撮像データを再送したためである。しかし、この場合、ネットワークの負荷の状態に応じて、リセットが多くなることで、ネットワークの負荷が重くなるとともにコマ落ちも発生する。なお、続くフレーム内で、撮像装置において、リセット処理が無い場合や、ネットワーク負荷が異常に高い場合は、画像の伝送が行えないため、フレーム内の全撮像データ欠落や、連続したフレームで画像が欠落するなどの問題が発生する。

［負荷が重い状態で本実施の形態おける伝送量の制御を実施する場合の動作説明］
本発明の実施の形態１による画像伝送システムによる動作を、図１２〜図１４を用いて説明を行う。図１２は本実施の形態における動作を示すシーケンス図、図１３はタイミング図、図１４は説明図である。なお、これまでの処理ステップと同一ステップ番号は、同一の処理を示している。

ステップ８（Ｓ８）で、ネットワーク負荷が高いため、撮像データの伝送時間に遅延が発生し、遅延時間の増加、つまり遅延増加時間ΔＴＤを検出する。

遅延増加時間ΔＴＤ＞０の場合は、トラフィック判定手段４は、ネットワークの負荷状況が重いと判定する。ここで、遅延増加時間ΔＴＤがＴＤ１と同じ大きさの場合、判定結果を受けた伝送量制御手段５は、撮像データでの伝送量を１／（１＋（ΔＴＤ／ＴＤ１））＝１／２＝５０％となるように撮像データの削減率を決定する。

撮像装置９から画像処理装置８への撮像データの伝送量が、半分に削減できたことで、撮像データの伝送に要する時間がＴＤ１に一致する。伝送時間が撮像周期ＴＦＲ内に短縮されたことで、１フレーム期間ＴＦＲ内で、撮像データの伝送が行え、欠落は発生することが無い。

ステップ９からステップ１２は、伝送量変更後の処理である点が違うのみで、それぞれ、ステップ２からステップ５と同一の処理である。

図１４に効果を示している。このようにネットワークの負荷が重く、混雑している状態においても、遅延時間と定数ｋとの和が撮像周期ＴＦＲに等しくなるように画像の伝送量を削減し、画像の欠落を防止することができる。また、画像の圧縮（削減）量は画像の欠落を防止するのに必要最低限にしているので、画像の劣化を抑制し、ネットワークで伝送できる画像として最適の画像を伝送することができる。

［復帰処理の動作説明］
図１５と図１６は復帰処理を示すタイミング図と説明図である。フレーム１１（ＦＲ１１）で時間がＴＤ４（ＴＤ４＜ＴＤ１）と伝送時間増加量が０以下になったことが確認できる。ネットワークの負荷状況が軽減され、画像の伝送量を増やすことが可能であると判断できるため、画像の削減率を減少させる。

画像伝送量を増やす割合を求める。負荷が軽い状態の単位時間当たりの伝送量は、Ｐ２／ＴＤ４となる。なお、Ｐ１とＰ２は、画像サイズ示し、図１６の画像のデータ量（画素数×階調数）と一致する。
よって、システムが正常動作の遅延時間ＴＤ１の伝送量は、
Ｐ１＝ＴＤ１×（Ｐ２／ＴＤ４）
となり、
Ｐ１／Ｐ２＝ＴＤ１／ＴＤ４＝（ΔＴＤ＋ＴＤ４）／ＴＤ４
＝１＋（ΔＴＤ／ＴＤ４）
となる。
よってΔＴＤの余裕分に相当する画像伝送量（Ｐ２×ΔＴＤ／ＴＤ４）を増加させることができる。このように画像が圧縮された状態から復帰することができるので、画像の欠落を防ぎながら、撮像データの伝送量を増やすことができる。

なお、上記削減率の変更は、上述のように復帰という概念ではなく、撮像周期ごとに算出した削減率αに基づいて、撮像データの伝送量を調整してもよい。

本実施の形態１に係る画像伝送システムによれば、撮像データに送信時刻を特定した第１の画像番号を付加して送信する送信情報付加手段１と、ネットワーク６，７を経由して第１の画像番号を付加した撮像データを受信し、第１の画像番号に対応した第２の画像番号を生成して返信する受信情報付加手段２と、第１の画像番号とネットワーク６，７を経由して受信した第２の画像番号とからネットワーク６，７の遅延時間ＴＤを検出する遅延時間検出手段３と、遅延時間ＴＤに基づいてネットワーク６，７の負荷状況を判定するトラフィック判定手段４と、トラフィック判定手段４の判定結果に従い、遅延時間ＴＤに基づいて決定した伝送量削減率αに応じて前像データの伝送量を制御する伝送量制御手段５とを備えたことにより、ネットワーク６，７の負荷状況に対応した撮像データの伝送量の制御が可能となり、ネットワーク６，７の負荷状況が変化しても、撮像画像のリアルタイム表示や滑らかな動画表示ができる画像伝送システムを得ることができる。

とくに、伝送量制御手段５は、遅延時間ＴＤと、撮像装置９と画像処理装置８固有の処理時間ｋとの和が撮像装置９の撮像周期に一致するように伝送量を制御するので、機器の特性およびネットワークの負荷状況に対して撮像データの伝送量を最適化できる。そのため、負荷がどのように変化しても、１フレームの撮像データを伝送するのに要する時間が、撮像周期に一致し、コマ落ちなく、撮像データのリアルタイム表示や滑らかな動画表示を確実に実行できる画像伝送システムが得られる。

また、本実施の形態１に係る撮像装置によれば、撮像データに送信時刻を特定した第１の画像番号を付加して送信する送信情報付加手段１と、ネットワーク６，７を経由して第１の画像番号を付加した撮像データを受信し、第１の画像番号に対応した第２の画像番号を生成して返信する受信情報付加手段からネットワーク６，７を経由して受信した第２の画像番号とからネットワーク６，７の遅延時間ＴＤを検出する遅延時間検出手段３と、遅延時間ＴＤに基づいてネットワーク６，７の負荷状況を判定するトラフィック判定手段４と、トラフィック判定手段４の判定結果に従い、遅延時間ＴＤに基づいて決定した伝送量削減率αに応じて前像データの伝送量を制御する伝送量制御手段５とを備え、ネットワーク６，７の負荷状況に対応して撮像データの伝送量を制御したので、ネットワーク６，７の負荷状況に対応した撮像データの伝送量の制御が可能となり、ネットワーク６，７の負荷状況が変化しても、撮像画像のリアルタイム表示や滑らかな動画表示ができる画像伝送システムを構築可能な撮像装置を得ることができる。

実施の形態２．
図１７は、本発明の実施の形態２に係る画像伝送システム（実施の形態２に係る撮像方法を実施する装置）の撮像処理手段１１の構成を示すブロック図である。実施の形態１の撮像処理手段１１と比べ、タイミング生成手段３３の構成が異なるのみで、その他の手段の構成は同一である。

タイミング生成手段３３は、汎用バス１４を介して、図２の制御手段１０より、固体撮像素子１５の駆動タイミングを制御することができる。

制御手段１０において、ネットワーク負荷が高いと判断した場合、固体撮像素子１５の読出し画素数の情報が図１８の全画素伝送（ａ）から（ｂ）、（ｃ）に示すように画素を間引いて出力するようにタイミングを制御する。

固体撮像素子１５がＣＣＤの場合は、高速読み出しを行うために垂直方向の電荷量を高速に読み出す機能を有する。高速に読み出す機能としては、一般的には、ドラフトモード、モニターモード、画素混合駆動、間引きモードと呼ばれる駆動モードであり、固体撮像素子からの読み出す画素数を制御することができる。また、ＣＭＯＳセンサーの場合は、読み出す画素の位置ならびに画素数を切替る動作モードが標準としてあり、一般には、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）や、前述の間引きモードと呼ばれる駆動モードを用いることで、読み出す画素数を制御することができる。

本実施の形態２においては、伝送量制御手段５の一部を撮像装置９のタイミング生成手段２０（図２）に構築し、さらに遅延時間を基に算出した削減率αに応じて、固体撮像素子１５の駆動を制御して画素を間引き、撮像データの伝送量を削減することによって、実施の形態１と同様の効果を得ることができる。さらに、カメラ画像処理手段２１などの、後段のハードウェア（ＦＰＧＡ）にデータ量を削減する機能を持たせる必要が無くなり、実装する際のゲート規模を削減する効果を有する。

なお、画素間引きの方法は、図１８に示すような方法のほかに、間引く割合を適宜変更することにより、削減率に応じた撮像データの伝送量を制御することができる。また、上述したカメラ画像処理手段２１による画像圧縮と併用してもよい。

実施の形態３．
図１９は、本発明の実施の形態３に係る画像伝送システム（実施の形態３に係る撮像方法を実施する装置）の撮像装置９の構成を示すブロック図である。実施の形態１の撮像装置９と比べ、ネットワーク伝送においては、Ｅｔｈｅｒｎｅｔ（Ｒ）パケットの構造を有し、撮像処理手段３１がネットワーク接続手段３０へ直接接続されている点が異なるのみで、その他の手段の構成は同一である。

ネットワーク接続手段３０を撮像処理手段３１に直接接続することで、機器固有の処理時間ｋを短くすることができる。これにより、高速にネットワークへ伝送することができるとともに、汎用バスを用いた場合の、制御装置１０や、ＯＳなどの処理による時間のバラツキを同期設計することで少なくすることができる。つまり、遅延時間ＴＤの検出精度が向上することで、撮像データの伝送量の削減率を正確に設定することができ、より最適な画像伝送のための伝送量制御ができる。

また、Ｅｔｈｅｒｎｅｔ（Ｒ）パケット構造を用いることで、ネットワーク伝送を行う場合、図２０と図２１に示すように負荷を軽減するプロトコルを使用することができる。つまり、ネットワークのプロトコルの判別を行う必要がなく、ゲート規模が小さく、ネットワークの判別処理を軽減することができる。

本実施の形態３によれば、Ｅｔｈｅｒｎｅｔ（Ｒ）パケットの構造を有し、撮像処理手段３１とネットワーク接続手段３０とを直接接続することで、制御手段１０の汎用バスの占有時間の制限が無く、高速にネットウェワークに画像伝送が行える効果を有する。また、高速に伝送が行えることで、定数ｋが小さくなり、遅延時間の検出精度が向上し、撮像データの伝送量削減率の最適化も容易となる。

本発明の実施の形態１における画像伝送システムの要部構成を示すブロック図である。 本発明の実施の形態１における画像伝送システムの機器構成を示すブロック図である。 本発明の実施の形態１における画像伝送システムの部分構成を示すブロック図である。 本発明の実施の形態１における第１のネットワークデータの構成を示す図である。 本発明の実施の形態１における第２のネットワークデータの構成を示す図である。 本発明の実施の形態１における伝送時間増加率と撮像データの伝送量の削減率との関係を示す図である。 本発明の実施の形態１における画像伝送システムの正常時の動作を示すシーケンス図である。 本発明の実施の形態１における画像伝送システムの正常時の動作を示すタイミング図である。 本発明の実施の形態１における画像伝送システムの正常時の動作を示す説明図である。 画像伝送システムの異常時の動作を示すタイミング図である。 画像伝送システムの異常時の動作を示す説明図である。 本発明の実施の形態１における画像伝送システムの動作を示すシーケンス図である。 本発明の実施の形態１における画像伝送システムの動作を示すタイミング図である。 本発明の実施の形態１における画像伝送システムの動作を示す説明図である。 本発明の実施の形態１における画像伝送システムの復帰処理を示すタイミング図である。 本発明の実施の形態１における画像伝送システムの復帰処理を示す説明図である。 本発明の実施の形態２における撮像装置の構成を示すブロック図である。 本発明の実施の形態２における画素間引きの概念を示す図である。 本発明の実施の形態３における撮像装置の構成を示すブロック図である。 本発明の実施の形態３における第１のネットワークデータの構成を示す図である。 本発明の実施の形態３における第２のネットワークデータの構成を示す図である。

符号の説明

１ 送信情報付加手段、 ２ 受信情報付加手段、 ３ 遅延時間検出手段、 ４ トラフィック判定手段、 ５ 伝送量制御手段、 ６，７ ネットワーク、 ８ 画像処理装置、 ９ 撮像装置

Claims (7)

1. ネットワークを経由して撮像装置からの撮像データを画像処理装置へ伝送する画像伝送システムにおいて、
   前記撮像データに送信時刻を特定した第１の画像番号を付加して送信する送信情報付加手段と、
   前記ネットワークを経由して前記第１の画像番号を付加した撮像データを受信し、前記第１の画像番号に対応した第２の画像番号を生成して返信する受信情報付加手段と、
   前記第１の画像番号と前記ネットワークを経由して受信した前記第２の画像番号とから前記ネットワークの遅延時間を検出する遅延時間検出手段と、
   前記遅延時間に基づいて前記ネットワークの負荷状況を判定するトラフィック判定手段と、
   前記トラフィック判定手段の判定結果に従い、前記遅延時間に基づいて決定した伝送量削減率に応じて前記撮像データの伝送量を制御する伝送量制御手段とを備えた、
   ことを特徴とする画像伝送システム。
2. 前記伝送量制御手段は、前記遅延時間と、前記撮像装置と前記画像処理装置固有の処理時間との和が前記撮像装置の撮像周期に一致するように前記伝送量削減率を決定することを特徴とする請求項１に記載の画像伝送システム。
3. 前記遅延時間検出手段は、前記第１の画像番号を付加した撮像データを送信してから、前記第２の画像番号を受信するまでに経過した前記撮像装置のフレーム数に対応する時間から前記遅延時間を検出することを特徴とする請求項１または請求項２に記載の画像伝送システム。
4. 前記遅延時間検出手段は、受信した前記第２の画像番号に対応した前記第１の画像番号と、送信しようとする撮像データの送信時刻を特定した第１の画像番号との差分に対応する時間から前記遅延時間を検出することを特徴とする請求項１または請求項２に記載の画像伝送システム。
5. 前記撮像装置は、
   画像を撮影して撮像信号を出力する撮像処理手段と、
   前記撮像信号をネットワーク伝送するネットワーク接続手段を有し、
   前記撮像処理手段を前記ネットワーク接続手段に直接接続することを特徴とした請求項１ないし請求項４のいずれかに記載の画像伝送システム。
6. ネットワークを経由して撮像データを伝送する画像伝送システムに用いられ、前記撮像データを出力する撮像装置であって、
   前記撮像データに送信時刻を特定した第１の画像番号を付加して送信する送信情報付加手段と、
   前記第１の画像番号を付加した撮像データを受信して、前記第１の画像番号に対応した第２の画像番号を生成する受信情報付加手段から前記ネットワークを経由して受信した第２の画像番号と前記第１の画像番号とからネットワークの遅延時間を検出する遅延時間検出手段と、
   前記ネットワークの遅延時間に基づいてネットワークの負荷状況を判定するトラフィック判定手段と、
   前記トラフィック判定手段の判定結果に判定結果に従い、前記遅延時間に基づいて決定した伝送量削減率に応じて前記撮像データの伝送量を制御する伝送量制御手段とを備えた撮像装置。
7. ネットワークを経由して撮像装置からの撮像データを画像処理装置へ伝送する画像伝送方法において、
   前記撮像データに送信時刻を特定した第１の画像番号を付加して送信する送信情報付加ステップと、
   前記ネットワークを経由して前記第１の画像番号を付加した撮像データを受信し、前記第１の画像番号に対応した第２の画像番号を生成して返信する受信情報付加ステップと、
   前記第１の画像番号と前記ネットワークを経由して受信した前記第２の画像番号とから前記ネットワークの遅延時間を検出する遅延時間検出ステップと、
   前記遅延時間に基づいて前記ネットワークの負荷状況を判定するトラフィック判定ステップと、
   前記負荷状況の判定結果に従い、前記遅延時間に基づいて決定した伝送量削減率に応じて前記撮像データの伝送量を制御する伝送量制御ステップと、
   を備えたことを特徴とする画像伝送方法。

Images