JP2005244289A - 画像データ通信システム - Google Patents

Abstract

【課題】 エラー発生が多い場合に再転送時間を所定時間内に抑えつつ、画像データの表示品質の低下を最小限に止め、エラー発生が無い場合に効率的に画像データの通信行う画像データ通信システムを提供する。
【解決手段】 撮像された被写体像を画像データとして送信する撮像装置と、撮像装置から受信した画像データを表示する表示装置とを有し、撮像装置が、撮像した原画像データの出力形式を変更する手段を有するとともに、表示装置が、受信した第１の画像データのエラーの発生状態を検出し、その発生状態に応じて、第１の画像データに続いて送信される第２の画像データの出力形式を変更する命令を出力する手段を有することにより、エラー発生が多い場合に再転送時間を所定時間内に抑えつつ、画像データの表示品質の低下を最小限に止め、エラー発生が無い場合に効率的に画像データの通信行う画像データ通信システムを提供する。
【選択図】 図１

Description

本発明は、撮像した画像データを外部に送信する通信機能を有した撮像装置に関し、特に、連続して撮像及び転送を行う装置であって、無線通信のように通信路の状態が安定せず、通信障害の発生状況が変化する環境で使用され、通信障害発生時に再転送処理を行う画像データ通信システムに関する。

従来の画像データ通信装置におけるデータ通信方法としては、例えば、特許文献１に示されるように、通信障害発生時にデータ転送速度を下げて通信を再開する方法がある。この例においては、データ転送速度を増すほどデータ転送エラーが生じる事が前提となっているが、それは装置間をケーブルで結んで転送する場合のエラーの発生に対応した物であり、無線通信の様に他の機器により発生されるノイズがエラーの主原因となる場合、上記方法ではエラーの発生を抑える事は出来ない。

また、特許文献２には、通信エラー発生時、転送するブロックサイズを小さくする事により通信エラーの発生率を抑える技術が示されている。しかし、この場合においてもエラーの影響を無くす事は出来ず、ブロックサイズを小さくしすぎるとヘッダ部分の比率が大きくなり、転送効率が悪化するという問題が発生する。
特開２０００−２９５３１４号公報 特開２０００−１５５６５５号公報

一方、画像データを送受信する場合、通信時間の短縮を短縮し消費電力を抑えるため、撮像した画像をＪＰＥＧ等の圧縮画像データとして転送する事が一般的に行われている。 しかしながら、圧縮データが転送中にエラーが発生すると画像として大きなダメージを受ける場合が多く、全データをエラーの無い状態で転送する事が必要となる。ところが、通信状況が悪化している場合、再転送を必要とするパケットが多くなると共に、再転送でもエラーが発生し２度目、３度目の再転送が行われると、規定時間内に１画面分の画像転送が終了しない場合が発生する。

撮像装置に、次の画像分のメモリを搭載していない装置や、電力制限により撮像処理と通信処理を同時に行えない装置の場合、次の撮像を遅延させて画像転送を行うか、画像転送を中止して次の撮像を行う事になるが、この場合は、次の撮像開始が遅れて表示のリアルタイム性が損なわれるか、あるいは転送中の画像の表示品質が損なわれるという問題が発生する。こうした問題に対して、特許文献１に示された技術を適用しても、エラーの発生が多い場合、エラー発生ブロックの再転送処理が頻発する為、再転送処理が遅延するといった問題を解消できない。また、特許文献２に示された技術を適用しても、同様の問題が発生する。

そこで、本発明は、上述の問題点に鑑みてなされたものであり、連続して画像データの撮像と転送を行う装置において、エラー発生が多い場合に再転送時間を所定時間内に抑えると共に、画像データの表示品質の低下を最小限に止め、エラー発生が無い場合に効率的に画像データの通信を可能とする画像データ通信システムを提供することを目的としている。

本発明は、上述の課題を解決するために、以下の手段を提案している。
請求項１に係る発明は、撮像された被写体像を画像データとして送信する撮像装置と、撮像装置と離隔して配置され、撮像装置から受信した画像データを表示する表示装置とを有する画像データ通信システムであって、該撮像装置が、撮像した原画像データの出力形式を変更する画像データ作成手段を有し、該表示装置が、受信した第１の画像データのエラーの発生状態を検出し、その発生状態に応じて、該第１の画像データに続いて送信される第２の画像データの出力形式を変更する命令を前記画像データ作成手段に対して出力するデータ種別選択手段を有することを特徴とする画像データ通信システムを提案している。

この発明によれば、データ種別選択手段により、受信した第１の画像データのエラーの発生状態が検出され、その発生状態に応じて、この第１の画像データに引き続いて送信される第２の画像データの出力形式を変更する命令が画像データ作成手段に対して出力されるので、エラー状況に適応した通信が可能になる。

請求項２に係る発明は、請求項１に記載された画像データ通信システムについて、前記画像データ作成手段は、前記原画像データのデータ量を圧縮した第１の出力形式と少なくとも該原画像データの一部の領域のデータ量を圧縮する処理を施さない非圧縮画像データを含む第２の出力形式とを備え、前記第１の画像データを前記第１の出力形式で作成すると共に、前記第２の画像データを、前記第１の画像データに係る原画像データから作成される第１の出力形式、或いは、第２の出力形式で作成することを特徴とする画像データ通信システムを提案している。

この発明によれば、画像データ作成手段は、出力形式として、原画像データのデータ量を圧縮することで作成される伝送効率の良い第１の出力形式と少なくともその一部の領域に対して、原画像データのデータ量を圧縮する処理を施さない非圧縮画像データを含んで作成される通信エラーに強い第２の出力形式とを備えているので、エラー状況に応じた第２の画像データの送信が可能になる。

請求項３に係る発明は、請求項２に記載された画像データ通信システムについて、前記画像データ作成手段は、前記原画像データを複数のブロック領域に分割して、ブロック領域毎に出力形式を変更して送信し、前記データ種別選択手段は、前記エラーの発生状態から、該エラーを検出したブロック領域の再送信に必要な処理時間を求め、その結果に応じて、前記第２の画像データの全ブロック領域を、前記非圧縮画像データのみで構成された第２の出力形式で送信することを特徴とする画像データ通信システムを提案している。

この発明によれば、原画像データは、画像データ作成手段により、複数のブロック領域に分割されてブロック領域毎に処理を施して送信され、エラーの発生状態から、データ種別選択手段により、エラーを検出したブロック領域の再送信に必要な処理時間が求められる。そして、その結果に応じて、第２の画像データが、全ブロック領域が、非圧縮画像データのみで構成された第２の出力形式で送信されるので、例えば、エラーが多く発生し、再送信が頻発するおそれがある場合に、更なる再送信を行わずに済む。また、通信時間が確保される第２の出力形式で再送信することにより、制限時間を守って且つなるべく短時間に所望の画像通信を完了する事が可能になる。

請求項４に係る発明は、請求項２に記載された画像データ通信システムについて、前記撮像装置は、電源の消耗状態を監視する監視手段を有し、その消耗状態を前記表示装置に対して送信するとともに、前記データ種別選択手段は、受信した電源の消耗状態に応じて前記第２の画像データの再送信回数を設定し、該設定された再送信回数を超えたときに、再送信を停止することを特徴とする画像データ通信システムを提案している。

この発明によれば、撮像装置より受信した、撮像装置内の電源の消耗状態に応じて、データ種別選択手段により、第２の画像データの再送信回数が設定され、この設定された再送信回数を超えたときには、再送信が停止されるようにすることで、例えば、電源としての電池交換が簡単に出来ないシステムで所定時間の通信が必要とされる場合、通信状況が悪化したときに、無駄な再転送を中止することにより、電源の寿命を延ばし、所定時間の通信を実現することが可能となる。

請求項５に係る発明は、請求項２に記載された画像データ通信システムについて、前記表示装置は、前記第２の画像データ中の非圧縮画像データに対し、前記画像データ作成手段における圧縮処理と同様の処理を施す画像処理手段を有することを特徴とする画像データ通信システムを提案している。

この発明によれば、表示装置において、第２の画像データ中の非圧縮画像データに対して、画像データ作成手段における圧縮処理と同様の処理が施されるので、表示用、保管用の画像データの画質を再送信に使用された画像データの種類に係わりなく、同じ画質にすることが可能となる。

請求項６に係る発明は、請求項１に記載された画像データ通信システムについて、前記画像データ作成手段は、原画像データに対してデータ量を圧縮する処理を施さない非圧縮画像データのみからなる出力形式を有し、前記データ種別選択手段は、前記第１の画像データの現フレームについての前記エラーの発生状態に応じて、第２の画像データの次フレームを前記非圧縮画像データのみからなる出力形式に変更する命令を出力することを特徴とする画像データ通信システムを提案している。

この発明によれば、画像データ作成手段は、原画像データに対してデータ量を圧縮する処理を施さない非圧縮画像データのみからなる出力形式を有し、第１の画像データを現フレームのエラーの発生状態に応じて、第２の画像データとしての次フレームを非圧縮画像データのみからなる出力形式に変更する命令が、データ種別選択手段により、選択されて出力されるので、特に、通信路の状況が悪い場合、次フレームの画像データの種類をエラーに強い非圧縮画像データとすることにより、次フレームに係る再転送を行わずに１フレーム分の送信を終了させることが可能となる

本発明によれば、エラー発生が多い場合に再転送時間を所定時間内に抑えると共に、画像データの表示品質の低下を最小限に止め、エラー発生が無い場合に効率的に画像データの通信が可能となる。

本発明における実施例について、図１から図１４を用いて説明する。
本実施例は、本発明を、固体撮像素子による撮影機能と、撮影した画像データを通信に適したデータに変換後に送信する機能を持った撮像装置と、撮像装置からの画像データを受信し、表示／記録する表示装置との間の無線通信に適用した場合を例に説明を行っている。

本実施例における撮像から表示までの方式は、撮像装置が画像データを１画面単位で撮影し、固体撮像素子からのデータ（以降、ＲＡＷデータと記す）若しくは圧縮処理後のデータを、通信状況に応じて適宜切り換えて転送し、受信装置側で、送られたデータに応じて画像処理を行い、表示／記録を行っている。

本発明に係る撮像装置は、図１に示すように、撮像ユニット１と、ワークメモリａ２と、画像処理回路ａ３と、圧縮処理回路ａ４と、データバス５と、誤り検出符号付加部６と、送信バッファａ７と、変調回路ａ８と、アンテナａ９と、復調回路ａ１０と、受信バッファａ１１と、誤り検出回路ａ１２と、ＣＰＵａ１３とから構成されている。そこで、同図を用いて画像データの送信について説明する。

図１において、撮像ユニット１は、図示しないレンズ、固体撮像素子及びその周辺部材や回路組み合わせから構成されており、ＲＧＢのデジタル化された画像データ（ＲＡＷデータ）が、データバス５を介してワークメモリａ２上の所定のアドレスに書き込まれる。
ワークメモリａ２上のＲＡＷデータは、画像処理回路ａ３によりＹ，Ｃｂ，Ｃｒに変換され、圧縮処理回路ａ４によりＪＰＥＧデータに変換されて、ワークメモリａ２上の所定のアドレスに書き込まれる。なお、ここで行われるＲＡＷデータからＪＰＥＧデータへの変換は公知であるので説明を省略する。

ワークメモリａ２上のＲＡＷデータ若しくはＪＰＥＧデータは、ＣＰＵａ１３によりヘッダ情報が追加された後、データバス５を通り、誤り検出符号付加回路６により、代表的な誤り検出符号のＣＲＣ符号が付加され、送信バッファａ７に書き込まれる。送信バッファａ７に書き込まれた画像データは、変調回路ａ８、アンテナａ９を通って空中に放射され、表示装置に伝達される。

次に、制御データの送受信について説明する。
撮像装置は、表示装置からの撮像開始や終了の指示、転送するデータの種類の指定等を行う制御命令の受信と、命令内容の確認や自身の状態通知の送信が制御データの送受信として行われる。制御データの送信は、ＣＰＵａ１３が送信内容を、誤り検出符号付加回路６に書き込むと、書き込まれた制御データに応じたＣＲＣコードが付加されて、送信バッファａ７に送られる。送信バッファａ７に書き込まれた制御データは、画像データと同様に、変調回路ａ８、アンテナａ９を通って空中に放射され、表示装置に伝達される。

表示装置からの制御データは、アンテナａ９が受信し、復調回路ａ１０を通って復調され、デジタル信号に変換された後、受信バッファａ１１に書き込まれる。受信バッファａ１１の内容は、ＣＰＵａ１３によって読み出されると同時に、誤り検出回路ａ１２にも加えられ、誤り検出処理が行われ、検出結果がＣＰＵａ１３に通知される。また、ＣＰＵａ１３は、図示しない電池からの電圧検出機能を持っており、電源電圧の低下から電池寿命を予測している。

表示装置は、図２に示すように、アンテナｂ１４と、復調回路ｂ１５と、受信バッファｂ１６と、誤り検出回路ｂ１７と、伸張回路１８と、圧縮処理回路１９と、データバス２０と、変調回路ｂ２１と、送信バッファｂ２２と、画像処理回路ｂ２３と、ワークメモリｂ２４と、ＣＰＵｂ２５と、表示メモリ２６と、表示回路２７と、ＬＣＤ２８と、データ記録媒体２９と、操作部材３０とから構成されている。

そこで、図２を用いて、画像データの受信／表示処理について説明する。
アンテナｂ１４で受信された画像データは、復調回路ｂ１５により復調され、デジタル化されて受信バッファｂ１６に書き込まれる。受信バッファｂ１６に書き込まれた画像データは、誤り検出回路ｂ１７によりＣＲＣコードがチェックされて通信に伴う伝送エラーが検出されると共に、ＣＲＣコード以外のデータがワークメモリｂ２４に書き込まれる。

誤り検出回路ｂ１７により検出されたエラー情報も、データバスｂ２０を介してワークメモリｂ２４に書き込まれる。送られてきた画像データがＪＰＥＧデータの場合、伸張回路１８によりＹ，Ｃｂ，Ｃｒデータに変換され、表示メモリ２６上の所定のアドレスに書き込まれる。書き込まれた表示用データは所定の表示周期で表示回路２７に読み出され、ＬＣＤ２８上に表示される。

また、ワークメモリｂ２４上のＪＰＥＧデータは、ＣＰＵｂ２５によりデータ記録用のヘッダを追加された後、データ記録媒体２９に記録される。なお、１画面分のデータが全てＲＡＷデータで送られる非圧縮モードでの処理と、ＪＰＥＧデータが主に送られ、通信状態の悪い場合に部分的にＲＡＷデータが送られる圧縮モードでの処理とで方法が異なる。

非圧縮モードでは、１画面分ＲＡＷデータが送られてくるので、ＹＣ生成処理を行いＹ，Ｃｂ，Ｃｒデータの作成行った後、ＪＰＥＧ圧縮を行い、ヘッダを付加した後、データ記録媒体２９への書込処理を行う。また、Ｙ，Ｃｂ，Ｃｒデータから表示用のデータを作成し、表示メモリ２６に書き込む。

圧縮モードでは、画面内を複数に区切ったブロックの単位で、ＪＰＥＧデータとＲＡＷデータが送られてくるので、画質を合わせる為に、ＲＡＷデータを撮像装置と同じやり方で、画像処理回路ｂ２３によりＹＣ生成が行われ、圧縮処理回路１９によりＪＰＥＧ圧縮が行われる。その後、作成したＪＰＥＧデータと撮像装置から送られてきたＪＰＥＧデータを合わせて１画面分のＪＰＥＧデータとしてワークメモリｂ２４上に作成する。

作成した１画面分のＪＰＥＧデータは、ＣＰＵｂ２５によりデータ記録用のヘッダが追加された後、データ記録媒体２９に記録される。また、伸張回路１８によりＹ，Ｃｂ，Ｃｒデータに戻された後、表示メモリ２６に書き込まれ、表示処理が行われる。

次に、表示装置における、制御データの送受信について説明する。
制御データの送受信においては、撮像装置への撮像開始や終了の指示、転送するデータの種類の指定等を行う制御命令の送信と、撮像装置の状態通知等の受信とが行われる。制御データの送信について説明すると、例えば、撮像開始の指示の場合、操作者が操作部材３０を通して行った送信指示を、ＣＰＵｂ２５が検知して解釈し、誤り検出用のＣＲＣコードを付加した後、送信バッファｂ２２に書き込む。送信バッファｂ２２に書き込まれた制御データは、変調回路ｂ２１、アンテナｂ１４を通って空中に放射され、撮像装置に伝達される。

次に、制御データの受信について説明すると、アンテナｂ１４により受信された制御データは、復調回路ｂ１５によりデジタルデータに変換されて受信バッファｂ１６に書き込まれる。受信バッファｂ１６から読み出された制御データは、画像データと同様に、誤り検出回路ｂ１７により伝送誤りの発生を検査され、ＣＲＣコード以外の部分が、データバス２０を介してワークメモリｂ２４に書き込まれる。誤り検出回路ｂ１７で検出された誤り情報も、ワークメモリｂ２４に書き込まれる。

次に、図３を用いて、転送用の画像領域の指定について、具体的に説明する。
本実施例では、撮像ユニット１の固体撮像素子は、６４８ｘ４８８の有効画素を持つ固体撮像素子を使用しており、画像処理回路ａ３の処理後は、図３に示すように、６４０ｘ４８０画素の表示を行う画像データが出力される。以降、本実施例の説明においては、画像データの構成を、６４０ｘ４８０として説明を行う。

図３に示すように、撮像装置では、６４０ｘ４８０の画像データを、縦に２分割し、横に６０分割し、３２０ｘ８の画像ブロック１２０個に分けて処理を行っている。本実施例では、図３に示すように、３２０ｘ８のブロック単位でデータ転送が行われ、図中１Ａ−１Ｂ−２Ａ− −−６０Ａ−６０Ｂの順に画像データが送られる。

圧縮処理においても、画像データはブロック単位で処理が行われており、エラーが発生しても、他のブロックまでエラーが伝播しないように処理される。具体的には、ブロック単位でリスタートマーカ−（ＲＳＴｍ）が入る様に圧縮処理がなされる。

図４は、撮像装置から圧縮された画像データが出力される圧縮モードでのデータ転送を示すタイムチャートである。図中、撮−１〜撮−４として示しているのは、撮像装置での撮像タイミングである。撮影動作が開始されると、撮−１のタイミングで最初の撮影が行われ、図１の説明で行ったように、撮像ユニット１からの画像データがＹＣ生成処理、ＪＰＥＧ圧縮処理、ヘッダの付加の処理を経て送信用画像データとしてワークメモリａ２上に格納される（送信データ作成期間）。その直後から、図中、“通信期間”で示されるタイミングで誤り検出符号を付加されて、表示装置に無線通信される。

ここで通信期間が変動しているのは、エラー発生状況に応じて再転送にかかる期間が変動している為であり、図４では、撮−１のデータの通信期間はエラーが発生しなかったために短く、撮−３の通信期間はエラーが多く発生して通信期間が延びた状態を示している。
なお、圧縮モードでの通信処理については、後で詳しく説明を行う。

通信が終了すると表示装置での表示用データ作成が”表示データ作成期間”で示したタイミングで行われる。表示装置での画像表示は、”表示内容”に示した如く、最初の画面は表示用データの作成直後から行われ、以降の画面は撮像装置の撮像タイミングに合わせて行われる。

図５は、撮像装置からＲＡＷデータが出力される非圧縮モードでのデータ転送についてのタイムチャートである。ＲＡＷデータの転送では、再転送処理を行わない為、通信期間（ＲＡＷデータ通信期間）は常に一定である。上記以外のタイミングは、図４と同様である。

図６は、撮像装置で、撮像データの１ブロック（３２０ｘ８）分に圧縮処理を行い、通信用データとするまでの処理を示している。図６に示すように、３２０ｘ８の撮像ユニット−１の出力から、画像処理回路ａ２により、３２０ｘ８の輝度（Ｙ）データと３２０ｘ８の色（Ｃｂ，Ｃｒ）データが作成される（厳密には、補間処理の為に３２０ｘ８の周辺部分の画素も使用している）。同処理はＪＰＥＧ圧縮の前処理としても公知であるので、説明を省略する。

３２０ｘ８の輝度（Ｙ）データと３２０ｘ８の色（Ｃｂ，Ｃｒ）データは、本実施例においては、約１／５にＪＰＥＧ圧縮される。この場合、圧縮後のデータは、１０２４バイト前後となる。（図では１０２４バイトとした）。圧縮後のＪＰＥＧデータに対して、ブロックのＩＤ等を含むヘッダ情報が１６バイト分ＣＰＵａ１３により付加される。

ワークメモリａ２上のヘッダとＪＰＥＧデータは、誤り検出符号付加回路６により、ビット単位の演算が行われてＣＲＣ符号が付加されて送信バッファａ７に書き込まれる。誤り検出符号付加回路６では、図６に示すように、２５６ビット毎に１６ビットのＣＲＣ符号が付加され、２７２（２５６＋１６）ビット単位のパケットが３３個作成される。通信エラーの検出は、このパケット単位で行われる。

図７は、圧縮処理を行わずに、通信用データとするまでの処理を示している。
この例では、ＹＣ生成と圧縮処理を行わない為、画像データ量は、３２０ｘ８の２５６０バイトのままである。これに、ヘッダ情報を同じく１６バイト付加するので、誤り検出符号付加回路６では、図７に示すように、８１個のパケットが作成される。

図８は、表示装置での圧縮モードにおける、１画面分の画像データの受信手順を示すフローチャートである。
本実施例においては、撮像装置、表示装置共に撮像開始直後は、圧縮モードで動作している。圧縮モードでは、図４、図６で説明したように、ブロック単位でデータが転送される。１ブロックは３３個前後のパケットで構成されており、パケット単位でエラー検出が行われている。

エラーパケットの数より、エラーの発生したパケットに対応するデータの再転送方法を決めて再転送を行う。具体的には、エラーが少ない場合、エラーパケットそのままの再転送を要求する。この場合、何番目のパケットがエラーになったかを記憶しておき、その番号を撮像装置に通知している。

図８を用いて、手順を具体的に説明すると、１画面分のデータ受信を開始（ステップ３１）すると、１ブロック分の画像データの受信とそれに伴う転送エラーの検出を行う（ステップ３２）。この１ブロック分の圧縮データは、図６で説明したように、ＹＣ／圧縮処理後にエラー検出符号を付加された２７２ｂｉｔ単位のパケットデータが約３３個（正確なパケット数はヘッダ情報として書かれている）で構成されており、上記のように、パケット単位でエラーの発生が検出される。

検出したエラーパケット数に応じて次に行う処理を選択する（ステップ３３）。エラーが０の場合には、エラー処理を何も行わずに、１画面分のブロックデータ（１２０ブロック）の転送が終了したか否かの判定（ステップ４１）に移行する。エラーパッケット数が指定数（Ｋ）未満の場合、通信路の状態が比較的良いと判断し、再転送処理を繰り返す事によりエラー無しの状態の圧縮データを送る処理を実行する。

具体的には、エラーと判定されたパケットのナンバー（先頭から何番目のパケットか）を検出し、ブロック転送でエラーとなったパケットのナンバーをまとめて撮像装置に通知して、その分の再転送を要求する（ステップ３４）。撮像装置からの再転送データを受信処理し、再転送で発生したエラーを検出する（ステップ３５）。エラーが発生していた場合、エラー分のパケットを再々転送する為、再転送指示（ステップ３４）の処理に戻る（ステップ３６）。

ステップ３４から３６までの処理をエラーの発生したパケットが無くなるまで繰り返す。
エラーパケット数が０になるとループを抜けて、１画面分のブロックデータ（１２０ブロック）の転送が終了したか否かの判定（ステップ４１）に移行する。ステップ３３の判定で、エラーパッケット数が指定数（Ｋ）以上の場合、通信路の状態が悪いと判断し、転送中のブロックの画像データ全てを非圧縮データ（ＲＡＷデータ）で再転送するか再転送を打ち切るかの判断を行う（ステップ３７）。

前記転送打ち切りの判断は、エラーパケットの数で行うが、判断基準であるエラーパケット数（Ｌ）は、図１の説明で行ったＣＰＵａ１３で検出した電池残量と今後の撮像装置の動作予定時間から決定される。例えば動作予定時間に対して電池残量が少なくなった場合、打ち切り判断に使うエラーパケット数（Ｌ）は小さく設定され、通信状況が悪化すると直ぐに転送を打ち切る様に設定される。

打ち切りが行われない場合、非圧縮データ（ＲＡＷデータ）の転送が行われる。
非圧縮データの場合、エラーによる影響がエラーの発生したデータだけに留まる為、再転送処理は１回しか行わない。そのため、上記のステップ３４から３６までのループで行っている様な、ブロック内の全ての画像データをエラーが無くなるまで再転送を繰り返す処理は行わないので、エラーの発生により再転送処理が長く繰り返される事態は発生しない。

非圧縮データの再転送指示（ステップ３８）の後、再転送分の画像データの受信とエラーパケットの検出を行う。この１ブロック分の圧縮データは、図７で説明したように、２７２ｂｉｔ単位のパケットデータが８１個で構成されており、パケット単位でエラーの発生が検出される。非圧縮データの転送の場合、パケットにエラーが検出されても、そのパケットのデータは、破棄されず、画像データとして利用される。

また、エラーの発生したパケットに書かれていた画像データに対して、孤立画素の除去等のノイズ除去用の画像処理が後処理として集中的に実施される。ノイズ除去用の画像処理に付いては公知であるので説明を省略する。

１ブロック分のデータの受信が終了すると、１画面分のブロックデータの受信が終了したかをチェック（ステップ４１）し、未終了な場合、次の１ブロック分のデータの受信（ステップ３２）に戻る。１画面分のブロックデータの受信が終了していると、エラー発生率（エラー発生パケット数／総転送パケット数）を計算し、次の１画面分のデータを圧縮データで転送するか非圧縮データで転送するかを決定する。（ステップ４２）

エラー発生率がＭ未満の場合、通信路の状態が良いと判断し、次の画面の転送も“圧縮モード”で行う様に撮像装置に指示する（ステップ４３）。 エラー発生率がＭ以上の場合、通信路の状態が悪いと判断し、次の画面の転送は“非圧縮モード”で行う様に撮像装置に指示をする（ステップ４４）。

次に、図９を用いて非圧縮データの１画面分の通信について説明する。
表示装置に於いて、非圧縮データの受信が開始される（ステップ４６）と、ブロック単位で画像データが転送されて来るので（図７参照）、受信処理と転送エラーの検出（ステップ４７）を行う。非圧縮データの通信では前記の如く、エラーパケットに対しては、再転送処理は行われず、エラーパケット数のカウントと後処理でノイズ除去を行う為のパケットナンバーの記憶が行われる（ステップ４８）。

その後、１画面分のブロックデータの受信が終了したかを確認し（ステップ４９）、未終了なら１ブロック分の受信（ステップ４７）に戻り、終了しているなら、通信エラー発生率の計算と結果による分岐（ステップ５０）を実行する。エラー発生率がＪ未満の場合、通信路の状態が良いと判断し、次の画面の転送では“圧縮モード”で行う様に撮像装置に指示する（ステップ５１）。 エラー発生率がＪ以上の場合、通信路の状態が悪いと判断し、次の画面の転送でも“非圧縮モード”で行う様に撮像装置に指示をする（ステップ５２）。

次に、表示装置での表示用画像作成と画像データ記録処理について説明する。
図１０は、圧縮モードでの表示／記録処理を示している。圧縮モードでは、上記のように、圧縮データのブロックと非圧縮データのブロックが混在している可能性が有るので、先ず非圧縮データブロックの有無を判定する（ステップ５５）。非圧縮データがある場合、その非圧縮データ中にエラーが検出されたパケットの有無を検出し（ステップ５６）、エラーパケットがある場合、前記の如く対応パケットのデータに対するノイズ除去処理を実施する（ステップ５７）。

その後、全ての非圧縮データブロックに対してＹＣ生成処理（ステップ５８）、ＪＰＥＧ圧縮処理（ステップ５９）、が行われる。前記ＹＣ生成とＪＰＥＧ圧縮処理を撮像装置と同一条件で行なうことで表示／記録画像の画質を合わせている。

その後、ＪＰＥＧ圧縮処理（ステップ５９）で作成したデータと、受信した圧縮データとを結合して１画面分の圧縮データを作成する（ステップ６０）。ここで得られた圧縮データは、通信路の状況が良かった場合に圧縮データとして受信されるであろうデータと同じ物になる。

その後、記録用の画像データとしてヘッダ等が付加された後、データ記録媒体２９への記録が開始される（ステップ６１）。非圧縮データブロックの有無の判定（ステップ５３）で非圧縮データブロックが無かった場合、記録用のデータ作成と記録開始（ステップ５９）が直ぐに実行される。

データ記録媒体２９への記録と並行してＪＰＥＧ伸張（ステップ６２）と表示用データ作成（ステップ６１）が行われ、表示メモリ２６上に表示用データが書き込まれる。表示は図４で説明したように、表示メモリ２６の読み出し位置を周期的に切り換えて行う為、上記表示／記録処理の時間が変動しても所定時間内であれば表示画面に影響は現れない。

図１１は、非圧縮モードでの表示／記録処理を示している。
非圧縮モードでは、１画面分の画像データは全て非圧縮データである。その為、エラーパケット有無の判定（ステップ６６）から開始される。エラーパケットが有る場合、対応パケットのデータに対するノイズ除去処理を実施する（ステップ６７）。

その後、ＹＣ生成（ステップ６８）が行われ、作成されたＹＣデータから表示用のデータが作成され、表示メモリ２６上に表示用データが書き込まれる。また、同じＹＣデータを用いてＪＰＥＧ圧縮が行われ（ステップ７０）、記録用の画像データとしてヘッダ等が付加された後、データ記録媒体２９への記録が開始される（ステップ７１）。

次に、図１２から１４を用いて、通信時のデータ構造について説明する。
図１２は圧縮モードでの通信データ構造を示している。図３で説明した様に、本実施例に於いては、１画面を８ｘ３２０画素単位のブロック（１２０個）に分けて転送しており、１画面分のデータ転送は、図１２に示す様に、１−Ａ、１−Ｂ、２−Ａ、 −−−、 ６０−Ｂの順に行われる。また、画像データの間には、制御データの通信が行われており、一般的なＡｃｋ、Ｎａｃｋの通信や再転送に係わる通信が行われている。

圧縮モードでの１ブロック分の圧縮データの構造を、図１２の２列目に示す。本転送時の１ブロック分のデータは、約３３パケット転送され、１パケットは２５６ビットのデータ部と１６ビットのＣＲＣ部から成っている。

図１３は圧縮モードで、圧縮データが再転送される場合の例を示している。
図８で説明した様に、本転送でエラーが発生し、エラーパケットの数が指定値（Ｋ）よりも小さかった場合、圧縮データの再転送が行われる。再転送でエラーが発生した場合、エラーが無くなるまで再転送が繰り返される。図１３では、本転送でｎ個のエラーパケットが発生し、再転送でｍ個のエラーが発生し、再々転送ではエラーが発生しなかった場合の例を示している。

本転送直後の制御データの送受信で再転送パケットの指定が行われ、再転送直後の制御データの送受信で再々転送パケットの指定が行われ、再々転送直後の制御データの送受信で再転送処理の終了（次のブロックデータの転送開始）が表示装置から撮像装置に指示される。

図１４は圧縮モードで、非圧縮データが再転送される場合の例を示している。
非圧縮データの再転送では、前記の如く、エラーが発生の有無に係わらず再々転送は行われない為、図１４に示した如く、再転送データとして１ブロック分（８１個）のパケットを転送したら、次のブロックの転送に移行する。

以上、本実施例によれば、通信環境が悪く、エラー発生が多い場合にも、再転送時間を所定時間内に抑えることができる。また、画像データの表示品質の低下を最小限に止め、かつ、エラー発生が無い場合に効率的に画像データの通信を行うことができる。

以上、図面を参照して本発明の実施例について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

撮像装置の構成図である。 表示装置の構成図である。 データ転送時における画像データの領域指定を示す図である。 圧縮モードのときの画像転送に関するタイミングチャートである。 非圧縮モードのときの画像転送に関するタイミングチャートである。 圧縮処理時の通信前処理を示す図である。 非圧縮処理時の通信前処理を示す図である。 圧縮データの受信フローチャートである。 非圧縮データの受信フローチャートである。 圧縮モード時の表示および記録に関する処理フローである。 圧縮モード時の表示および記録に関する処理フローである。 圧縮モードでの通信データ構造を示す図である。 圧縮モードでの再通信データ構造を示す図である。 圧縮モードでの再通信データ構造を示す図である。

符号の説明

１・・・撮像ユニット、２・・・ワークメモリａ、３・・・画像処理回路ａ、４・・・圧縮処理回路ａ、５・・・データバス、６・・・誤り検出符号付加部、７・・・送信バッファａ、８・・・変調回路ａ、９・・・アンテナａ、１０・・・復調回路ａ、１１・・・受信バッファａ、１２・・・誤り検出回路ａ、１３・・・ＣＰＵａ、１４・・・アンテナｂ、１５・・・復調回路ｂ、１６・・・受信バッファｂ、１７・・・誤り検出回路ｂ、１８・・・伸張回路、１９・・・圧縮処理回路、２０・・・データバス、２１・・・変調回路ｂ、２２・・・送信バッファｂ、２３・・・画像処理回路ｂ、２４・・・ワークメモリｂ、２５・・・ＣＰＵｂ、２６・・・表示メモリ、２７・・・表示回路、２８・・・ＬＣＤ、２９・・・データ記録媒体、３０・・・操作部材、

Claims (6)

1. 撮像された被写体像を画像データとして送信する撮像装置と、
   撮像装置と離隔して配置され、撮像装置から受信した画像データを表示する表示装置とを有する画像データ通信システムであって、
   該撮像装置が、撮像した原画像データの出力形式を変更する画像データ作成手段を有し、
   該表示装置が、受信した第１の画像データのエラーの発生状態を検出し、その発生状態に応じて、該第１の画像データに続いて送信される第２の画像データの出力形式を変更する命令を前記画像データ作成手段に対して出力するデータ種別選択手段を有することを特徴とする画像データ通信システム。
2. 前記画像データ作成手段は、前記原画像データのデータ量を圧縮した第１の出力形式と少なくとも該原画像データの一部の領域のデータ量を圧縮する処理を施さない非圧縮画像データを含む第２の出力形式とを備え、
   前記第１の画像データを前記第１の出力形式で作成すると共に、前記第２の画像データを、前記第１の画像データに係る原画像データから作成される第１の出力形式、或いは、第２の出力形式で作成することを特徴とする請求項１に記載された画像データ通信システム。
3. 前記画像データ作成手段は、前記原画像データを複数のブロック領域に分割して、ブロック領域毎に出力形式を変更して送信し、
   前記データ種別選択手段は、前記エラーの発生状態から、該エラーを検出したブロック領域の再送信に必要な処理時間を求め、その結果に応じて、前記第２の画像データの全ブロック領域を、前記非圧縮画像データのみで構成された第２の出力形式で送信することを特徴とする請求項２に記載された画像データ通信システム。
4. 前記撮像装置は、電源の消耗状態を監視する監視手段を有し、その消耗状態を前記表示装置に対して送信するとともに、
   前記データ種別選択手段は、受信した電源の消耗状態に応じて前記第２の画像データの再送信回数を設定し、該設定された再送信回数を超えたときに、再送信を停止することを特徴とする請求項２に記載された画像データ通信システム。
5. 前記表示装置は、前記第２の画像データ中の非圧縮画像データに対し、前記画像データ作成手段における圧縮処理と同様の処理を施す画像処理手段を有することを特徴とする請求項２に記載された画像データ通信システム。
6. 前記画像データ作成手段は、原画像データに対してデータ量を圧縮する処理を施さない非圧縮画像データのみからなる出力形式を有し、
   前記データ種別選択手段は、前記第１の画像データの現フレームについての前記エラーの発生状態に応じて、第２の画像データの次フレームを前記非圧縮画像データのみからなる出力形式に変更する命令を出力することを特徴とする請求項１に記載された画像データ通信システム。
   
   

Images