JP2006148561A - デジタル動画像伝送方法及びデジタル動画像伝送装置 - Google Patents

デジタル動画像伝送方法及びデジタル動画像伝送装置 Download PDF

Info

Publication number
JP2006148561A
JP2006148561A JP2004336165A JP2004336165A JP2006148561A JP 2006148561 A JP2006148561 A JP 2006148561A JP 2004336165 A JP2004336165 A JP 2004336165A JP 2004336165 A JP2004336165 A JP 2004336165A JP 2006148561 A JP2006148561 A JP 2006148561A
Authority
JP
Japan
Prior art keywords
image data
frame image
auxiliary
missing
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004336165A
Other languages
English (en)
Inventor
Isao Nakajima
功 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NIPPON SYST DESIGN KK
NIPPON SYSTEM DESIGN
Original Assignee
NIPPON SYST DESIGN KK
NIPPON SYSTEM DESIGN
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NIPPON SYST DESIGN KK, NIPPON SYSTEM DESIGN filed Critical NIPPON SYST DESIGN KK
Priority to JP2004336165A priority Critical patent/JP2006148561A/ja
Publication of JP2006148561A publication Critical patent/JP2006148561A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】動画像伝送に於いて発生する動画像のフリーズや乱れを防止する手段を提供し、動画像の視認性を向上する。
【解決手段】撮像カメラ１より送出された１枚のフレーム画像データは、フレーム画像送信部と補助画像抽出部２２ａ，２２ｂに同一データで各々送られる。フレーム画像送信部に送られたフレーム画像データは、そのまま伝送部３を通して受信装置４に送信される。補助画像抽出部２２ａ，２２ｂに送られたフレーム画像データは、輪郭画像、２値画像、階調画像、部分画像などの補助画像データに変換され、補助画像送信部に送られ、伝送部３を通して受信装置４に送信される。欠落があるフレーム画像データは、受信装置４のフレーム画像合成部４３に送られ、欠落があるフレーム画像データに対応する補助画像データと合成され、欠落を修正したフレーム画像データとしてフレーム画像出力部４４から動画像再生部５に出力され、表示部で再生される。
【選択図】図７

Description

本発明は、動画像の伝送に係わり、デジタルデータの動画像伝送時に発生する、動画像のフリーズ（静止）状態や乱れの防止により動画像の質を向上させ、動画像による遠隔医療での的確な診断の実現、衛星通信による生中継画像やインターネットでのストリーミング画像等の視認性向上を実現するデジタル動画像伝送方法及びデジタル動画像伝送装置に関する。
従来のデジタル動画像伝送には、通信衛星・携帯電話等を利用した無線通信、通常電話回線・ＩＳＤＮ・ＤＳＬ・光ファイバ回線等を利用した有線通信やこれらの無線・有線通信網を利用したインターネットなど様々な方法がある。
しかし、従来の無線通信によるデジタル動画像伝送においては、伝送媒体内の遮蔽物・障害物等によるシャドーイング、ブロッキング等のために伝送データの欠落や同期信号の乱れが発生し、動画像のフリーズ（静止）や乱れとなることがあった。例えば、移動車両から衛星通信を利用して動画像伝送を行うマラソン中継等では、移動車両と通信衛星との間に出現する木立や建造物により回線が途切れて動画像データが欠落した場合に、欠落する前の動画像データをそのまま表示しておくため、動画像の一時的なフリーズや乱れが発生する。これらの動画像のフリーズや乱れは視聴者の視認性を損なうため、商用放送上好ましくなかった。
また、従来の有線通信によるデジタル動画像伝送においては、通信回線不良による信号レベル低下やデジタル信号同士の干渉により、動画像データの一部又は完全な欠落や、一時的な欠落が発生し、動画像のフリーズや乱れとなることがあった。例えば、有線通信でのインターネットによるストリーミング配信等では、様々な理由により発生する動画像パケットデータの欠落を受信側で確認すると、受信側は、送信側に対して欠落パケットデータの再送要求を出し、欠落パケットデータの再送を待って動画像を再生するため、動画像の一時的なフリーズや乱れが発生する。これらの動画像のフリーズや乱れは利用者の視認性を損なうため、サービスの質の低下となり好ましくなかった。
さらに、救急車や遠隔地等からの動画像による初期診断・応急措置指導や医療指示等を行う遠隔医療現場においては、従来のデジタル動画像伝送方法で発生するこれらの動画像のフリーズや乱れは、動画像をもとに診断等を行う医師に違和感を生じさせ、その結果、診断等の的確性を損なう恐れがあり問題があった。
そこで本発明は、動画像伝送に於いて様々な理由で発生する動画像のフリーズや乱れを防止する手段及び装置を提供し、動画像の視認性を向上することを目的とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項１の記載によれば、動画像のフレーム画像データを送信装置から伝送部を介して受信装置に伝送するデジタル動画像伝送方法において、前記フレーム画像データを前記送信装置から第一の伝送体を介して前記受信装置に伝送し、前記フレーム画像データから補助画像データ抽出手段により抽出された補助画像データを前記送信装置から第二の伝送体を介して前記受信装置に伝送し、前記フレーム画像データと前記補助画像データとをフレーム画像合成手段により合成することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項２の記載によれば、前記フレーム画像合成手段において、前記フレーム画像データの欠落の有無をフレーム画像欠落判断部により判断し、欠落があると判断された欠落フレーム画像データと欠落フレーム画像データに対応する補助画像データとを前記フレーム画像合成手段により合成し、前記欠落フレーム画像データを修正することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項３の記載によれば、前記フレーム画像合成手段において、前記フレーム画像データの欠落の有無をフレーム画像欠落判断部により判断し、欠落がないと判断された無欠落フレーム画像データに対応する補助画像データを廃棄することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項４の記載によれば、前記フレーム画像合成手段において、前記フレーム画像データの欠落の有無をフレーム画像欠落判断部により判断し、欠落があると判断された第一のフレーム画像データの前の第二のフレーム画像データと、前記第一のフレーム画像データから抽出された第一の補助画像データと、前記第二のフレーム画像データから抽出された第二の補助画像データとを前記フレーム画像合成手段により合成し、前記第一のフレーム画像データを修正することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項５の記載によれば、前記フレーム画像合成手段において、前記フレーム画像データの欠落の有無をフレーム画像欠落判断部により判断し、欠落がないと判断された第三のフレーム画像データの前の第四のフレーム画像データから抽出された、第三の補助画像データを廃棄することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項６の記載によれば、前記補助画像データは、２値画像データ、多値画像データ、階調画像データ、部分画像データ、輪郭データのいずれかであることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項７の記載によれば、前記第一の伝送体と前記第二の伝送体とが同一の伝送体である場合に、前記補助画像データを遅延手段により遅延させることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項８の記載によれば、前記第一の伝送体と前記第二の伝送体とが同一の伝送体である場合に、前記補助画像データをメモリーに保持することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項９の記載によれば、動画像のフレーム画像データを送信装置から伝送部を介して受信装置に伝送するデジタル動画像伝送方法において、前記フレーム画像データを前記送信装置から第一の伝送体を介して前記受信装置に伝送し、前記フレーム画像データから第一の補助画像データ抽出手段により抽出した第一の補助画像データを前記送信装置から第二の伝送体を介して前記受信装置に伝送し、前記フレーム画像データから第二の補助画像データ抽出手段により抽出した第二の補助画像データを前記送信装置から第三の伝送体を介して前記受信装置に伝送し、前記フレーム画像データと前記第一の補助画像データと前記第二の補助画像データとをフレーム画像合成手段により合成することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項１０の記載によれば、前記フレーム画像合成手段において、前記フレーム画像データの欠落の有無をフレーム画像欠落判断部により判断し、欠落があると判断された第一のフレーム画像データの前の第二のフレーム画像データと、前記第一のフレーム画像データから抽出された第三の補助画像データと、前記第一のフレーム画像データから抽出された第四の補助画像データと、前記第二のフレーム画像データから抽出された第五の補助画像データと、前記第二のフレーム画像データから抽出された第六の補助画像データとを前記フレーム画像合成手段により合成し、前記第一のフレーム画像データを修正することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項１１の記載によれば、前記フレーム画像合成手段において、前記フレーム画像データの欠落をフレーム画像欠落判断部により判断し、欠落がないと判断された第三のフレーム画像データの前の第四のフレーム画像データから抽出された、第七の補助画像データと第八の補助画像データとを廃棄することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項１２の記載によれば、前記第一の補助画像データは２値画像データ、多値画像データ、階調画像データ、部分画像データ、輪郭データのいずれかであり、前記第二の補助画像データは２値画像データ、多値画像データ、階調画像データ、部分画像データ、輪郭データのいずれかであることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項１３の記載によれば、前記第一の伝送体と前記第二の伝送体と前記第三の伝送体とが同一の伝送体である場合、前記第一の補助画像データと前記第二の補助画像データとを遅延手段により遅延させることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わるデジタル動画像伝送方法は、請求項１４の記載によれば、前記第一の伝送体と前記第二の伝送体と前記第三の伝送体とが同一の伝送体である場合に、前記第一の補助画像データと前記第二の補助画像データとをメモリーに保持することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる送信装置は、請求項１５の記載によれば、動画像のフレーム画像データを送信装置から伝送部を介して受信装置に伝送するデジタル動画像伝送方法の送信装置において、前記フレーム画像データを送信する第一の送信手段と、前記フレーム画像データから補助画像データを抽出する補助画像抽出手段と、前記補助画像データを送信する第二の送信手段と、を具備することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項１６の記載によれば、動画像のフレーム画像データを送信装置から伝送部を介して受信装置に伝送するデジタル動画像伝送方法の受信装置において、前記送信装置から伝送された前記フレーム画像データを受信する第一の受信手段と、前記送信装置から伝送され、前記フレーム画像データから抽出された補助画像データを受信する第二の受信手段と、前記フレーム画像データと前記補助画像データとを合成するフレーム画像合成手段と、を具備することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項１７の記載によれば、前記フレーム画像合成手段は、前記フレーム画像データの欠落の有無を判断するフレーム画像欠落判断部と、前記フレーム画像欠落判断部で欠落があると判断された欠落フレーム画像データと前記欠落フレーム画像データに対応する前記補助画像データとを合成する欠落フレーム画像合成部と、を備えることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項１８の記載によれば、前記フレーム画像合成手段は、前記フレーム画像欠落判断部により欠落がないと判断された無欠落フレーム画像データに対応する前記補助画像データを廃棄する補助画像廃棄判断手段と、を備えることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項１９の記載によれば、前記フレーム画像合成手段は、前記フレーム画像データの欠落の有無を判断するフレーム画像欠落判断部と、前記フレーム画像欠落判断部で欠落があると判断された第一のフレーム画像データの前の第二のフレーム画像データと前記第一のフレーム画像データから抽出された第一の補助画像データと前記第二のフレーム画像データから抽出された第二の補助画像データとを合成する欠落フレーム画像合成部と、を備えることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項２０の記載によれば、前記フレーム画像合成手段は、前記フレーム画像欠落判断部により欠落がないと判断された第三のフレーム画像データの前の第四のフレーム画像データから抽出された、第三の補助画像データを廃棄する補助画像廃棄判断手段を備えることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項２１の記載によれば、前記フレーム画像データを伝送する第一の伝送体と、前記補助画像データを伝送する第二の伝送体とが同一の通信回線である場合に、前記補助画像データを遅延させる遅延手段を備えることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項２２の記載によれば、前記フレーム画像データを伝送する第一の伝送体と、前記補助画像データを伝送する第二の伝送体とが同一の通信回線である場合に、前記補助画像データをメモリーに保持する保持手段を備えることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる送信装置は、請求項２３の記載によれば、動画像のフレーム画像データを送信装置から伝送部を介して受信装置に伝送するデジタル動画像伝送方法の送信装置において、前記フレーム画像データを送信する第一の送信手段と、前記フレーム画像データから第一の補助画像データを抽出する第一の補助画像抽出手段と、前記フレーム画像データから第二の補助画像データを抽出する第二の補助画像抽出手段と、前記第一の補助画像データを送信する第二の送信手段と、前記第二の補助画像データを送信する第三の送信手段と、を具備することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項２４の記載によれば、動画像のフレーム画像データを送信装置から伝送部を介して受信装置に伝送するデジタル動画像伝送方法の受信装置において、前記送信装置から伝送された前記フレーム画像データを受信する第一の受信手段と、前記送信装置から伝送され、前記フレーム画像データから抽出された第一の補助画像データを受信する第二の受信手段と、前記送信装置から伝送され、前記フレーム画像データから抽出された第二の補助画像データを受信する第三の受信手段と、前記フレーム画像データと前記第一の補助画像データと前記第二の補助画像データとを合成するフレーム画像合成手段と、を具備することを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項２５の記載によれば、前記フレーム画像合成手段は、前記フレーム画像データの欠落の有無を判断するフレーム画像欠落判断部と、前記フレーム画像欠落判断部で欠落があると判断された欠落フレーム画像データと前記欠落フレーム画像データに対応する前記第一の補助画像データと前記欠落フレーム画像データに対応する前記第二の補助画像データとを合成する欠落フレーム画像合成部と、を備えることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項２６の記載によれば、前記フレーム画像合成手段は、前記フレーム画像欠落判断部により欠落がないと判断された無欠落フレーム画像データに対応する前記第一の補助画像データと前記無欠落フレーム画像データに対応する前記第二の補助画像データとを廃棄する補助画像廃棄判断手段を備えることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項２７の記載によれば、前記フレーム画像合成手段は、前記フレーム画像データの欠落の有無を判断するフレーム画像欠落判断部と、前記フレーム画像欠落判断部で欠落があると判断された第一のフレーム画像データの前の第二のフレーム画像データと前記第一のフレーム画像データから抽出された第三の補助画像データと前記第一のフレーム画像データから抽出された第四の補助画像データと前記第二のフレーム画像データから抽出された第五の補助画像データと前記第二のフレーム画像データから抽出された第六の補助画像データとを合成する欠落フレーム画像合成部と、を備えることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項２８の記載によれば、前記フレーム画像合成手段は、前記フレーム画像欠落判断部により欠落がないと判断された第三のフレーム画像データの前の第四のフレーム画像データから抽出された、第七の補助画像データと第八の補助画像データとを廃棄する補助画像廃棄判断手段を備えることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項２９の記載によれば、前記フレーム画像データを伝送する第一の伝送体と、前記第一の補助画像データを伝送する第二の伝送体と、前記第二の補助画像データを伝送する第三の伝送体とが同一の通信回線である場合に、前記第一の補助画像データと前記第二の補助画像データとを遅延させる遅延手段を備えることを特徴とする。
上述の課題を解決し目的を達成するため、この発明に係わる受信装置は、請求項３０の記載によれば、前記フレーム画像データを伝送する第一の伝送体と、前記第一の補助画像データを伝送する第二の伝送体と、前記第二の補助画像データを伝送する第三の伝送体とが同一の通信回線である場合に、前記第一の補助画像データと前記第二の補助画像データとをメモリーに保持する保持手段を備えることを特徴とする。
この発明によれば、動画像伝送に於いて様々な理由で発生する動画像のフリーズや乱れを防止することが可能なデジタル動画像伝送方法及びデジタル動画像伝送装置を提供することができる。
＜第一の実施例＞
以下本発明の第一の実施例を図１乃至図５で説明する。
図１は、本発明の第一の実施例を示す概略構成図であり、動画像を撮影・伝送後、フリーズや欠落のない動画像として再生する原理を示している。図１は、動画像を撮影しフレーム画像データを送出する撮像カメラ１と撮像カメラ１から送出されたフレーム画像データを送信する送信装置２と伝送部３と送信装置２から伝送部３を通して伝送されたフレーム画像データを受信し動画像を出力する受信装置４と受信装置４から出力された動画像を再生する動画像再生部５とから概略構成されている。尚、図中の実線矢印はフレーム画像データが送られる流れを、破線矢印は補助画像データが送られる流れを、一点鎖線は制御信号を示している。
撮像カメラ１は、図示しないＣＣＤ等を利用した撮像部とＡ／Ｄ変換回路とを少なくとも内蔵している。ＣＣＤ等を利用した撮像部により撮像されたアナログ動画像は、Ａ／Ｄ変換回路により、例えば３０枚／秒のデジタル動画像に変換される。この変換されたデジタル動画像の各々１枚ずつがフレーム画像データとして撮像カメラ１より送信装置２に順次送出される。
送信装置２は、フレーム画像送信部２１と補助画像抽出部２２と補助画像送信部２３とから概略構成されている。撮像カメラ１より送出された１枚のフレーム画像データは、フレーム画像送信部２１と補助画像抽出部２２とに同一データが各々送られる。フレーム画像送信部２１に送られたフレーム画像データは、そのまま伝送部３に送信される。また、補助画像抽出部２２に送られたフレーム画像データは２値画像、階調画像、部分画像、輪郭画像などを抽出した補助画像データに変換され、補助画像送信部２３に送られる。２値画像は白と黒の２値で表示される画像、階調画像は白と黒の中間の濃淡も含め多値で表示される画像、部分画像はフレーム画像の一部が表示される画像、輪郭画像はエッジが強調されている画像で、いずれもフレーム画像の中にある各物体の位置や形状情報等を最小限のデータ量で送信するためのデータである。補助画像送信部２３に送られた補助画像データは、伝送部３に送信される。
伝送部３は、フレーム画像伝送体３１と補助画像伝送体３２とから概略構成されている。このフレーム画像伝送体３１と補助画像伝送体３２は、通信衛星や携帯電話等を利用した無線通信回線と、通常電話回線・ＩＳＤＮ・ＤＳＬ・光ファイバ等を利用した有線通信回線とを示しており、これらのどの通信回線であっても利用が可能である。また、このフレーム画像伝送体３１と補助画像伝送体３２で利用される通信プロトコルは、ＴＣＰ／ＩＰを始めとするどのような通信プロトコルでも利用が可能である。フレーム画像送信部２１から送信されたフレーム画像データは、フレーム画像伝送体３１を通して受信装置４に送信される。また、補助画像送信部２３から送信された補助画像データは、補助画像伝送体３２を通して受信装置４に送信される。
受信装置４は、フレーム画像受信部４１と、補助画像受信部４２と、フレーム画像合成部４３と、フレーム画像出力部４４とから概略構成されている。また、フレーム画像合成部４３は、フレーム画像欠落判断部４３ａと欠落フレーム画像合成部４３ｂと補助画像廃棄判断処理部４３ｄとから概略構成されている。フレーム画像伝送体３１を通して送信されたフレーム画像データは、フレーム画像受信部４１により受信され、フレーム画像合成部４３に送られる。また、補助画像伝送体３２を通して送信された補助画像データは、補助画像受信部４２により受信され、フレーム画像合成部４３に送られる。
フレーム画像合成部４３に送られたフレーム画像データは、フレーム画像欠落判断部４３ａに送られてフレーム画像データの一部又は全部に欠落がないかの判断が行われる。フレーム画像欠落判断部４３ａで欠落がないと判断されたフレーム画像データは、そのままフレーム画像出力部４４に送られ、欠落があると判断されたフレーム画像データは、欠落フレーム画像合成部４３ｂに送られる。また、フレーム画像合成部４３に送られた補助画像データは、補助画像廃棄判断処理部４３ｄに送られる。フレーム画像欠落判断部４３ａで欠落がないと判断されたフレーム画像データに対応する補助画像データは、フレーム画像欠落判断部４３ａから送出される欠陥フレーム信号により補助画像廃棄判断処理部４３ｄで廃棄するデータとして判断され、廃棄処理される。また、欠落があると判断されたフレーム画像データに対応する補助画像データは、欠陥フレーム信号により補助画像廃棄判断処理部４３ｄで廃棄しないデータとして判断され、欠落フレーム画像合成部４３ｂに送られる。欠落フレーム画像合成部４３ｂに送られたフレーム画像データは、補助画像データと合成され、欠落を修正したフレーム画像データとしてフレーム画像出力部４４に送られる。フレーム画像出力部４４に送られたフレーム画像データは、動画像再生部５に出力される。
動画像再生部５は、図示しないＤ／Ａ変換回路とブラウン管等を利用した表示部とを少なくとも内蔵している。フレーム画像出力部４４から出力されたフレーム画像データは、順次動画像再生部５に内蔵されるＤ／Ａ変換回路に送られ、例えば３０枚／秒のアナログ動画像に変換され表示部で再生される。
図２は、本発明の第一の実施例の動作を示す概念図であり、一部又は全部が欠落したフレーム画像データの修正の詳細を示している。図２において、撮像カメラ１から送出された１からｎ＋１番目までのフレーム画像データと、１からｎ＋１番目までのフレーム画像データから補助画像抽出部２２により抽出された、各々のフレーム画像データに対応する１からＮ＋１番目までの補助画像データとが送信装置２から送信される。
送信装置２からフレーム画像データと補助画像データとが伝送部３を通して平行に送信される。この場合、補助画像伝送体３２を通して伝送される補助画像データの伝送速度は、フレーム画像伝送体３１を通して伝送されるフレーム画像データの伝送速度と比較して低くても良いが、補助画像データの伝送時間は、フレーム画像データの伝送時間よりも短時間で、伝送データの欠落が起きにくい通信回線・通信プロトコル等を用いることが重要である。
伝送部３を通して送信され、受信装置４で受信されたフレーム画像データと補助画像データは、受信装置４内のフレーム画像合成部４３に送られる。フレーム画像合成部４３内のフレーム画像欠落判断部４３ａでｎ＋１番目のフレーム画像データに欠落を検出した時には、欠落を検出しなかったｎ番目のフレーム画像データと、ｎ番目のフレーム画像データに対応するＮ番目の補助画像データと、欠落したｎ＋１番目のフレーム画像データに対応するＮ＋１番目の補助画像データとが、フレーム画像合成部４３内の欠落フレーム画像合成部４３ｂに送られる。
欠落フレーム画像合成部４３ｂでは、ｎ番目のフレーム画像データからＮ番目の補助画像データに対応する物体の画像を切り出し、Ｎ＋１番目の補助画像データを利用して該物体の画像の変形等を行うことによりｎ＋１番目のフレーム画像データを合成する。
フレーム画像合成部４３に送られ、フレーム画像欠落判断部４３ａで欠落が検出されなかった１からｎ番目のフレーム画像データと、フレーム画像欠落判断部４３ａで欠落が検出され、欠落フレーム画像合成部４３ｂで新たに合成されたｎ＋１番目のフレーム画像データは、フレーム画像出力部４４に送られて動画像再生部５に送出後、動画像再生部５で動画像が再構成され表示部で再生される。
上記の、フレーム画像合成部４３での欠落したｎ＋１番目のフレーム画像データの合成処理と平行して、補助画像廃棄判断処理部４３ｄでは、ｎ＋１番目のフレーム画像データの合成処理に使用しなかった１からＮ−１番目の補助画像データの廃棄処理が行われる。
図３は第一の実施例のフローチャートである。撮像カメラ１により動画像が撮影される（Ｓ１０１）。撮影された動画像のフレームが送信され、伝送され、受信される（Ｓ１０２）。次に、受信されたフレーム画像に欠落があるか否かの判断がなされる（Ｓ１０３）。フレーム画像に欠落がある場合とない場合とでフレーム画像の処置が異なる（Ｓ１０４）。すなわち、フレーム画像に欠落がある場合は、欠落したフレーム画像の前の正常フレーム画像が抽出され（Ｓ１０５）、フレーム画像に欠落がない場合は、動画像再生部へ送出される（Ｓ１１４）。一方、個々のフレーム画像から補助画像が抽出される（Ｓ１０６）。抽出された補助画像は送信され、伝送され、受信される（Ｓ１０７）。受信された補助画像については、フレーム画像の欠落の判断結果に従い補助画像の廃棄の判断がなされる（Ｓ１０８）。フレーム画像に欠落がある場合、補助画像は廃棄されず、フレーム画像に欠落がない場合、補助画像は廃棄される（Ｓ１０９）。補助画像が廃棄される場合、正常フレーム画像の１画像前の補助画像が廃棄される（Ｓ１１０）。補助画像が廃棄されない場合、欠落フレーム画像に対応する補助画像と、欠落フレーム画像の前の正常フレーム画像に対応する補助画像の２枚の補助画像が抽出される（Ｓ１１１）。抽出された欠落フレーム画像の前の正常フレーム画像と抽出された２枚の補助画像で欠落フレーム画像が合成される（Ｓ１１２）。合成されたフレーム画像は欠落のない修正されたフレーム画像となる。（Ｓ１１３）。欠落のない修正されたフレーム画像は動画像再生部５へ送出される（Ｓ１１４）。
図４は、本発明の第一の実施例の適用場面を示す概念図であり、衛星通信と地上波無線通信の特徴を生かして、動画像のフリーズや欠落を防止する方法を示している。図４においては、フレーム画像伝送体３１に静止衛星や準天頂衛星等の通信衛星による衛星通信を、補助画像伝送体３２に携帯電話・ＰＨＳ等の地上波無線通信を用いている。
一般に、衛星通信は、単位時間あたりのデータ転送量が大きいので、データ量が大きいフレーム画像データの伝送に適しているが、見通しでの通信が原則であるために動画像のフリーズや欠落が起きやすい。具体的には、救急車両等の移動車両から通信衛星を利用してフレーム画像データを伝送する場合、木立・建物などの障害物・遮蔽物等によりブロッキングやシャドウィングが発生し、一時的な通信の途絶による動画像のフリーズや欠落が起きやすい。
一方、一般的に使用されている携帯電話・ＰＨＳ等の地上波無線通信は、単位時間あたりのデータ転送量は小さいものの、衛星通信に比べて通信の連続性や瞬断後の回線復帰に優れているので、データの欠落がないように確実に伝送する必要がある補助画像データの伝送に適している。
また、地上波無線通信は衛星通信に比べて伝送距離が短いため、地上波無線通信に要する時間は衛星通信に要する時間より時間差０．２５秒程度の短い時間で伝送することができる。したがって、この時間差を欠落したフレーム画像データの合成処理時間とすることができるので、より確実な動画像のフリーズや欠落の防止が可能となる。
以下に、図４により、衛星通信の特徴と地上波無線通信の特徴とを利用した、動画像のフリーズ防止や欠落防止の方法を具体的に説明する。
フレーム画像データの伝送に衛星通信を利用し、補助画像データの伝送に地上波無線通信を利用して動画像伝送を行うことにより、衛星通信がブロッキングやシャドウィングなどにより一時的に途絶えてフレーム画像データが欠落した場合に、地上波無線通信で伝送された補助画像データにより、欠落したフレーム画像データを合成することができるので、動画像のフリーズや欠落を防止することができる。すなわち、図１の概略構成図と図２の動作を示す概念図で説明した、すでに送られているフレーム画像データと補助画像データをもとにフレーム画像合成を行い、合成したフレーム画像データを欠落したフレーム画像データに置き換える方法によりフリーズや欠落のない動画像をリアルタイムに再生することが可能となる。
具体的には衛星通信で送られてきたｎ＋１番目のフレーム画像データに欠陥がある場合、地上波無線通信で送られてきたＮ番目とＮ＋１番目の補助画像データと衛星通信で送られてきた欠陥のないｎ番目のフレーム画像データとを合成することによりｎ＋１番目の合成フレーム画像データが得られる。
また、地上波無線通信に要する時間と衛星通信に要する時間との時間差を利用し、フレーム画像合成をその時間差内で行うことにより、フリーズや欠落のない動画像であることはもちろん、よりスムーズな動画像の再生が可能となる。また、これにより、より条件が難しい、移動車両から通信衛星を利用した動画像の伝送であっても、フリーズや欠落がなく、かつリアルタイムでスムーズな動画像の再生が可能となる。
図５は、本発明の第一の実施例の別の適用場面を示す概念図であり、インターネットを利用したリアルタイム性の高い動画像伝送をおこなう方法を示している。図５においては、フレーム画像伝送体３１と、補助画像伝送体３２ともインターネットを用いている。
最近のインターネットは高速大容量のデータ通信を行うことはできるが、インターネットを流れる非常に多くのパケットによる輻輳等や地域による通信回線の質により、通信スループットの大きな変動や動画像パケットデータの欠落が発生することがある。このような場合、インターネットの通信プロトコルは、パケット受信側で欠落パケットデータの再送要求を行うと共に、その再送要求に基づき再送された欠落パケットデータの受信を待って動画像を再生する。また、受信した欠落パケットデータを元の動画像に挿入する等の処理にも時間がかかる上、その処理には大容量のメモリーや高速のＣＰＵが必要である。これらのため、インターネットを利用したストリーミング配信等の動画像伝送では、スムーズな動画像の再生が難しく、また、動画像伝送のリアルタイム性が失われることになる。
以下に、図５により、インターネットを利用した、ストリーミング配信等の動画像のフリーズ防止や欠落防止の方法を具体的に説明する。
フレーム画像データを分解した複数のパッケトデータと、補助画像データを分解した複数のパケットデータとを順次インターネットを介して送出し、受信確認が取れないパケットデータは、パケット受信側で欠落パケットデータの再送要求を行うと共に、その再送要求に基づき再送された欠落パケットデータの受信を待って、フレーム画像データと補助画像データとを受信する。この際のフレーム画像データのパッケトデータの個数は、補助画像データのパケットデータの個数よりも多く、また、受信確認が取れないパケットデータの確率は一緒であるため、補助画像データは、フレーム画像データより確実に受信することができる。この特徴により、第一乃至第三の実施例で説明した、すでに送られているフレーム画像データと補助画像データをもとにフレーム画像合成を行い、合成したフレーム画像データを欠落したフレーム画像データに置き換えることができるので、インターネットを利用したストリーミング配信等の動画像のフリーズや欠落を防止し、リアルタイムに動画像を再生することが可能となる。
具体的にはインターネットで送られてきたｎ＋１番目のフレーム画像データに欠陥がある場合、同様にインターネットで送られてきたＮ番目とＮ＋１番目の補助画像データとインターネットで送られてきた欠陥のないｎ番目のフレーム画像データとを合成することによりｎ＋１番目の合成フレーム画像データが得られる。
以上説明したように、本実施例ではフレーム画像と補助画像の伝送を商用放送・遠隔医療現場やインターネットを利用することにより、様々な理由で発生する動画像のフリーズや乱れを防止し、動画像の視認性を向上するデジタル動画像伝送方法ができる。
＜第二の実施例＞
次に、本発明の第二の実施例を図６乃至図１０で説明する。図６は、本発明の第二の実施例を示す概略構成図であり、動画像を撮影・伝送後、フリーズや欠落のない動画像として再生する原理を示している。図６は、動画像を撮影しフレーム画像データを送出する撮像カメラ１と撮像カメラ１から送出されたフレーム画像データを送信する送信装置２と伝送部３と送信装置２から伝送部３を通して伝送されたフレーム画像データを受信し動画像を出力する受信装置４と受信装置４から出力された動画像を再生する動画像再生部５とから概略構成されている。尚、図中の実線矢印はフレーム画像データが送られる流れを、破線矢印は補助画像データが送られる流れを、一点鎖線は制御信号を示している。
送信装置２は、フレーム画像送信部２１と補助画像抽出部２２ａと補助画像送信部２３ａと補助画像抽出部２２ｂと補助画像送信部２３ｂとから概略構成されている。撮像カメラ１より送出された１枚のフレーム画像データは、フレーム画像送信部２１と補助画像抽出部２２ａと補助画像抽出部２２ｂとに同一データが各々送られる。フレーム画像送信部２１に送られたフレーム画像データは、そのまま伝送部３に送信される。また、補助画像抽出部２２ａ、補助画像抽出部２２ｂに送られたフレーム画像データは輪郭画像、２値画像、階調画像、部分画像などを抽出した補助画像データに変換され、それぞれ補助画像送信部２３ａ、補助画像送信部２３ｂに送られる。輪郭画像はエッジが強調された画像、２値画像は白と黒の２値で表示される画像、階調画像は白と黒の中間の濃淡も含め多値で表示される画像、部分画像はフレーム画像の一部が表示される画像で、いずれもフレーム画像の中にある各物体の位置や形状情報等を最小限のデータ量で送信するためのデータである。補助画像送信部２３ａ及び補助画像送信部２３ｂに送られた補助画像データは、伝送部３に送出される。
伝送部３は、フレーム画像伝送体３１と補助画像伝送体３２ａと補助画像伝送体３２ｂとから概略構成されている。このフレーム画像伝送体３１と補助画像伝送体３２ａと補助画像伝送体３２ｂは、通信衛星や携帯電話等を利用した無線通信回線と、通常電話回線・ＩＳＤＮ・ＤＳＬ・光ファイバ等を利用した有線通信回線とを示しており、これらのどの通信回線であっても利用が可能である。また、このフレーム画像伝送体３１と補助画像伝送体３２ａと補助画像伝送体３２ｂで利用される通信プロトコルは、ＴＣＰ／ＩＰを始めとするどのような通信プロトコルでも利用が可能である。フレーム画像送信部２１から送信されたフレーム画像データは、フレーム画像伝送体３１を通して受信装置４に送信される。また、補助画像送信部２３ａから送信された補助画像データは、補助画像伝送体３２ａを通して受信装置４に送信される。補助画像送信部２３ｂから送信された補助画像データは、補助画像伝送体３２ｂを通して受信装置４に送信される。
受信装置４は、フレーム画像受信部４１と、補助画像受信部４２ａと、補助画像受信部４２ｂと、フレーム画像合成部４３と、フレーム画像出力部４４とから概略構成されている。また、フレーム画像合成部４３は、フレーム画像欠落判断部４３ａと欠落フレーム画像合成部４３ｂと補助画像廃棄判断処理部４３ｄとから概略構成されている。フレーム画像伝送体３１を通して送信されたフレーム画像データは、フレーム画像受信部４１により受信され、フレーム画像合成部４３に送られる。また、補助画像伝送体３２ａを通して送信された補助画像データは、補助画像受信部４２ａにより受信され、フレーム画像合成部４３に送られる。さらに補助画像伝送体３２ｂを通して送信された補助画像データは、補助画像受信部４２ｂにより受信され、フレーム画像合成部４３に送られる。
フレーム画像合成部４３に送られたフレーム画像データは、フレーム画像欠落判断部４３ａに送られてフレーム画像データの一部又は全部に欠落がないかの判断が行われる。フレーム画像欠落判断部４３ａで欠落がないと判断されたフレーム画像データは、そのままフレーム画像出力部４４に送られ、欠落があると判断されたフレーム画像データは、欠落フレーム画像合成部４３ｂに送られる。また、フレーム画像合成部４３に送られた補助画像データは、補助画像廃棄判断処理部４３ｄに送られる。フレーム画像欠落判断部４３ａで欠落がないと判断されたフレーム画像データに対応する補助画像データは、フレーム画像欠落判断部４３ａから送出される欠陥フレーム信号により補助画像廃棄判断処理部４３ｄで廃棄するデータとして判断され、廃棄処理される。また、欠落があると判断されたフレーム画像データに対応する補助画像データは、欠陥フレーム信号により補助画像廃棄判断処理部４３ｄで廃棄しないデータとして判断され、欠落フレーム画像合成部４３ｂに送られる。欠落フレーム画像合成部４３ｂに送られたフレーム画像データは、補助画像データと合成され、欠落を修正したフレーム画像データとしてフレーム画像出力部４４に送られる。フレーム画像出力部４４に送られたフレーム画像データは、動画像再生部５に出力される。
図７は、本発明の第二の実施例の動作を示す概念図であり、一部又は全部が欠落したフレーム画像データの修正の詳細を示している。図７において、撮像カメラ１から送出された１からｎ＋１番目までのフレーム画像データと、１からｎ＋１番目までのフレーム画像データから補助画像抽出部２２ａにより抽出された、各々のフレーム画像データに対応する１からＮ＋１番目までの補助画像データと、各々のフレーム画像データに対応する１からＭ＋１番目までの補助画像データとが送信装置２から送信される。
送信装置２からフレーム画像データと補助画像データが伝送部３を通して平行に送信される。この場合、補助画像伝送体３２ａを通して伝送される補助画像データ及び補助画像伝送体３２ｂを通して伝送される補助画像データの伝送速度は、フレーム画像伝送体３１を通して伝送されるフレーム画像データの伝送速度と比較して低くても良いが、補助画像データの伝送時間は、フレーム画像データの伝送時間よりも短時間で、伝送データの欠落が起きにくい通信回線・通信プロトコル等を用いることが重要である。
伝送部３を通して送信され、受信装置４で受信されたフレーム画像データと補助画像データは、受信装置４内のフレーム画像合成部４３に送られる。フレーム画像合成部４３内のフレーム画像欠落判断部４３ａでｎ＋１番目のフレーム画像データに欠落を検出した時には、欠落を検出しなかったｎ番目のフレーム画像データと、ｎ番目のフレーム画像データに対応するＮ番目の補助画像データとＭ番目の補助画像データと、欠落したｎ＋１番目のフレーム画像データに対応するＮ＋１番目の補助画像データとＭ＋１番目の補助画像データとがフレーム画像合成部４３内の欠落フレーム画像合成部４３ｂに送られる。
欠落フレーム画像合成部４３ｂでは、ｎ番目のフレーム画像データからＮ番目の補助画像データに対応する物体の画像を切り出し、Ｎ＋１番目の補助画像データを利用して該物体の画像の変形等を行うことにより得られる画像と、Ｍ番目の補助画像データに対応する物体の画像を切り出し、Ｍ＋１番目の補助画像データを利用して該物体の画像の変形等を行うことにより得られる画像とを合成してｎ＋１番目のフレーム画像データを作成する。
フレーム画像合成部４３に送られ、フレーム画像欠落判断部４３ａで欠落が検出されなかった１からｎ番目のフレーム画像データと、フレーム画像欠落判断部４３ａで欠落が検出され、欠落フレーム画像合成部４３ｂで新たに合成されたｎ＋１番目のフレーム画像データは、フレーム画像出力部４４に送られて動画像再生部５に送出後、動画像再生部５で動画像が再構成され表示部で再生される。
上記の、フレーム画像合成部４３での欠落したｎ＋１番目のフレーム画像データの合成処理と平行して、補助画像廃棄判断処理部４３ｄでは、ｎ＋１番目のフレーム画像データの合成処理に使用しなかった１からＮ−１番目の補助画像データＡと１からＭ−１番目の補助画像データＢの廃棄処理が行われる。
図８は第二の実施例のフローチャートである。撮像カメラ１により動画像が撮影される（Ｓ２０１）。撮影された動画像のフレームが送信され、伝送され、受信される（Ｓ２０２）。次に、受信されたフレーム画像に欠落があるか否かの判断がなされる（Ｓ２０３）。フレーム画像に欠落がある場合とない場合とでフレーム画像の処置が異なる（Ｓ２０４）。すなわち、フレーム画像に欠落がある場合、欠落したフレーム画像の前の正常フレーム画像が抽出される（Ｓ２０５）。すなわち、フレーム画像に欠落がある場合は、欠落したフレーム画像の前の正常フレーム画像が抽出され（Ｓ２０５）、フレーム画像に欠落がない場合は、動画像再生部へ送出される（Ｓ２１９）。一方、個々のフレーム画像から補助画像が抽出される（Ｓ２０６）。抽出された補助画像は送信され、伝送され、受信される（Ｓ２０７）。受信された補助画像については、フレーム画像の欠落の判断結果に従い補助画像の廃棄の判断がなされる（Ｓ２０８）。フレーム画像に欠落がある場合、補助画像は廃棄されず、フレーム画像に欠落がない場合、補助画像は廃棄される（Ｓ２０９）。補助画像が廃棄される場合、正常フレーム画像の１画像前の補助画像が廃棄される（Ｓ２１０）。補助画像が廃棄されない場合、欠落フレーム画像に対応する補助画像と、欠落フレーム画像の前の正常フレーム画像に対応する補助画像の２枚の補助画像が抽出される（Ｓ２１１）。また、個々のフレーム画像からさらに別の補助画像が抽出される（Ｓ２１２）。抽出された補助画像は送信され、伝送され、受信される（Ｓ２１３）。受信された補助画像については、フレーム画像の欠落の判断結果に従い補助画像の廃棄の判断がなされる（Ｓ２１４）。フレーム画像に欠落がある場合、補助画像は廃棄されず、フレーム画像に欠落がない場合、補助画像は廃棄される（Ｓ２１５）。補助画像が廃棄される場合、正常フレーム画像の１画像前の補助画像が廃棄される（Ｓ２１０）。補助画像が廃棄されない場合、欠落フレーム画像に対応する補助画像と、欠落フレーム画像の前の正常フレーム画像に対応する補助画像の２枚の補助画像が抽出される（Ｓ２１６）。抽出された欠落フレーム画像の前の正常フレーム画像とＳ２１１で抽出された２枚の補助画像とＳ２１６で抽出された２枚のさらに別の補助画像で欠落フレーム画像が合成される（Ｓ２１７）。合成されたフレーム画像は欠落のない修正されたフレーム画像となる。（Ｓ２１８）。欠落のない修正されたフレーム画像は動画像再生部５へ送出される（Ｓ２１９）。
図９は、本発明の第二の実施例の適用場面を示す概念図であり、衛星通信と地上波無線通信の特徴を生かして、動画像のフリーズや欠落を防止する方法を示している。図９においては、フレーム画像伝送体３１に静止衛星や準天頂衛星等の通信衛星による衛星通信を、補助画像伝送体３２ａ、補助画像伝送体３２ｂに携帯電話・ＰＨＳ等の地上波無線通信を用いている。
衛星通信で送られてきたｎ＋１番目のフレーム画像データに欠陥がある場合、地上波無線通信で送られてきたＮ番目とＮ＋１番目の補助画像データとＭ番目とＭ＋１番目の補助画像データと衛星通信で送られてきた欠陥のないｎ番目のフレーム画像データとを合成することによりｎ＋１番目の合成フレーム画像データが得られる。
図１０は、本発明の第二の実施例の別の適用場面を示す概念図であり、インターネットを利用したリアルタイム性の高い動画像伝送をおこなう方法を示している。図１０においては、フレーム画像伝送体３１と、補助画像伝送体３２ａ、補助画像伝送体３２ｂともインターネットを用いている。
インターネットで送られてきたｎ＋１番目のフレーム画像データに欠陥がある場合、同様にインターネットで送られてきたＮ番目とＮ＋１番目の補助画像データとＭ番目とＭ＋１番目の補助画像データとインターネットで送られてきた欠陥のないｎ番目のフレーム画像データとを合成することによりｎ＋１番目の合成フレーム画像データが得られる。
以上説明したように、本実施例ではフレーム画像と２種類の補助画像の伝送を商用放送・遠隔医療現場やインターネットを利用することにより、様々な理由で発生する動画像のフリーズや乱れを防止し、動画像の視認性を向上するデジタル動画像伝送方法ができる。
＜第三の実施例＞
次に、本発明の第三の実施例を図1１乃至図１５で説明する。図１１は、本発明の第三の実施例を示す概略構成図であり、動画像を撮影・伝送後、フリーズや欠落のない動画像として再生する原理を示している。図１１は、動画像を撮影しフレーム画像データを送出する撮像カメラ１と撮像カメラ１から送出されたフレーム画像データを送信する送信装置２と伝送部３と送信装置２から伝送部３を通して伝送されたフレーム画像データを受信し動画像を出力する受信装置４と受信装置４から出力された動画像を再生する動画像再生部５とから概略構成されている。尚、図中の実線矢印はフレーム画像データが送られる流れを、破線矢印は補助画像データが送られる流れを、一点鎖線は制御信号を示している。
送信装置２は、フレーム画像送信部２１と補助画像抽出部２２ａと補助画像送信部２３ａと補助画像抽出部２２ｂと補助画像送信部２３ｂとから概略構成されている。撮像カメラ１より送出された１枚のフレーム画像データは、フレーム画像送信部２１と補助画像抽出部２２ａと補助画像抽出部２２ｂとに同一データが各々送られる。フレーム画像送信部２１に送られたフレーム画像データは、そのまま伝送部３に送信される。また、補助画像抽出部２２ａ、補助画像抽出部２２ｂに送られたフレーム画像データは輪郭画像、２値画像、階調画像、部分画像などを抽出した補助画像データに変換され、それぞれ補助画像送信部２３ａ、補助画像送信部２３ｂに送られる。輪郭画像はエッジが強調された画像、２値画像は白と黒の２値で表示される画像、階調画像は白と黒の中間の濃淡も含め多値で表示される画像、部分画像はフレーム画像の一部が表示される画像で、いずれもフレーム画像の中にある各物体の位置や形状情報等を最小限のデータ量で送信するためのデータである。補助画像送信部２３ａ及び補助画像送信部２３ｂに送られた補助画像データは、伝送部３に送信される。
伝送部３は、フレーム画像伝送体３１と補助画像伝送体３２ａと補助画像伝送体３２ｂとから概略構成されている。この伝送部３は、通信衛星や携帯電話等を利用した無線通信回線と、通常電話回線・ＩＳＤＮ・ＤＳＬ・光ファイバ等を利用した有線通信回線とを示しており、これらのどの通信回線であっても利用が可能である。また、この伝送部３で利用される通信プロトコルは、ＴＣＰ／ＩＰを始めとするどのような通信プロトコルでも利用が可能である。フレーム画像送信部２１から送信されたフレーム画像データは、フレーム画像伝送体３１を通して受信装置４に送信される。また、補助画像送信部２３ａから送信された補助画像データＡは、補助画像伝送体３２ａを通して受信装置４に送信される。補助画像送信部２３ｂから送信された補助画像データＢは、補助画像伝送体３２ｂを通して受信装置４に送信される。
受信装置４は、フレーム画像受信部４１と、補助画像受信部４２ａと、補助画像受信部４２ｂと、フレーム画像合成部４３と、フレーム画像出力部４４とから概略構成されている。また、フレーム画像合成部４３は、フレーム画像欠落判断部４３ａと欠落フレーム画像合成部４３ｂと補助画像処理部４３ｃと補助画像廃棄判断処理部４３ｄとから概略構成されている。フレーム画像伝送体３１を通して送信されたフレーム画像データは、フレーム画像受信部４１により受信され、フレーム画像合成部４３に送られる。また、補助画像伝送体３２ａを通して送信された補助画像データＡは、補助画像受信部４２ａにより受信され、フレーム画像合成部４３に送られる。さらに補助画像伝送体３２ｂを通して送信された補助画像データＢは、補助画像受信部４２ｂにより受信され、フレーム画像合成部４３に送られる。
フレーム画像合成部４３に送られたフレーム画像データは、フレーム画像欠落判断部４３ａに送られてフレーム画像データの一部又は全部に欠落がないかの判断が行われる。フレーム画像欠落判断部４３ａで欠落がないと判断されたフレーム画像データは、そのままフレーム画像出力部４４に送られ、欠落があると判断されたフレーム画像データは、欠落フレーム画像合成部４３ｂに送られる。また、フレーム画像合成部４３に送られた補助画像データＡ及び補助画像データＢはまず補助画像廃棄判断処理部４３ｄに送られる。フレーム画像欠落判断部４３ａで欠落がないと判断されたフレーム画像データに対応する補助画像データＡ及び補助画像データＢは、フレーム画像欠落判断部４３ａから送出される欠陥フレーム信号により補助画像廃棄判断処理部４３ｄで廃棄するデータとして判断され、廃棄処理される。また、欠落があると判断されたフレーム画像データに対応する補助画像データは、欠陥フレーム信号により補助画像廃棄判断処理部４３ｄで廃棄しないデータとして判断され、補助画像処理部４３ｃへ送付される。補助画像処理部４３ｃで処理された補助画像データＡ及び補助画像データは最終補助データとして欠落フレーム画像合成部４３ｂに送られる。欠落フレーム画像合成部４３ｂに送られたフレーム画像データは、最終補助データと合成され、欠落を修正したフレーム画像データとしてフレーム画像出力部４４に送られる。フレーム画像出力部４４に送られたフレーム画像データは、動画像再生部５に出力される。
図１２は、本発明の第三の実施例の動作を示す概念図であり、一部又は全部が欠落したフレーム画像データを修正する動作の詳細を示している。図１２において、撮像カメラ１から送出された１からｎ＋１番目までのフレーム画像データと、１からｎ＋１番目までのフレーム画像データから補助画像抽出部２２ａにより抽出された、各々のフレーム画像データに対応する１からＮ＋１番目までの補助画像データＡと、各々のフレーム画像データに対応する１からＭ＋１番目までの補助画像データＢとが送信装置２から送信される。
送信装置２からフレーム画像データと補助画像データＡと補助画像データＢが伝送部３を通して平行に送信される。この場合、補助画像伝送体３２ａを通して伝送される補助画像データ及び補助画像伝送体３２ｂを通して伝送される補助画像データの伝送速度は、フレーム画像伝送体３１を通して伝送されるフレーム画像データの伝送速度と比較して低くても良いが、補助画像データの伝送時間は、フレーム画像データの伝送時間よりも短時間で、伝送データの欠落が起きにくい通信回線・通信プロトコル等を用いることが要件である。
伝送部３を通して送信され、受信装置４で受信されたフレーム画像データと補助画像データは、受信装置４内のフレーム画像合成部４３に送られる。フレーム画像合成部４３内のフレーム画像欠落判断部４３ａでｎ＋１番目のフレーム画像データに欠落を検出した時には、ｎ番目のフレーム画像データに対応するＮ番目の補助画像データとＭ番目の補助画像データと、欠落したｎ＋１番目のフレーム画像データに対応するＮ＋１番目の補助画像データとＭ＋１番目の補助画像データが補助画像処理部４３ｃに送出される。補助画像処理部４３ｃでは、Ｎ番目の補助画像データとＭ番目の補助画像データを選択或は合成し最終補助画像データＸを、Ｎ＋１番目の補助画像データとＭ＋１番目の補助画像データを選択或は合成し最終補助画像データＹを作成する。作成された最終補助画像データＸと最終補助画像データＹは欠落フレーム画像合成部４３ｂへ送出される。さらに欠落を検出しなかったｎ番目のフレーム画像データもフレーム画像合成部４３内の欠落フレーム画像合成部４３ｂに送られる。
Ｎ番目の補助画像データとＭ番目の補助画像データの選択とは、Ｎ番目の補助画像データとＭ番目の補助画像が同じ画像、即ち両画像とも輪郭画、２値画像、階調画像又は部分画像などの場合で、Ｎ番目の補助画像データとＭ番目の補助画像いずれか品質の良好な方を選択して最終補助画像データＸとするものである。一方、Ｎ番目の補助画像データとＭ番目の補助画像データの合成とはＮ番目の補助画像データとＭ番目の補助画像が異なる画像、即ち一方が輪郭画像で他方が２値画像のような場合で、両画像を合成し最終補助画像データＸとするものである。
欠落フレーム画像合成部４３ｂでは、ｎ番目のフレーム画像データから最終補助画像データＸに対応する物体の画像を切り出し、最終補助画像データＹを利用して該物体の画像の変形等を行うことにより得られる画像とを合成してｎ＋１番目のフレーム画像データを作成する。
フレーム画像合成部４３に送られ、フレーム画像欠落判断部４３ａで欠落が検出されなかった１からｎ番目のフレーム画像データと、フレーム画像欠落判断部４３ａで欠落が検出され、欠落フレーム画像合成部４３ｂで新たに合成されたｎ＋１番目のフレーム画像データは、フレーム画像出力部４４に送られて動画像再生部５に出力後、動画像再生部５で動画像が再構成され表示部で再生される。
上記の、フレーム画像合成部４３での欠落したｎ＋１番目のフレーム画像データの合成処理と平行して、補助画像廃棄判断処理部４３ｄでは、ｎ＋１番目のフレーム画像データの合成処理に使用しなかった１からＮ−１番目の補助画像データＡと１からＭ−１番目の補助画像データＢの廃棄処理が行われる。
図１３は第三の実施例のフローチャートである。撮像カメラ１により動画像が撮影される（Ｓ３０１）。撮影された動画像のフレームが送信され、伝送され、受信される（Ｓ３０２）。次に、受信されたフレーム画像に欠落があるか否かの判断がなされる（Ｓ３０３）。フレーム画像に欠落がある場合とない場合とでフレーム画像の処置が異なる（Ｓ３０４）。すなわち、フレーム画像に欠落がある場合は、欠落したフレーム画像の前の正常フレーム画像が抽出され（Ｓ３０５）、フレーム画像に欠落がない場合は、動画像再生部へ送出される（Ｓ３２０）。一方、個々のフレーム画像から補助画像が抽出される（Ｓ３０６）。抽出された補助画像は送信され、伝送され、受信される（Ｓ３０７）。受信された補助画像については、フレーム画像の欠落の判断結果に従い補助画像の廃棄の判断がなされる（Ｓ３０８）。フレーム画像に欠落がある場合、補助画像は廃棄されず、フレーム画像に欠落がない場合、補助画像は廃棄される（Ｓ３０９）。補助画像が廃棄される場合、正常フレーム画像の１画像前の補助画像が廃棄される（Ｓ３１０）。補助画像が廃棄されない場合、欠落フレーム画像に対応する補助画像と、欠落フレーム画像の前の正常フレーム画像に対応する補助画像の２枚の補助画像が抽出される（Ｓ３１１）。また、個々のフレーム画像からさらに別の補助画像が抽出される（Ｓ３１２）。抽出された補助画像は送信され、伝送され、受信される（Ｓ３１３）。受信された補助画像については、フレーム画像の欠落の判断結果に従い補助画像の廃棄の判断がなされる（Ｓ３１４）。フレーム画像に欠落がある場合、補助画像は廃棄されず、フレーム画像に欠落がない場合、補助画像は廃棄される（Ｓ３１５）。補助画像が廃棄される場合、正常フレーム画像の１画像前の補助画像が廃棄される（Ｓ３１０）。補助画像が廃棄されない場合、欠落フレーム画像に対応する補助画像と、欠落フレーム画像の前の正常フレーム画像に対応する補助画像の２枚の補助画像が抽出される（Ｓ３１６）。Ｓ３１１で抽出された２枚の補助画像とＳ３１６で抽出された２枚のさらに別の補助画像とで最終補助画像が作成される（Ｓ３１７）。抽出された欠落フレーム画像の前の正常フレーム画像と最終作成画像から欠落フレーム画像が合成される（Ｓ３１８）。合成されたフレーム画像は欠落のない修正されたフレーム画像となる（Ｓ３１９）。欠落のない修正された正常フレーム画像は動画像再生部５へ送出される（Ｓ３２０）。
図１４は、本発明の第三の実施例の適用場面を示す概念図であり、衛星通信と地上波無線通信の特徴を生かして、動画像のフリーズや欠落を防止する方法を示している。図１４においては、フレーム画像伝送体３１に静止衛星や準天頂衛星等の通信衛星による衛星通信を、補助画像伝送体３２ａ、補助画像伝送体３２ｂに携帯電話・ＰＨＳ等の地上波無線通信を用いている。
衛星通信で送られてきたｎ＋１番目のフレーム画像データに欠陥がある場合、地上波無線通信で送られてきたＮ番目とＭ番目の補助画像データから最終補助画像データＸを、Ｎ＋１番目とＭ＋１番目の補助画像データから最終補助画像データＹを作成し、最終補助画像データＸと最終補助画像データＹと衛星通信で送られてきた欠陥のないｎ番目のフレーム画像データとを合成することによりｎ＋１番目の合成フレーム画像データが得られる。
図１５は、本発明の第三の実施例の別の適用場面を示す概念図であり、インターネットを利用したリアルタイム性の高い動画像伝送をおこなう方法を示している。図１５においては、フレーム画像伝送体３１と、補助画像伝送体３２ａ、補助画像伝送体３２ｂともインターネットを用いている。
インターネットで送られてきたｎ＋１番目のフレーム画像データに欠陥がある場合、同様にインターネットで送られてきたＮ番目とＭ番目の補助画像データから最終補助画像データＸを、Ｎ＋１番目とＭ＋１番目の補助画像データから最終補助画像データＹを作成し、最終補助画像データＸと最終補助画像データＹとインターネットで送られてきた欠陥のないｎ番目のフレーム画像データとを合成することによりｎ＋１番目の合成フレーム画像データが得られる。
以上説明したように、本実施例ではフレーム画像と２種類の補助画像の伝送を商用放送・遠隔医療現場やインターネットを利用することにより、様々な理由で発生する動画像のフリーズや乱れを防止し、動画像の視認性を向上するデジタル動画像伝送方法ができる。
＜変形例＞
上記の実施例では２個の補助画像の場合について述べたが、補助画像が３個以上の場合も含まれることは言うまでもない。
上記の実施例では撮像カメラからの画像の場合につき説明したが、この他ＤＶＤ、ＣＤ、ハードディスク、ビデオテープなどの記録媒体からの画像も含まれることは言うまでもない。
上記の実施例の概略構成図では、フリーズや欠落のない動画像を伝送し再生することができるが、本発明はこの構成に限定されるものではなく、その他の構成でも同様の効果が得られることは言うまでもない。
上記の実施例の概略構成図では、撮影したアナログ動画像を伝送しアナログ動画像として再生する構成となっているが、例えばＭＰＥＧ等の形式で保存されているデジタル動画像を伝送しデジタル動画像再生コンピュータソフトウェアで直接デジタル動画像として再生する構成としても同様の効果が得られる。
また、上記の実施例の概略構成図では、伝送部３はどのような通信手段・通信プロトコルでも利用が可能である構成となっているが、補助画像データは最小限のデータ量で通信するためのデータであるので、補助画像伝送体に、通常電話回線や携帯電話のような安価ではあるが伝送データ量を多くとれない通信手段・通信プロトコルを利用する構成としても確実に補助画像データを伝送することができる。
また、上記の実施例の概略構成図では、フレーム画像データは、フレーム画像欠落判断部でフレーム画像データの欠落の有無を判断される構成となっているが、フレーム画像データの欠落の有無を判断せずに、全てのフレーム画像データが対応する補助画像データと合成される構成としても良い。
また、上記の実施例概略構成図では、補助画像データは、フレーム画像合成部の補助画像廃棄判断処理部で補助画像データの廃棄の判断をされる構成となっているが、補助画像データの廃棄の判断をせずに、全ての補助画像データが欠落フレーム画像合成部に送られる構成としても良い。
上記の実施例の動作を示す概念図では、一部又は全部が欠落したフレーム画像データを修正することができるが、本発明はこの方法・構成に限定されるものではなく、その他の方法・構成や第一の実施例で説明した方法・構成・変形例でも同様の効果が得られることは言うまでもない。
上記の実施例の動作を示す概念図では、欠落したｎ＋１番目のフレーム画像データの新規合成は、ｎ番目のフレーム画像データからＮ番目の補助画像データに対応する物体の画像を切り出し、Ｎ＋１番目の補助画像データを利用するとなっているが、例えば、ｎ−１番目とｎ番目とｎ＋１番目の補助画像データの変化量を演算し、ｎ−１番目とｎ番目のフレーム画像データにあてはめて新規合成する等、その方法は問わないことは言うまでもない。
上記の実施例の適用場面を示す概念図では、衛星通信と地上波無線通信を利用して、フリーズや欠落のない動画像を伝送し再生することができるが、本発明はこの構成に限定されるものではなく、その他の構成でも同様の効果が得られることは言うまでもない。
上記の実施例の適用場面を示す概念図では、フレーム画像伝送体に衛星通信を利用し、補助画像伝送体に地上波無線通信を利用する構成となっているが、フレーム画像伝送体と補助画像伝送体とのどちらの伝送体も、衛星通信または地上波無線通信などの同一の通信回線を利用する構成としても同様の効果が得られる。尚、この場合、地上波無線通信に要する時間と衛星通信に要する時間との時間差に該当する時間を入れるために、補助画像データの処理回路に遅延時間を発生させる遅延素子を挿入したり、補助画像データを時間差に該当する間メモリーに保持しておいたりすることにより、フリーズや欠落がないことはもちろん、リアルタイムでスムーズな動画像の再生が可能となる。
上記の実施例の別の適用場面を示す概念図では、インターネットを利用して、フリーズや欠落のない動画像を伝送し再生することができるが、本発明はこの構成に限定されるものではなく、その他の構成でも同様の効果が得られることは言うまでもない。
上記の実施例の別の適用場面を示す概念図では、フレーム画像データを分解した複数のパッケトデータと、補助画像データを分解した複数のパケットデータとを順次インターネットを介して送出し、受信確認が取れないパケットデータの再送要求を行う構成となっているが、フレーム画像データのパッケトデータの受信確認を行わない、若しくは、受信確認が取れないパケットデータの再送を行わない構成とすることで、フリーズや欠落のないばかりでなく、よりスムーズな動画像再生を可能にすることができる。この構成であれば、単位時間あたりのフレーム画像データをより多く受信することができ、その中に不完全若しくは欠落しているフレーム画像データが多い場合であっても、順序通りかつ確実に届いている補助画像データからフレーム画像データを合成することで補うことができるので、よりスムーズでリアルタイムな動画再生が可能となる。
また、上記の実施例の別の適用場面を示す概念図では、補助画像データを伝送するためにかかる時間と、フレーム画像データを伝送するためにかかる時間とを調整するために、補助画像データの処理回路に遅延時間を発生させる遅延素子を挿入したり、補助画像データを時間差に該当する間メモリーに保持しておいたりしても良い。
また、上記の実施例の別の適用場面を示す概念図に限らず、本発明によるデジタル動画像の伝送に、ＭＰＥＧ等の動画像圧縮方法で圧縮された動画像データを使用すると、衛星通信・光ファイバ回線等の高速回線だけではなく、通常電話回線や携帯電話等の低速回線であっても、フリーズや乱れのない動画像を伝送することができる。
第一の実施例を示す概略構成図である。 第一の実施例の動作を示す概念図である。 第一の実施例のフローチャートである。 第一の実施例の適用場面を示す概念図である。 第一の実施例の別の適用場面を示すである。 第二の実施例を示す概略構成図である。 第二の実施例の動作を示す概念図である。 第二の実施例のフローチャートである。 第二の実施例の適用場面を示す概念図である。 第二の実施例の別の適用場面を示すである。 第三の実施例を示す概略構成図である。 第三の実施例の動作を示す概念図である。 第三の実施例のフローチャートである。 第三の実施例の適用場面を示す概念図である。 第三の実施例の別の適用場面を示すである。
符号の説明
１ 撮像カメラ
２ 送信装置
２１ フレーム画像送信部
２２ 補助画像抽出部
２２ａ 補助画像抽出部
２２ｂ 補助画像抽出部
２３ 補助画像送信部
２３ａ 補助画像送信部
２３ｂ 補助画像送信部
３ 伝送部３
３１ フレーム画像伝送体
３２ 補助画像伝送体
３２ａ 補助画像伝送体
３２ｂ 補助画像伝送体
４ 受信装置
４１ フレーム画像受信部
４２ 補助画像受信部
４３ フレーム画像合成部
４３ａ フレーム画像欠落判断部
４３ｂ 欠落フレーム画像合成部
４３ｃ 補助画像処理部
４３ｄ 補助画像廃棄判断処理部
４４ フレーム画像出力部
５ 動画像再生部

Claims (30)

  1. 動画像のフレーム画像データを送信装置から伝送部を介して受信装置に伝送するデジタル動画像伝送方法において、
    前記フレーム画像データを前記送信装置から第一の伝送体を介して前記受信装置に伝送し、
    前記フレーム画像データから補助画像データ抽出手段により抽出された補助画像データを前記送信装置から第二の伝送体を介して前記受信装置に伝送し、
    前記フレーム画像データと前記補助画像データとをフレーム画像合成手段により合成することを特徴とするデジタル動画像伝送方法。
  2. 前記フレーム画像合成手段において、前記フレーム画像データの欠落の有無をフレーム画像欠落判断部により判断し、欠落があると判断された欠落フレーム画像データと欠落フレーム画像データに対応する補助画像データとを前記フレーム画像合成手段により合成し、前記欠落フレーム画像データを修正することを特徴とする請求項１に記載のデジタル動画像伝送方法。
  3. 前記フレーム画像合成手段において、前記フレーム画像データの欠落の有無をフレーム画像欠落判断部により判断し、欠落がないと判断された無欠落フレーム画像データに対応する補助画像データを廃棄することを特徴とする請求項２に記載のデジタル動画像伝送方法。
  4. 前記フレーム画像合成手段において、前記フレーム画像データの欠落の有無をフレーム画像欠落判断部により判断し、欠落があると判断された第一のフレーム画像データの前の第二のフレーム画像データと、前記第一のフレーム画像データから抽出された第一の補助画像データと、前記第二のフレーム画像データから抽出された第二の補助画像データとを前記フレーム画像合成手段により合成し、前記第一のフレーム画像データを修正することを特徴とする請求項１に記載のデジタル動画像伝送方法。
  5. 前記フレーム画像合成手段において、前記フレーム画像データの欠落の有無をフレーム画像欠落判断部により判断し、欠落がないと判断された第三のフレーム画像データの前の第四のフレーム画像データから抽出された、第三の補助画像データを廃棄することを特徴とする請求項４に記載のデジタル動画像伝送方法。
  6. 前記補助画像データは、２値画像データ、多値画像データ、階調画像データ、部分画像データ、輪郭データのいずれかであることを特徴とする請求項１に記載のデジタル動画像伝送方法。
  7. 前記第一の伝送体と前記第二の伝送体とが同一の伝送体である場合に、前記補助画像データを遅延手段により遅延させることを特徴とする請求項１に記載のデジタル動画像伝送方法。
  8. 前記第一の伝送体と前記第二の伝送体とが同一の伝送体である場合に、前記補助画像データをメモリーに保持することを特徴とする請求項１に記載のデジタル動画像伝送方法。
  9. 動画像のフレーム画像データを送信装置から伝送部を介して受信装置に伝送するデジタル動画像伝送方法において、
    前記フレーム画像データを前記送信装置から第一の伝送体を介して前記受信装置に伝送し、
    前記フレーム画像データから第一の補助画像データ抽出手段により抽出した第一の補助画像データを前記送信装置から第二の伝送体を介して前記受信装置に伝送し、
    前記フレーム画像データから第二の補助画像データ抽出手段により抽出した第二の補助画像データを前記送信装置から第三の伝送体を介して前記受信装置に伝送し、
    前記フレーム画像データと前記第一の補助画像データと前記第二の補助画像データとをフレーム画像合成手段により合成することを特徴とするデジタル動画像伝送方法。
  10. 前記フレーム画像合成手段において、前記フレーム画像データの欠落の有無をフレーム画像欠落判断部により判断し、欠落があると判断された第一のフレーム画像データの前の第二のフレーム画像データと、前記第一のフレーム画像データから抽出された第三の補助画像データと、前記第一のフレーム画像データから抽出された第四の補助画像データと、前記第二のフレーム画像データから抽出された第五の補助画像データと、前記第二のフレーム画像データから抽出された第六の補助画像データとを前記フレーム画像合成手段により合成し、前記第一のフレーム画像データを修正することを特徴とする請求項９に記載のデジタル動画像伝送方法。
  11. 前記フレーム画像合成手段において、前記フレーム画像データの欠落をフレーム画像欠落判断部により判断し、欠落がないと判断された第三のフレーム画像データの前の第四のフレーム画像データから抽出された、第七の補助画像データと第八の補助画像データとを廃棄することを特徴とする請求項１０に記載のデジタル動画像伝送方法。
  12. 前記第一の補助画像データは２値画像データ、多値画像データ、階調画像データ、部分画像データ、輪郭データのいずれかであり、前記第二の補助画像データは２値画像データ、多値画像データ、階調画像データ、部分画像データ、輪郭データのいずれかであることを特徴とする請求項９に記載のデジタル動画像伝送方法。
  13. 前記第一の伝送体と前記第二の伝送体と前記第三の伝送体とが同一の伝送体である場合、前記第一の補助画像データと前記第二の補助画像データとを遅延手段により遅延させることを特徴とする請求項９に記載のデジタル動画像伝送方法。
  14. 前記第一の伝送体と前記第二の伝送体と前記第三の伝送体とが同一の伝送体である場合に、前記第一の補助画像データと前記第二の補助画像データとをメモリーに保持することを特徴とする請求項９に記載のデジタル動画像伝送方法。
  15. 動画像のフレーム画像データを送信装置から伝送部を介して受信装置に伝送するデジタル動画像伝送方法の送信装置において、
    前記フレーム画像データを送信する第一の送信手段と、
    前記フレーム画像データから補助画像データを抽出する補助画像抽出手段と、
    前記補助画像データを送信する第二の送信手段と、を具備することを特徴とする送信装置。
  16. 動画像のフレーム画像データを送信装置から伝送部を介して受信装置に伝送するデジタル動画像伝送方法の受信装置において、
    前記送信装置から伝送された前記フレーム画像データを受信する第一の受信手段と、
    前記送信装置から伝送され、前記フレーム画像データから抽出された補助画像データを受信する第二の受信手段と、
    前記フレーム画像データと前記補助画像データとを合成するフレーム画像合成手段と、を具備することを特徴とする受信装置。
  17. 前記フレーム画像合成手段は、前記フレーム画像データの欠落の有無を判断するフレーム画像欠落判断部と、前記フレーム画像欠落判断部で欠落があると判断された欠落フレーム画像データと前記欠落フレーム画像データに対応する前記補助画像データとを合成する欠落フレーム画像合成部と、を備えることを特徴とする請求項１６に記載の受信装置。
  18. 前記フレーム画像合成手段は、前記フレーム画像欠落判断部により欠落がないと判断された無欠落フレーム画像データに対応する前記補助画像データを廃棄する補助画像廃棄判断手段と、を備えることを特徴とする請求項１７に記載の受信装置。
  19. 前記フレーム画像合成手段は、前記フレーム画像データの欠落の有無を判断するフレーム画像欠落判断部と、前記フレーム画像欠落判断部で欠落があると判断された第一のフレーム画像データの前の第二のフレーム画像データと前記第一のフレーム画像データから抽出された第一の補助画像データと前記第二のフレーム画像データから抽出された第二の補助画像データとを合成する欠落フレーム画像合成部と、を備えることを特徴とする請求項１６に記載の受信装置。
  20. 前記フレーム画像合成手段は、前記フレーム画像欠落判断部により欠落がないと判断された第三のフレーム画像データの前の第四のフレーム画像データから抽出された、第三の補助画像データを廃棄する補助画像廃棄判断手段を備えることを特徴とする請求項１９に記載の受信装置。
  21. 前記フレーム画像データを伝送する第一の伝送体と、前記補助画像データを伝送する第二の伝送体とが同一の通信回線である場合に、前記補助画像データを遅延させる遅延手段を備えることを特徴とする請求項１６に記載の受信装置。
  22. 前記フレーム画像データを伝送する第一の伝送体と、前記補助画像データを伝送する第二の伝送体とが同一の通信回線である場合に、前記補助画像データをメモリーに保持する保持手段を備えることを特徴とする請求項１６に記載の受信装置。
  23. 動画像のフレーム画像データを送信装置から伝送部を介して受信装置に伝送するデジタル動画像伝送方法の送信装置において、
    前記フレーム画像データを送信する第一の送信手段と、
    前記フレーム画像データから第一の補助画像データを抽出する第一の補助画像抽出手段と、
    前記フレーム画像データから第二の補助画像データを抽出する第二の補助画像抽出手段と、
    前記第一の補助画像データを送信する第二の送信手段と、
    前記第二の補助画像データを送信する第三の送信手段と、を具備することを特徴とする送信装置。
  24. 動画像のフレーム画像データを送信装置から伝送部を介して受信装置に伝送するデジタル動画像伝送方法の受信装置において、
    前記送信装置から伝送された前記フレーム画像データを受信する第一の受信手段と、
    前記送信装置から伝送され、前記フレーム画像データから抽出された第一の補助画像データを受信する第二の受信手段と、
    前記送信装置から伝送され、前記フレーム画像データから抽出された第二の補助画像データを受信する第三の受信手段と、
    前記フレーム画像データと前記第一の補助画像データと前記第二の補助画像データとを合成するフレーム画像合成手段と、を具備することを特徴とする受信装置。
  25. 前記フレーム画像合成手段は、前記フレーム画像データの欠落の有無を判断するフレーム画像欠落判断部と、前記フレーム画像欠落判断部で欠落があると判断された欠落フレーム画像データと前記欠落フレーム画像データに対応する前記第一の補助画像データと前記欠落フレーム画像データに対応する前記第二の補助画像データとを合成する欠落フレーム画像合成部と、を備えることを特徴とする請求項２４に記載の受信装置。
  26. 前記フレーム画像合成手段は、前記フレーム画像欠落判断部により欠落がないと判断された無欠落フレーム画像データに対応する前記第一の補助画像データと前記無欠落フレーム画像データに対応する前記第二の補助画像データとを廃棄する補助画像廃棄判断手段を備えることを特徴とする請求項２５に記載の受信装置。
  27. 前記フレーム画像合成手段は、前記フレーム画像データの欠落の有無を判断するフレーム画像欠落判断部と、前記フレーム画像欠落判断部で欠落があると判断された第一のフレーム画像データの前の第二のフレーム画像データと前記第一のフレーム画像データから抽出された第三の補助画像データと前記第一のフレーム画像データから抽出された第四の補助画像データと前記第二のフレーム画像データから抽出された第五の補助画像データと前記第二のフレーム画像データから抽出された第六の補助画像データとを合成する欠落フレーム画像合成部と、を備えることを特徴とする請求項２４に記載の受信装置。
  28. 前記フレーム画像合成手段は、前記フレーム画像欠落判断部により欠落がないと判断された第三のフレーム画像データの前の第四のフレーム画像データから抽出された、第七の補助画像データと第八の補助画像データとを廃棄する補助画像廃棄判断手段を備えることを特徴とする請求項２７に記載の受信装置。
  29. 前記フレーム画像データを伝送する第一の伝送体と、前記第一の補助画像データを伝送する第二の伝送体と、前記第二の補助画像データを伝送する第三の伝送体とが同一の通信回線である場合に、前記第一の補助画像データと前記第二の補助画像データとを遅延させる遅延手段を備えることを特徴とする請求項２４に記載の受信装置。
  30. 前記フレーム画像データを伝送する第一の伝送体と、前記第一の補助画像データを伝送する第二の伝送体と、前記第二の補助画像データを伝送する第三の伝送体とが同一の通信回線である場合に、前記第一の補助画像データと前記第二の補助画像データとをメモリーに保持する保持手段を備えることを特徴とする請求項２４に記載の受信装置。
JP2004336165A 2004-11-19 2004-11-19 デジタル動画像伝送方法及びデジタル動画像伝送装置 Pending JP2006148561A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004336165A JP2006148561A (ja) 2004-11-19 2004-11-19 デジタル動画像伝送方法及びデジタル動画像伝送装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004336165A JP2006148561A (ja) 2004-11-19 2004-11-19 デジタル動画像伝送方法及びデジタル動画像伝送装置

Publications (1)

Publication Number Publication Date
JP2006148561A true JP2006148561A (ja) 2006-06-08

Family

ID=36627728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004336165A Pending JP2006148561A (ja) 2004-11-19 2004-11-19 デジタル動画像伝送方法及びデジタル動画像伝送装置

Country Status (1)

Country Link
JP (1) JP2006148561A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427399B2 (en) 2007-08-08 2013-04-23 Samsung Display Co., Ltd. Organic light emitting display device including signal processor for modifying image data and driving method thereof
CN117589690A (zh) * 2024-01-18 2024-02-23 常州宝捷冲片有限公司 一种视觉检测系统及工作方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002320209A (ja) * 2001-01-30 2002-10-31 Canon Inc 画像処理装置、画像処理方法、記録媒体及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002320209A (ja) * 2001-01-30 2002-10-31 Canon Inc 画像処理装置、画像処理方法、記録媒体及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427399B2 (en) 2007-08-08 2013-04-23 Samsung Display Co., Ltd. Organic light emitting display device including signal processor for modifying image data and driving method thereof
CN117589690A (zh) * 2024-01-18 2024-02-23 常州宝捷冲片有限公司 一种视觉检测系统及工作方法
CN117589690B (zh) * 2024-01-18 2024-03-19 常州宝捷冲片有限公司 一种视觉检测系统及工作方法

Similar Documents

Publication Publication Date Title
US8174558B2 (en) Automatically calibrating a video conference system
JP4782973B2 (ja) オーディオおよびビデオ信号の同期化
US20080198930A1 (en) Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method
US20030048353A1 (en) System and method for high resolution videoconferencing
US8656432B2 (en) Providing audio signals using a network back-channel
US9461760B2 (en) Remediation of television signals using a network back-channel
EP1235378A1 (en) Digital data radio receiving device and method
EP1784020A1 (en) Method and communication apparatus for reproducing a moving picture, and use in a videoconference system
US6075561A (en) Low duty-cycle transport of video reference images
JP2008199557A (ja) ストリーム同期再生システム、ストリーム同期再生装置、同期再生方法、及び同期再生用プログラム
JP2004056393A (ja) 再生データの保存結果の修復システム
US9749542B2 (en) Decoder and monitor system
US20080043743A1 (en) Received packet processing method and received packet processing apparatus
JP2006148561A (ja) デジタル動画像伝送方法及びデジタル動画像伝送装置
KR102024437B1 (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
CN1427618A (zh) 基于多进程的多视角视频节目网络转播方法
JP2012004991A (ja) 放送受信装置及びその制御方法
JP2009118151A (ja) 通信システム、送信装置、中継装置、受信装置及び送信プログラム
JPH0564172A (ja) 映像通信方式および映像送信装置および映像受信装置
JP2004349803A (ja) デジタル動画像伝送方法及びデジタル動画像伝送装置
JP2010157778A (ja) データ送信端末装置、データ受信端末装置、及び動画像送信システム
JP2003234726A (ja) フレーム同期システムの送信装置、受信装置およびフレーム同期方法
JP2003348620A (ja) 映像信号の圧縮装置およびその方法ならびに映像信号の復元装置およびその方法
JPH06276427A (ja) 動画像音声制御装置
US7983326B2 (en) Digital transmission system and its transmission status recognition method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101026