【０００１】
【発明の属する技術分野】
本発明は、複数の低解像度圧縮画像を合成した合成画像と合成画像の元となった原画像とを同時に送信する場合における冗長性を減少させ得る画像送信装置及び画像受信装置に関するものである。
【０００２】
【従来の技術】
従来、上記のような合成画像情報（以下、画像情報の情報の語は省略する）と原画像とを同時に伝送するような装置としては、図１０に示すような多地点テレビ会議制御装置があった（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平１１−８８８５４号公報（段落番号１７〜２１、図１）。
【０００４】
特開平１１−８８８５４号公報に記載された多地点テレビ会議制御装置は、多くの地点から入力された画像を合成し、１つの画像としてモニタに表示する装置であって、受信した複数の画像のうち１つを出力する単画面制御手段６００と、受信した複数の画像を用いて多画面表示用の合成画像を生成する多画面制御手段７００をそなえ、単画面表示と多画面表示とを切り替える装置が記載されている。
【０００５】
単画面制御手段６００の単画面処理部６０１は受信した複数の画像を入力とし、そのうちの１つを出力制御部６０２に出力する。多画面制御手段７００の画面合成部７０１は受信した複数の画面を合成して多画面表示用の画像を生成し、出力制御部７０２に出力する。出力制御部７０２は単画面制御手段６００の出力制御部６０２に合成画像を出力する。出力制御部６０２は単画面表示または多画面表示のいずれかを選択して出力することにより単画面表示と多画面表示を切り替えることができる。
【０００６】
また、符号化手段の圧縮率を変更することによりネットワークの無駄を削減する画像伝送システムとしては図１１に示すようなものが開示されている（例えば、特許文献２参照）。
【０００７】
【特許文献２】
特開２００２−８４５３２号公報（段落番号１０〜１２、図４）。
【０００８】
特開２００２−８４５３２号公報に示す画像伝送システムは、１つのカメラ８００の画像を１つのモニタ８０２に表示する場合には、符号化手段８０１が出力する画像の解像度を高く設定し、複数のカメラ８００の画像を１つのモニタ８０２に表示する場合には、符号化手段８０１から出力する画像の解像度を低く設定することにより、受信側における解像度変換の手間とネットワーク帯域の無駄とを省いてる。
【０００９】
【発明が解決しようとする課題】
しかしながら、特開平１１−８８８５４号公報に記載の多地点テレビ会議システムにおいては、多画面合成の元となる画像を全て受信しているため、画面数に応じたネットワーク帯域を消費してしまうという問題があった。また、特開２００２−８４５３２号公報に記載の画像伝送システムにおいては、多画面表示を行う場合に送信側で解像度を低く設定するため、ネットワーク帯域は合成画像１画像分しか消費しない。しかしながら、多画面表示と単画面表示を同時に行う場合は、同じ画像を異なる解像度で送信する必要があり、ネットワークの帯域を無駄に使用することになるという問題があった。
【００１０】
本発明は、上記従来の問題を解決するためになされたもので、合成画像と原画像を同時に送信するときの送信データの冗長性を減少して、ネットワーク帯域の有効利用を図る画像送信装置及び画像受信装置を提供するものである。
【００１１】
【課題を解決するための手段】
本発明における画像送信装置は、複数の撮影手段から受信した画像を個々に符号化して原画像を出力する符号化手段と、前記原画像を低解像度画像と前記原画像を復元するための差分情報とに分割する画像分割手段と、複数の前記原画像に対応する前記低解像度画像を一つの合成画像に合成する画像合成手段と、復元する前記原画像に対応する差分情報を出力する差分送信制御手段とを有し、前記合成画像と前記差分情報とを伝送手段を介して画像受信装置に送信するという構成を有している。この構成により、合成画像と差分情報とから原画像を復元できる画像受信装置に対し、合成画像と差分情報とを送信することにより、合成画像と原画像の両方を伝送する場合と比較して、伝送しなければならない情報量を減少させることができる。
【００１２】
本発明における画像受信装置は、受信した合成画像と差分情報を分配する分配手段と、前記分配手段から分配された前記合成画像から単位画像を抽出する画像抽出手段と、前記単位画像と前記差分情報とにより原画像を復元する画像復元手段と、前記合成画像と前記原画像とを出力する出力手段と、前記出力手段からの前記合成画像と前記原画像を復号する復号化手段とを有し、前記復号化手段は前記合成画像と前記原画像とをそれぞれ対応するモニタに出力するという構成を有している。この構成により、受信した合成画像と差分情報とから原画像を復元して表示することにより、合成画像と原画像の両方を伝送する場合と比較して、伝送しなければならない情報量を減少させることができる。
【００１３】
本発明における画像送信装置は、前記符号化手段からの前記原画像を蓄積する画像蓄積手段を備え、前記差分送信制御手段は送信する前記差分情報に対応する前記原画像を前記画像蓄積手段から前記画像分割手段に出力させ、分割した前記差分情報を出力するという構成を有している。この構成により、受信側で合成画像の内容を確認した上で、必要な画像に対応する差分情報のみを送信させることができる。
【００１４】
本発明における画像送信装置は、前記差分送信制御手段からの前記差分情報を蓄積する差分情報蓄積手段を備え、前記差分送信制御手段は送信する前記原画像に対応する前記差分情報を前記差分情報蓄積手段から取り出して前記伝送手段に送信するという構成を有している。この構成により、蓄積しなければならない情報量を削減することができ、また、差分情報を送信するたびに画像分割を行う処理を無くすことができる。
【００１５】
本発明における画像受信装置は、前記分配手段からの前記合成画像を蓄積する合成画像蓄積手段を備え、前記画像復元手段は前記合成画像蓄積手段に蓄積された前記合成画像から得られた前記単位画像と前記差分情報とにより前記原画像を復元するという構成を有している。この構成により、合成画像を表示し、確認したあとで必要な画像に対応する差分情報のみを受信することにより、少ない情報量で原画像を復元することができる。
【００１６】
本発明における画像送信方法は、複数の撮影手段から受信した画像を個々に符号化して原画像を出力する工程と、前記原画像を低解像度の単位画像と前記原画像を復元する差分情報とに分割する工程と、複数の前記単位画像を一つの合成画像に合成する工程と、復元する前記原画像に対応する差分情報を出力する工程と、前記合成画像と前記差分情報とを伝送手段を介して送信する工程とを有するという構成を有している。この構成により、合成画像と差分情報とから原画像を復元できる画像受信装置に対し、合成画像と差分情報とを送信することにより、合成画像と原画像の両方を伝送する場合と比較して、伝送しなければならない情報量を減少させることができる。
【００１７】
本発明における画像受信方法は、受信した合成画像と差分情報を分配する工程と、分配された前記合成画像から単位画像を抽出する工程と、前記単位画像と前記差分情報とにより原画像を復元する工程と、前記合成画像と前記原画像とを出力する工程と、出力された前記合成画像と前記原画像とを復号化する工程と、復号化された前記合成画像と前記原画像とをそれぞれ対応するモニタに表示する工程とを有するという構成を有している。この構成により、受信した合成画像と差分情報とから原画像を復元して表示することにより、合成画像と原画像の両方を伝送する場合と比較して、伝送しなければならない情報量を減少させることができる。
【００１８】
本発明における画像送信方法は、符号化された前記原画像を蓄積する工程を備え、送信する前記差分情報に対応する前記原画像を蓄積された前記原画像から出力させるという構成を有している。この構成により、受信側において合成画像の内容を確認した上で、必要な画像に対応する差分情報のみを送信させることができる。
【００１９】
本発明における画像送信方法は、前記差分情報を蓄積する工程を備え、送信する前記原画像に対応する前記差分情報を前記蓄積された差分情報から取り出して送信するという構成を有している。この構成により、蓄積しなければならない情報量を削減することができ、また、差分情報を送信するたびに画像分割を行う処理を無くすことができる。
【００２０】
本発明における画像受信方法は、受信した前記合成画像を蓄積する工程を備え、蓄積された前記合成画像から得られた前記単位画像と前記差分情報とにより前記原画像を復元するという構成を有している。この構成により、合成画像を表示し、確認したあとで必要な画像に対応する差分情報のみを受信することにより、少ない情報量で原画像を復元することができる。
【００２１】
【発明の実施の形態】
以下、添付図面に基づき、本発明の第１ないし第３の実施の形態を詳細に説明する。
（第１の実施の形態）
まず、図１を参照して、本発明の第１の実施の形態における画像伝送システム１の構成を説明する。図１に示す画像伝送システム１は、複数のカメラ（撮影手段）１００から映像信号を受信して合成画像と差分情報を出力する画像送信装置２００と、画像送信装置２００から合成画像と差分情報を受け取り、原画像及び合成画像に復元してモニタ５００に表示する画像受信装置４００とにより構成される。
【００２２】
画像送信装置２００は、カメラ１００からの映像信号を符号化する符号化手段２０１と、符号化手段２０１からの原画像を低解像度画像と差分情報とに分割する画像分割手段２０２と、画像分割手段２０２からの原画像に対応する複数の低解像度画像（単位画像）を画像合成する画像合成手段２０３と、画像分割手段２０２からの差分情報を伝送路３００に出力する差分送信制御手段２０４とを有し、画像合成手段２０３からの合成画像と差分送信制御手段２０４からの差分情報とを伝送路３００に出力する。
【００２３】
また、画像受信装置４００は、伝送路３００を介して画像送信装置２００から受信した合成画像を出力手段４０４と画像抽出手段４０２に分配し、同じく伝送路３００を介して画像送信装置２００から受信した差分情報を画像復元手段４０３に分配する分配手段４０１と、分配手段４０１からの合成画像から原画像に対応する低解像度画像（単位画像）を抽出する画像抽出手段４０２と、画像抽出手段４０２で抽出された低解像度画像を分配手段４０１からの差分情報により原画像を復元する画像復元手段４０３と、分配手段４０１からの合成画像と画像復元手段４０３からの原画像を復号化手段４０５に出力する出力手段４０４と、出力手段４０４からの合成画像と原画像を復号化して各画像に対応するモニタ５００にそれぞれ出力して表示させる復号化手段４０５とを有する。
【００２４】
次に、図２を参照して、本発明の第１の実施の形態における画像伝送システム１の動作を説明する。
まず、図２Ａを参照して、画像送信装置２００における画像情報の処理動作を説明する。カメラ１００から入力された画像情報は符号化手段２０１によって、階層的に分割されたデータ構造をもつ符号に符号化される（ステップＳ１００１、以下ステップの文字は省略する）。
【００２５】
ここで、図３ないし図５を参照して、階層的に分割されたデータ構造の例を説明する。まず、原画像を、例えばウェーブレット変換を用いて低解像度部分（ＬＬ）と差分情報部分（ＬＨ、ＨＬ、ＨＨ）とに分割し、さらに、それぞれを画像中の位置に基づいて分割する（図３）。次に、分割されたデータ毎に算術符号化を行い、ヘッダを付加して図４Ａのように配置する。ヘッダには画像の分割数やデータの配置に関する情報を収めておく。図４Ａの場合、前半部分が合成画像に対応し、後半部分が差分情報に対応している。
【００２６】
このように符号化を行うことにより、低解像度部分のみを用いて合成画像を表示することができ、図５に示すように、画像の分割、合成、抽出、復元の処理をヘッダ操作とデータ順の並び替えだけでそれを行うことができる。
【００２７】
なお、解像度による分割と位置による分割は、図３に示したもの以外の数に分割してもよい。また、合成画像のあとに続く差分情報は２つ以上あってもよい（図４Ｂ）。また、分割された情報は、どのように配置してもよい。例えば、原画像に関係するデータを最初の部分に集めてもよい（図４Ｃ）。画像分割手段２０２は、入力された原画像を低解像度画像と、低解像度画像から原画像を復元するために必要な差分情報とに分割し（Ｓ１００２）、低解像度画像を画像合成手段２０３に、差分情報を差分送信制御手段２０４に出力する。画像合成手段２０３は入力した複数の低解像度画像を合成し、合成画像を伝送路３００に出力する（Ｓ１００３）。差分送信制御手段２０４は、受信側で原画像の表示を行う画像に対応する差分情報のみを伝送路３００に出力する（Ｓ１００４）。伝送路３００としては、例えば、ＩＰによるネットワークを用いることができる。
【００２８】
次に、図２Ｂ、Ｃを参照して、画像受信装置４００における合成画像および原画像の表示処理を説明する。合成画像を表示する場合は、伝送路３００から受信した合成画像を、分配手段４０１から出力手段４０４に出力し、合成画像を表示するモニタ５００に対応する復号化手段４０５に出力する（Ｓ２００１）。復号化手段４０５は入力された画像を復号してモニタ５００に表示する（Ｓ２００２）。原画像を表示する場合は、伝送路３００から受信した合成画像と差分情報を、分配手段４０１によって、それぞれ画像抽出手段４０２と画像復元手段４０３に出力する（Ｓ３００１）。画像抽出手段４０２は合成画像から表示する原画像に対応する低解像度画像（単位画像）を抽出し、画像復元手段４０３に出力する（Ｓ３００２）。画像復元手段４０３は、低解像度画像と差分情報を用いて原画像を復元し（Ｓ２００３）、出力手段４０４によって原画像を表示するモニタ５００に対応する復号化手段４０５に出力する（Ｓ２００４）。復号化手段４０５は入力した画像を復号化してモニタ５００に表示する（Ｓ２００５）。
【００２９】
以上説明したように、本発明の第１の実施の形態の画像伝送システム１によれば、合成画像と原画像を表示しなければならない場合でも、合成画像と差分情報とを送信する画像送信装置と、受信した合成画像と差分情報から原画像を復元できる画像受信装置とを設けることにより、合成画像と差分情報のみを送信すれば足りるので、伝送路３００で伝送しなければならない情報量を減少させることができる。例えば、４画面合成画像１枚と原画像２枚を表示する場合では、特開平１１−８８８５４号公報に記載の多地点テレビ会議システムでは、４枚の原画像を送信するので４画面分の通信容量が必要である。また、特開２００２−８４５３２号公報に記載の画像伝送システムでは、合成画像１枚と原画像２枚を送信するので３画面分の通信容量が必要となる。それに対して、本発明の第１の実施の形態の画像伝送システム１では合成画像１枚と差分情報２つを送信するため、２．５画面分の通信容量を消費するのみであり、上記従来の方法と比較すると、それぞれ、約３７％および約１６％だけ伝送量を削減することができる。
【００３０】
なお、本実施の形態では、階層的に分割されたデータ構造を持つ符号に符号化する符号化手段として図３に示す符号化方法を例としてあげたが、画像を低解像度部分と差分情報に分割できる他の符号化方法を用いてもよい。また、伝送路３００の例としては、ＩＰによるネットワークを例にあげたが、符号化された情報を伝送することのできる他の伝送手段を用いてもよい。また、符号化手段２０１は画像送信装置２００内部に配置してあるが、画像送信装置２００から分離して配置してもよい。その場合の符号化手段２０１と画像送信装置２００との接続には、例えばＩＰによるネットワーク接続を利用することができる。同様に復号化手段４０５も、画像受信装置４００と分離して配置してもよい。この場合も、画像受信装置４００と復号化手段４０５との接続には、例えばＩＰによるネットワーク接続を利用することができる。
【００３１】
（第２の実施の形態）
次に、図６を参照して、本発明の第２の実施の形態における画像伝送システム２の構成を説明する。図６に示す画像伝送システム２は、図１に示す画像伝送システム１の構成に加え、画像送信装置２００側では、符号化手段２０１からの原画像を蓄積し、差分送信制御手段２０４の指示により送信する差分情報に対応する原画像を画像分割手段２０２に出力する画像蓄積手段２０５を備え、画像受信装置４００側では、受信した合成画像を分配手段４０１から入力して蓄積し、画像抽出手段４０２に供給する合成画像蓄積手段４０６を備えて構成される。なお、上記で差分送信制御手段２０４の指示というのは、例えば、表示したい画像を指定する操作者の指示によるもので、指示の仕方は特に問わない、以下、同じ）。
【００３２】
次に、図７Ａ、Ｂを参照して、原画像と合成画像の蓄積処理について説明する。図７Ａは、画像送信装置２００における原画像蓄積処理のフローを示す。符号化手段２０１から出力した原画像は、画像分割手段２０２に入力されるだけでなく、画像蓄積手段２０５にも入力され（Ｓ４００１）、入力された画像は画像蓄積手段２０５に蓄積される（Ｓ４００２）。図７Ｂは、画像受信装置４００における合成画像蓄積処理のフローを示す。伝送路３００から受信した合成画像を分配手段４０１から合成画像蓄積手段４０６に出力し（Ｓ５００１）、合成画像蓄積手段４０６に蓄積する（Ｓ５００２）。
【００３３】
次に、図７Ｃを参照して、画像送信装置２００において画像蓄積手段２０５に蓄積された原画像から差分情報を生成し画像受信装置４００へ送信する処理を説明する。差分送信制御手段２０４は送信する差分情報に対応する原画像を画像蓄積手段２０５に指示して、画像分割手段２０２に出力させる（Ｓ６００１）。画像分割手段２０２は入力した原画像を低解像度画像と差分情報に分割し（Ｓ６００２）、差分情報を差分送信制御手段２０４を通して伝送路３００に出力する（Ｓ６００３）。
【００３４】
次に、図７Ｄを参照して、合成画像蓄積手段４０６に蓄積されている合成画像と差分情報とから原画像を復元する処理について説明する。分配手段４０１は伝送路３００から受信した差分情報を画像復元手段４０３に出力する（Ｓ７００１）。画像抽出手段４０２は、合成画像蓄積手段４０６から表示したい原画像に対応する低解像度画像を含む合成画像を取得し（Ｓ７００２）、取得した合成画像から表示したい原画像に対応する低解像度画像（単位画像）を抽出して画像復元手段４０３に出力する（Ｓ７００３）。画像復元手段４０３は差分情報と低解像度画像とから原画像を復元し（Ｓ７００４）、出力手段４０４から、復元したい画像を表示するモニタ５００に対応するそれぞれの復号化手段４０５に出力する（Ｓ７００５）。復号化手段４０５は入力した画像を復号して、各モニタ５００に表示する（Ｓ７００６）。
【００３５】
以上説明したように、本発明の第２の実施の形態の画像伝送システムによれば、画像送信装置２００に画像蓄積手段２０５を設け、画像受信装置４００に合成画像蓄積手段４０６を設けることにより、合成画像の内容を確認した上で、必要な差分情報を画像受信装置４００へ送信して、必要な画像のみを高解像度の原画像として表示させることができる。
【００３６】
（第３の実施の形態）
次に、図８を参照して、本発明の第３の実施の形態における画像伝送システム３について説明する。図８に示す本発明の第３の実施の形態の画像伝送システム３は、図６に示した画像伝送システム２の画像蓄積手段２０５に換えて、差分情報のみを蓄積する差分情報蓄積手段２０６を差分送信制御手段２０４に接続して構成される。
【００３７】
次に、図９Ａ、Ｂを参照して、本発明の第３の実施の形態における画像伝送システム３の差分情報蓄積手段２０６に対する差分情報蓄積処理および差分情報送信処理について説明する。
図９Ａに示すように、差分送信制御手段２０４は、入力された差分情報を差分情報蓄積手段２０６に出力し（Ｓ８００１）、差分情報蓄積手段２０６は入力した差分情報を蓄積する（Ｓ８００２）。差分情報を送信する場合、差分送信制御手段２０４は、例えば、操作者により差分情報蓄積手段２０６に指示し、そこに蓄積された差分情報を伝送路３００を介して画像受信装置４００へ送信する（Ｓ９００１）。画像受信装置４００においては、図７Ｂ、Ｄに示した方法により、合成画像の蓄積と原画像復元処理を実行する。
【００３８】
以上説明したように、本発明の第３の実施の形態の画像伝送システムによれば、画像送信装置２００に差分情報蓄積手段２０６を設け、画像受信装置４００には合成画像蓄積手段４０６が設けられることにより、画像送信装置２００で蓄積しなければならないデータ量を減少させ、また、差分情報送信のたびに画像分割を行う処理を削除することができる。
【００３９】
【発明の効果】
本発明における画像送信装置及び画像受信装置は、上記のように構成され、特に、画像受信装置に対し原画像を送信せず、低解像度の合成画像と差分情報とを送信することにより、合成画像と原画像を同時に送信する場合の送受信データの冗長性を減少させ、ネットワーク帯域を有効に利用することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像伝送システムの構成を示すブロック図、
【図２】本発明の第１の実施の形態における画像伝送システムの動作を示すフローチャートを示し、（Ａ）合成画像、差分情報送信処理を示す図、
（Ｂ）合成画像表示処理を示す図、
（Ｃ）原画像表示処理を示す図、
【図３】本発明の第１の実施の形態における階層的符号化を説明するための図、
【図４】本発明の第１の実施の形態における画像伝送システムにおいて、階層的符号化されたデータの算術符号化を説明するための図、
（Ａ）合成画像部分と差分情報部分とを有するデータフォーマットを示す図、
（Ｂ）差分情報部分が２つある場合を示す図、
（Ｃ）原画像を最初の部分に集めた場合の図、
【図５】図４に示すデータフォーマットにより、画像を分割、合成、抽出、復元する処理を示す図、
【図６】本発明の第２の実施の形態における画像伝送システムの構成を示すブロック図、
【図７】本発明の第２の実施の形態における画像伝送システムの動作を示すフローチャートを示し、
（Ａ）原画像蓄積処理を示す図、
（Ｂ）合成画像蓄積処理を示す図、
（Ｃ）差分情報送信処理を示す図、
（Ｄ）原画像表示処理を示す図、
【図８】本発明の第３の実施の形態における画像伝送システムの構成を示すブロック図、
【図９】本発明の第３の実施の形態における画像伝送システムの動作を示すフローチャートを示し、
（Ａ）差分情報蓄積処理を示す図、
（Ｂ）差分情報送信処理を示す図、
【図１０】従来の画像伝送装置を示すブロック図、
【図１１】従来の画像伝送システムを示すブロック図。
【符号の説明】
１、２、３ 画像伝送システム
１００ カメラ
２００ 画像送信装置
２０１ 符号化手段
２０２ 画像分割手段
２０３ 画像合成手段
２０４ 差分送信制御手段
２０５ 画像蓄積手段
２０６ 差分情報蓄積手段
３００ 伝送手段
４００ 画像受信装置
４０１ 分配手段
４０２ 画像抽出手段
４０３ 画像復元手段
４０４ 出力手段
４０５ 復号化手段
４０６ 合成画像蓄積手段
５００ モニタ
６００ 単画面制御手段
６０１ 単画面処理部
６０２ 出力制御部
７００ 多画面制御手段
７０１ 画面合成部
７０２ 出力制御部
８００ カメラ
８０１ 符号化手段
８０２ モニタ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image transmitting apparatus and an image receiving apparatus that can reduce redundancy when simultaneously transmitting a combined image obtained by combining a plurality of low-resolution compressed images and an original image that is the basis of the combined image.
[0002]
[Prior art]
Conventionally, a multipoint video conference control device as shown in FIG. 10 has been known as a device for simultaneously transmitting the above-described synthesized image information (hereinafter, the term of image information is omitted) and an original image. (For example, see Patent Document 1).
[0003]
[Patent Document 1]
JP-A-11-88854 (paragraphs 17 to 21, FIG. 1).
[0004]
The multipoint video conference control device described in Japanese Patent Application Laid-Open No. H11-88854 is a device for synthesizing images input from many points and displaying the images on a monitor as one image. An apparatus for switching between single-screen display and multi-screen display, comprising a single-screen control means 600 for outputting one of them, and a multi-screen control means 700 for generating a composite image for multi-screen display using a plurality of received images. Is described.
[0005]
The single screen processing unit 601 of the single screen control unit 600 receives a plurality of received images and outputs one of them to the output control unit 602. The screen synthesizing unit 701 of the multi-screen control unit 700 synthesizes a plurality of received screens to generate an image for multi-screen display, and outputs the generated image to the output control unit 702. The output control unit 702 outputs the composite image to the output control unit 602 of the single screen control unit 600. The output control unit 602 can switch between single-screen display and multi-screen display by selecting and outputting either single-screen display or multi-screen display.
[0006]
An image transmission system as shown in FIG. 11 is disclosed as an image transmission system that reduces network waste by changing the compression ratio of an encoding unit (for example, see Patent Document 2).
[0007]
[Patent Document 2]
JP-A-2002-84532 (paragraph numbers 10 to 12, FIG. 4).
[0008]
In the image transmission system disclosed in Japanese Patent Application Laid-Open No. 2002-84532, when an image of one camera 800 is displayed on one monitor 802, the resolution of the image output by the encoding unit 801 is set high, and a plurality of cameras When 800 images are displayed on one monitor 802, the resolution of the image output from the encoding unit 801 is set low, thereby saving the trouble of resolution conversion on the receiving side and wasting network bandwidth.
[0009]
[Problems to be solved by the invention]
However, in the multipoint video conference system described in Japanese Patent Application Laid-Open No. H11-88854, since all images that are the source of multiscreen composition are received, a network bandwidth corresponding to the number of screens is consumed. was there. Further, in the image transmission system described in Japanese Patent Application Laid-Open No. 2002-84532, when a multi-screen display is performed, the resolution is set low on the transmission side, so that the network band consumes only one composite image. However, when performing multi-screen display and single-screen display at the same time, it is necessary to transmit the same image at different resolutions, which causes a problem that network bandwidth is wasted.
[0010]
The present invention has been made in order to solve the above-described conventional problems, and has an image transmitting apparatus that reduces the redundancy of transmission data when a combined image and an original image are transmitted at the same time, and effectively uses a network bandwidth. An image receiving device is provided.
[0011]
[Means for Solving the Problems]
An image transmitting apparatus according to the present invention includes: an encoding unit that individually encodes images received from a plurality of photographing units and outputs an original image; and difference information for restoring the original image to a low-resolution image and the original image. An image dividing unit that divides the low-resolution images corresponding to the plurality of original images into one composite image; and a difference transmission control that outputs difference information corresponding to the original image to be restored. Means for transmitting the combined image and the difference information to an image receiving apparatus via a transmission means. With this configuration, by transmitting the composite image and the difference information to the image receiving device that can restore the original image from the composite image and the difference information, compared to a case where both the composite image and the original image are transmitted, The amount of information that must be transmitted can be reduced.
[0012]
The image receiving device according to the present invention includes a distribution unit that distributes the received composite image and the difference information; an image extraction unit that extracts a unit image from the composite image distributed from the distribution unit; and the unit image and the difference information. Image restoration means for restoring an original image by means of, output means for outputting the composite image and the original image, and decoding means for decoding the composite image and the original image from the output means, The decoding means is configured to output the composite image and the original image to corresponding monitors. With this configuration, by restoring and displaying the original image from the received composite image and the difference information, the amount of information that must be transmitted is reduced as compared with the case where both the composite image and the original image are transmitted. be able to.
[0013]
The image transmission device according to the present invention includes an image storage unit that stores the original image from the encoding unit, and the difference transmission control unit stores the original image corresponding to the transmitted difference information from the image storage unit. The difference information is output by the image dividing means, and the divided difference information is output. With this configuration, it is possible to transmit only the difference information corresponding to the required image after confirming the content of the composite image on the receiving side.
[0014]
The image transmission device according to the present invention includes a difference information storage unit that stores the difference information from the difference transmission control unit, and the difference transmission control unit stores the difference information corresponding to the transmitted original image in the difference information storage The transmission means is taken out from the transmission means and transmitted to the transmission means. With this configuration, the amount of information that must be stored can be reduced, and the process of dividing an image every time differential information is transmitted can be eliminated.
[0015]
The image receiving device according to the present invention includes a composite image storage unit that stores the composite image from the distribution unit, and the image restoration unit is configured to store the unit image obtained from the composite image stored in the composite image storage unit. And restoring the original image by using the difference information. With this configuration, the original image can be restored with a small amount of information by displaying only the composite image and receiving only the difference information corresponding to the required image after confirmation.
[0016]
The image transmission method according to the present invention includes the steps of individually encoding images received from a plurality of photographing means and outputting an original image, and converting the original image into a low-resolution unit image and difference information for restoring the original image. Dividing, combining the plurality of unit images into one combined image, outputting difference information corresponding to the original image to be restored, and transmitting the combined image and the difference information via a transmission unit. And transmitting the data. With this configuration, by transmitting the composite image and the difference information to the image receiving device that can restore the original image from the composite image and the difference information, compared to a case where both the composite image and the original image are transmitted, The amount of information that must be transmitted can be reduced.
[0017]
The image receiving method according to the present invention includes a step of distributing a received composite image and difference information, a step of extracting a unit image from the distributed composite image, and restoring an original image based on the unit image and the difference information. Outputting the composite image and the original image, decoding the output composite image and the original image, and respectively corresponding the decoded composite image and the original image. And a step of displaying on a monitor. With this configuration, by restoring and displaying the original image from the received composite image and the difference information, the amount of information that must be transmitted is reduced as compared with the case where both the composite image and the original image are transmitted. be able to.
[0018]
The image transmitting method according to the present invention includes a step of storing the encoded original image, and has a configuration in which the original image corresponding to the difference information to be transmitted is output from the stored original image. . With this configuration, it is possible to transmit only the difference information corresponding to the required image after confirming the content of the composite image on the receiving side.
[0019]
The image transmission method according to the present invention includes a step of storing the difference information, and has a configuration in which the difference information corresponding to the original image to be transmitted is extracted from the stored difference information and transmitted. With this configuration, the amount of information that must be stored can be reduced, and the process of dividing an image every time differential information is transmitted can be eliminated.
[0020]
The image receiving method according to the present invention includes a step of storing the received composite image, and has a configuration of restoring the original image by the unit image and the difference information obtained from the stored composite image. ing. With this configuration, the original image can be restored with a small amount of information by displaying only the composite image and receiving only the difference information corresponding to the required image after confirmation.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, first to third embodiments of the present invention will be described in detail with reference to the accompanying drawings.
(First Embodiment)
First, the configuration of the image transmission system 1 according to the first embodiment of the present invention will be described with reference to FIG. An image transmission system 1 illustrated in FIG. 1 includes an image transmission device 200 that receives video signals from a plurality of cameras (imaging units) 100 and outputs a composite image and difference information, and outputs a composite image and difference information from the image transmission device 200. The image receiving apparatus 400 receives and restores the original image and the composite image to display on the monitor 500.
[0022]
The image transmitting apparatus 200 includes: an encoding unit 201 that encodes a video signal from the camera 100; an image dividing unit 202 that divides an original image from the encoding unit 201 into a low-resolution image and difference information; An image synthesizing unit 203 for synthesizing a plurality of low-resolution images (unit images) corresponding to the original image from the image processing unit 202 and a difference transmission control unit 204 for outputting difference information from the image dividing unit 202 to the transmission path 300 are provided. Then, the combined image from the image combining unit 203 and the difference information from the difference transmission control unit 204 are output to the transmission path 300.
[0023]
Further, the image receiving apparatus 400 distributes the composite image received from the image transmitting apparatus 200 via the transmission path 300 to the output unit 404 and the image extracting unit 402, and receives the composite image from the image transmitting apparatus 200 via the transmission path 300. A distribution unit 401 that distributes the difference information to the image restoration unit 403; an image extraction unit 402 that extracts a low-resolution image (unit image) corresponding to the original image from the composite image from the distribution unit 401; An image restoring unit 403 for restoring an original image of the divided low-resolution image based on the difference information from the distributing unit 401, and an output for outputting the combined image from the distributing unit 401 and the original image from the image restoring unit 405 to the decoding unit 405 Means 404, and decodes the combined image and the original image from the output means 404, outputs the decoded image to the monitor 500 corresponding to each image, and displays it. And a decoding means 405 for.
[0024]
Next, the operation of the image transmission system 1 according to the first embodiment of the present invention will be described with reference to FIG.
First, an operation of processing image information in the image transmitting apparatus 200 will be described with reference to FIG. 2A. The image information input from the camera 100 is encoded by the encoding unit 201 into a code having a hierarchically divided data structure (step S1001, hereinafter, the characters of the steps are omitted).
[0025]
Here, an example of a hierarchically divided data structure will be described with reference to FIGS. First, the original image is divided into a low-resolution part (LL) and a difference information part (LH, HL, HH) using, for example, a wavelet transform, and each is further divided based on a position in the image (FIG. 3). ). Next, arithmetic coding is performed for each of the divided data, a header is added, and the data is arranged as shown in FIG. 4A. The header stores information on the number of divisions of an image and the arrangement of data. In the case of FIG. 4A, the first half corresponds to the composite image, and the second half corresponds to the difference information.
[0026]
By performing encoding in this way, a composite image can be displayed using only the low-resolution part. As shown in FIG. 5, the image division, combination, extraction, and restoration processes are performed by header operation and data order. You can do that just by reordering.
[0027]
Note that the division by resolution and the division by position may be divided into numbers other than those shown in FIG. Further, there may be two or more pieces of difference information following the composite image (FIG. 4B). Further, the divided information may be arranged in any manner. For example, data relating to the original image may be collected in the first part (FIG. 4C). The image dividing unit 202 divides the input original image into a low-resolution image and difference information necessary for restoring the original image from the low-resolution image (S1002). The difference information is output to the difference transmission control means 204. The image synthesizing unit 203 synthesizes the plurality of input low-resolution images, and outputs the synthesized image to the transmission path 300 (S1003). The difference transmission control means 204 outputs only the difference information corresponding to the image for displaying the original image on the receiving side to the transmission path 300 (S1004). As the transmission path 300, for example, a network based on IP can be used.
[0028]
Next, with reference to FIGS. 2B and 2C, a process of displaying the composite image and the original image in the image receiving apparatus 400 will be described. When displaying the composite image, the composite image received from the transmission path 300 is output from the distribution unit 401 to the output unit 404, and is output to the decoding unit 405 corresponding to the monitor 500 that displays the composite image (S2001). The decoding unit 405 decodes the input image and displays it on the monitor 500 (S2002). When displaying the original image, the distributing unit 401 outputs the combined image and the difference information received from the transmission path 300 to the image extracting unit 402 and the image restoring unit 403, respectively (S3001). The image extracting unit 402 extracts a low-resolution image (unit image) corresponding to the original image to be displayed from the composite image and outputs it to the image restoring unit 403 (S3002). The image restoration unit 403 restores the original image using the low-resolution image and the difference information (S2003), and outputs the original image to the decoding unit 405 corresponding to the monitor 500 that displays the original image by the output unit 404 (S2004). The decoding unit 405 decodes the input image and displays it on the monitor 500 (S2005).
[0029]
As described above, according to the image transmission system 1 of the first embodiment of the present invention, an image transmitting apparatus that transmits a combined image and difference information even when a combined image and an original image must be displayed And an image receiving apparatus capable of restoring the original image from the received composite image and the difference information, so that it is sufficient to transmit only the composite image and the difference information, thereby reducing the amount of information that must be transmitted on the transmission path 300. Can be done. For example, in the case of displaying one four-screen composite image and two original images, the multipoint video conference system described in Japanese Patent Application Laid-Open No. H11-88854 transmits four original images, so that communication for four screens is performed. Capacity is needed. Further, in the image transmission system described in Japanese Patent Application Laid-Open No. 2002-84532, since one composite image and two original images are transmitted, a communication capacity for three screens is required. On the other hand, in the image transmission system 1 according to the first embodiment of the present invention, since one combined image and two pieces of difference information are transmitted, only 2.5 screens of communication capacity are consumed. In comparison with the above method, the transmission amount can be reduced by about 37% and about 16%, respectively.
[0030]
In the present embodiment, the encoding method shown in FIG. 3 has been described as an example of the encoding means for encoding into a code having a hierarchically divided data structure. Other encoding methods that can be divided may be used. Further, as an example of the transmission path 300, a network based on IP has been described as an example, but other transmission means capable of transmitting encoded information may be used. Further, the encoding unit 201 is arranged inside the image transmitting apparatus 200, but may be arranged separately from the image transmitting apparatus 200. In this case, for the connection between the encoding unit 201 and the image transmitting apparatus 200, for example, a network connection by IP can be used. Similarly, the decoding unit 405 may be provided separately from the image receiving device 400. Also in this case, the connection between the image receiving apparatus 400 and the decoding unit 405 can be performed by using a network connection by IP, for example.
[0031]
(Second embodiment)
Next, a configuration of the image transmission system 2 according to the second embodiment of the present invention will be described with reference to FIG. The image transmission system 2 shown in FIG. 6 has the configuration of the image transmission system 1 shown in FIG. The image receiving device 400 includes an image storing unit 205 that outputs an original image corresponding to the difference information to be transmitted to the image dividing unit 202. And a composite image accumulating means 406 for supplying the image data to the image processing apparatus. Note that the instruction from the difference transmission control unit 204 is, for example, an instruction from an operator who specifies an image to be displayed, and the instruction method is not particularly limited.
[0032]
Next, with reference to FIGS. 7A and 7B, a process of storing the original image and the composite image will be described. FIG. 7A shows a flow of the original image accumulation processing in the image transmission device 200. The original image output from the encoding unit 201 is input not only to the image division unit 202 but also to the image storage unit 205 (S4001), and the input image is stored in the image storage unit 205 (S4002). ). FIG. 7B shows a flow of the composite image accumulation process in the image receiving device 400. The composite image received from the transmission path 300 is output from the distribution unit 401 to the composite image storage unit 406 (S5001), and stored in the composite image storage unit 406 (S5002).
[0033]
Next, a process of generating difference information from the original image stored in the image storage unit 205 in the image transmitting device 200 and transmitting the difference information to the image receiving device 400 will be described with reference to FIG. 7C. The difference transmission control unit 204 instructs the image storage unit 205 to output the original image corresponding to the difference information to be transmitted, and causes the image division unit 202 to output the original image (S6001). The image dividing unit 202 divides the input original image into a low-resolution image and difference information (S6002), and outputs the difference information to the transmission path 300 through the difference transmission control unit 204 (S6003).
[0034]
Next, with reference to FIG. 7D, a process of restoring the original image from the composite image stored in the composite image storage unit 406 and the difference information will be described. The distribution unit 401 outputs the difference information received from the transmission path 300 to the image restoration unit 403 (S7001). The image extracting unit 402 acquires a composite image including a low-resolution image corresponding to the original image to be displayed from the composite image storage unit 406 (S7002), and from the acquired composite image, a low-resolution image (unit) corresponding to the original image to be displayed. The image is extracted and output to the image restoration unit 403 (S7003). The image restoration unit 403 restores the original image from the difference information and the low-resolution image (S7004), and outputs from the output unit 404 to each decoding unit 405 corresponding to the monitor 500 that displays the image to be restored (S7005). . The decoding unit 405 decodes the input image and displays it on each monitor 500 (S7006).
[0035]
As described above, according to the image transmission system of the second embodiment of the present invention, by providing the image transmission device 200 with the image storage device 205 and the image reception device 400 with the composite image storage device 406, After confirming the content of the composite image, the necessary difference information can be transmitted to the image receiving device 400, and only the required image can be displayed as a high-resolution original image.
[0036]
(Third embodiment)
Next, an image transmission system 3 according to a third embodiment of the present invention will be described with reference to FIG. The image transmission system 3 according to the third embodiment of the present invention shown in FIG. 8 includes a difference information storage unit 206 for storing only difference information, instead of the image storage unit 205 of the image transmission system 2 shown in FIG. It is configured to be connected to the difference transmission control means 204.
[0037]
Next, with reference to FIGS. 9A and 9B, a difference information accumulation process and a difference information transmission process for the difference information accumulation unit 206 of the image transmission system 3 according to the third embodiment of the present invention will be described.
As shown in FIG. 9A, the difference transmission control unit 204 outputs the input difference information to the difference information storage unit 206 (S8001), and the difference information storage unit 206 stores the input difference information (S8002). When transmitting the difference information, the difference transmission control unit 204, for example, instructs the difference information storage unit 206 by the operator, and transmits the difference information stored therein to the image receiving apparatus 400 via the transmission path 300 ( S9001). The image receiving apparatus 400 executes the accumulation of the composite image and the restoration of the original image by the methods shown in FIGS. 7B and 7D.
[0038]
As described above, according to the image transmission system of the third embodiment of the present invention, the image transmission device 200 is provided with the difference information storage unit 206, and the image reception device 400 is provided with the composite image storage unit 406. Thus, the amount of data that must be stored in the image transmitting device 200 can be reduced, and the process of dividing an image every time difference information is transmitted can be eliminated.
[0039]
【The invention's effect】
The image transmitting apparatus and the image receiving apparatus according to the present invention are configured as described above, and in particular, by transmitting the low-resolution composite image and the difference information without transmitting the original image to the image receiving apparatus, And the original image is transmitted at the same time, the redundancy of transmission / reception data can be reduced, and the network bandwidth can be used effectively.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image transmission system according to a first embodiment of the present invention;
FIG. 2 is a flowchart illustrating an operation of the image transmission system according to the first embodiment of the present invention, in which (A) is a diagram illustrating a composite image and difference information transmission processing;
(B) A diagram showing a composite image display process.
(C) A diagram showing an original image display process.
FIG. 3 is a diagram for explaining hierarchical coding according to the first embodiment of the present invention;
FIG. 4 is a diagram for explaining arithmetic coding of hierarchically coded data in the image transmission system according to the first embodiment of the present invention;
(A) A diagram showing a data format having a composite image portion and a difference information portion,
(B) A diagram showing a case where there are two difference information portions,
(C) a diagram where the original images are collected in the first part,
FIG. 5 is a diagram showing processing for dividing, synthesizing, extracting, and restoring an image according to the data format shown in FIG. 4;
FIG. 6 is a block diagram illustrating a configuration of an image transmission system according to a second embodiment of the present invention;
FIG. 7 is a flowchart illustrating an operation of the image transmission system according to the second embodiment of the present invention;
(A) A diagram showing an original image accumulation process,
(B) A diagram showing a synthetic image accumulation process,
(C) A diagram showing a difference information transmission process.
(D) A diagram showing an original image display process.
FIG. 8 is a block diagram illustrating a configuration of an image transmission system according to a third embodiment of the present invention;
FIG. 9 is a flowchart illustrating an operation of the image transmission system according to the third embodiment of the present invention;
(A) Diagram showing difference information accumulation processing,
(B) A diagram showing a difference information transmission process.
FIG. 10 is a block diagram showing a conventional image transmission device;
FIG. 11 is a block diagram showing a conventional image transmission system.
[Explanation of symbols]
1, 2, 3 Image transmission system 100 Camera 200 Image transmission device 201 Encoding unit 202 Image division unit 203 Image synthesis unit 204 Difference transmission control unit 205 Image storage unit 206 Difference information storage unit 300 Transmission unit 400 Image reception unit 401 Distribution unit 402 Image extraction unit 403 Image restoration unit 404 Output unit 405 Decoding unit 406 Synthetic image storage unit 500 Monitor 600 Single screen control unit 601 Single screen processing unit 602 Output control unit 700 Multi screen control unit 701 Screen synthesis unit 702 Output control unit 800 Camera 801 Encoding means 802 Monitor
