本発明の第1の実施形態について図1を参照して詳細に説明する。図1は本実施形態の映像伝送システムの構成の概要であり、各回路でのブロック図を示している。本実施形態の映像伝送システムは送信符号化回路10と受信復号回路20からなり、送信符号化回路10から受信復号回路20へ伝送路等を介して映像データが送信される。
送信符号化回路10は検出遅延部11と、圧縮処理部12と、同期信号検出部13と、閾値部14と、比較部15と、マップ送信部16と、多重化処理部17からなる。
検出遅延部11は補正データの抽出などの処理が行われている間、映像信号を遅延させる。圧縮処理部12は映像信号を圧縮して伝送路へと送るための符号化を行う。同期信号検出部13は映像信号から輝度成分と色成分のデータを抽出する。閾値部14は補正を行う所定の色を判断するための輝度成分や色成分の規定値や閾値に関する情報が保存されている。また、閾値部14には補正を行う際の補正量についての情報も保存されている。比較部15は映像信号から抽出された輝度成分と色成分のデータと、閾値部14の値を比較し、補正の要否の判断を行う。また、補正が必要と判断した場合には補正量についての判断も行う。マップ送信部16は比較部15で判断された単位画素ごとに行う補正の補正量を記録した補正データを画面単位ごとや所定の数の画面ごとにまとめたデータを生成する。単位画素とは1組の輝度成分と色成分のデータが対応する画素範囲を意味する。多重化処理部17はマップ送信部16で生成された補正データに関する信号と圧縮処理部12で圧縮された映像信号とを多重化して伝送路へと送る。
受信復号回路20は分離化処理部21と、復号処理部22と、補正遅延部23と、マップ受信部24と、マッピング補正部25と、閾値部26からなる。分離化処理部21は伝送路を介して受け取った補正データに関する信号と圧縮された映像信号を分離する。復号処理部22は圧縮された映像信号の圧縮を復元する。補正遅延部23は補正量のデータが展開されるまで映像信号を遅延させる。マップ受信部は補正データを単位画素ごとのデータとして出力する。マッピング補正部25は補正量のデータと閾値部の情報を照合し、閾値部26に記録された補正量に従って、映像信号を補正して出力する。閾値部26は補正量のデータが保存されている。
送信符号化回路10で映像信号を圧縮化し補正データと多重化して伝送路へ送信する際の動作について図2を参照して説明する。図2は送信符号化回路10でのフローの概要を示したものである。
映像信号の形式や送受信に関わる方式などはITU−R(International Telecommunication Union Radiocommunications Sector:国際電気通信連合無線通信部門)の勧告に記載されている規格に従っているものとして説明する。映像信号の形式や送受信に関わる方式はITU−Rの勧告のBT.656やBT.601などに記載されている。映像信号は他の規格に従ったものとしてもよく、その場合、使用される表色系や各色の規定値が変わることがある。
映像信号が入力映像信号S11として送信符号化回路10に入力される(ステップ101)。送信符号化回路10に入力された入力映像信号S11は2つに分岐され検出遅延部11と同期信号検出部13へと入力される(ステップ102)。同期信号検出部13は入力された入力映像信号S11から輝度成分と色成分の情報を抽出する(ステップ103)。ITU−RのBT.656やBT.601での色の表現は、輝度成分および色成分は輝度成分をY、色成分をCbおよびCrとするYCbCr表色系に基づいている。抽出された輝度成分および色成分の情報はサンプル信号S14として比較部15へと送られる。比較部15はサンプル信号S14を受信すると、閾値部14から送られてくる閾値信号S15の値とサンプル信号S14の値を比較する(ステップ104)。
閾値信号S15は所定の色の輝度成分および色成分の規定値や、所定の色であると判断する値の範囲である閾値や、規定値からのずれに応じた補正量のデータを含んでいる。輝度成分および色成分の規定値などの値は、例えば、Y、Cb、Crを8bitの階調で示したデータとして記録されている。所定の色とは補正が必要とされている色を意味する。本実施形態では、所定の色が赤色であるとして説明する。ITU−Rの勧告のBT.653などを例とすると、赤色の規定値は8bitの階調の16進数表記で、Yが51、Cbが5A、CrがF0と表記される値である。
比較部15はサンプル信号S14と閾値信号S15を比較すると、サンプル信号S14の値が所定の色とみなせる範囲内にあるか判断する。所定の色とみなせる範囲内になく、補正が不要と判断した場合は(ステップ105でNo)、補正量が0であることに相当する比較信号S16を出力する(ステップ111)。所定の色とみなせる範囲内で、補正が必要と判断した場合は(ステップ105でYes)、比較部15は規定値からのずれ量に応じた補正量を判断し、比較信号S16として出力する(ステップ107)。
比較信号S16は3bitの符号データで構成される。3bitのうち最上位の符号ビットは、色成分と輝度成分のどちらを補正するかを示す。色成分を補正する場合は正として扱われ0で示され、輝度成分を補正する場合は負として扱われ1で示される。下位の2bitは補正量を示すために使われる。補正量が0の場合は、3bit分の符号が全て0となる。
比較部15から出力された比較信号S16はマップ送信部16へと送られる。マップ送信部16は比較信号S16を受信すると比較信号S16を基に補正量などの補正データを含むPES(Packetized Elementary Stream)データを作成する(ステップ108)。図3にXML(Extensible Markup Language)形式で記述された送信用のPESデータの元データの例を示した。PESデータはこのXML形式で記述された元データをパケットデータとしたものである。図3の例では画面番号とマッピングコードの順に記載されている。先頭の行はデータや通信規格を示す情報である。画面番号に対応する1画面ごとにマッピングコードが記載され、マッピングコードの部分は比較信号S16から得られた3bitの符号データで記載されている。マッピングコードの記載の順番は例えば画面の走査順等であり映像信号の順番と対応している。PESデータはマップ送信信号S17としてマップ送信部16から出力され多重化処理部17へと送られる。
検出遅延部11へと入力された入力映像信号S11は、もう一方へ分岐された映像信号の補正量データの生成処理に要する時間分遅延され、符号映像信号S12として出力される(ステップ112)。圧縮処理部12は符号映像信号S12を受信すると、伝送路への送信のための符号映像信号S12の圧縮を行う(ステップ113)。圧縮が行われた符号データは符号信号S13として圧縮処理部12から出力され多重化処理部17へと送られる。
多重化処理部17は符号信号S13とマップ送信信号S17を受信すると、2つの信号を多重化して1つの信号とする(ステップ109)。多重化処理部17は多重化した信号を送信信号S18として出力して送信する(ステップ110)。多重化処理部17から出力された送信信号S18は伝送路へと送られる。伝送路へ送られた送信信号S18は、伝送路で必要に応じた変調や復調などが行われながら伝送され、受信信号S21として受信復号回路20へと送られる。
送信符号化回路10の比較部15での補正量の決定方法の例を次に示す。ITU−RのBT.653などの勧告に従った映像信号は、輝度成分は画素ごと、色成分は2画素ごとの情報が含まれている。よって、隣接する2画素の輝度成分をそれぞれYmおよびYn、その2画素に該当するCbおよびCrの色成分をCbn、Crnとすると、Ym、Yn、Cbn、Crnの1つの組み合わせを1単位とみなすことができる。この1単位分の情報を含む2画素の組み合わせを単位画素と呼ぶこととする。また、2画素の組み合わせは水平方向に連続した2画素とする。2画素の組み合わせは垂直方向等で組み合わせることもある。補正量の判断はY=(Ym+Yn)/2、C=(Cbn+Crn)として、この1単位ごとにサンプル信号S14の輝度成分Yと色成分Cの値を閾値信号S15の値と比較することにより行う。2画素分の輝度成分の平均値を用いることにより、輝度の急峻な変化の影響等を抑制することができる。
閾値部14に保存されている閾値の例を図4に示した。図4の表には明るさの領域と明るさの領域ごとの輝度成分の閾値Ythの値と、色成分の閾値Cthの値が記載されている。各値は例えば8bitの階調に対応した値で記載されており、映像信号で用いられている輝度成分や色成分と同形式である。明るさの領域の領域とは映像の明るさを示し、例えば、R1が晴れ、R2が室内照明、R3が曇りと雨天、R4が室内正面、R5が夜のように各環境の明るさを想定して輝度に基づく領域分けがされている。明るさの領域分けがされているのは、映像中の天候や照明などからもたらされる明るさの違いが、人が映像に対して持つ印象に影響を与えるからである。
サンプル信号S14に含まれる映像信号から計算されたYとYthの値が比較され、どの明るさ領域に入るか判定される。次に明るさ領域に対応する色成分の閾値Cthと映像信号の色成分の和Cが比較され、閾値内にあるか判定される。所定の色の閾値範囲内にあり、補正が必要と判断された場合は補正値が決定される。このとき、所定の色が赤である場合はCr-Cbの値の正負についても計算し、閾値を満たし、かつ、Cr-Cbが正のときに赤と判定することがある。Crは赤色を表す色成分であり、CrがCbより大きいことを確認することで赤の検出精度を高めるためである。また、所定の色が赤の場合はC=Crとして扱われることもある。
補正値の決定は次の考え方に基づいた値によって行われる。映像信号の輝度成分が所定の色の規定値より高い場合は、色成分の補正を行う。明るい状況では鮮やかさがより求められるからである。また、輝度成分が所定の色の規定値より低い場合は、輝度成分の補正を行う。暗い映像の際は、色の差よりも明るさの差、すなわち、輝度成分の差の方が人の感覚へ与える影響が大きいからである。また、色成分の閾値Cthは輝度の高い明るさ領域のときには狭く、輝度の低い明るさ領域のときは広くなるように設定される。これは明るい映像のときは色に対する感度が高いために、所定の色と判定する範囲を狭くした方が好ましいからである。また、暗い映像のときは輝度に対する感度が高いために色については広く領域で同じ色と判定しても影響は小さい。言い換えると明るくぎらついた感じの映像では、色成分の変化量の範囲を狭くして的確に捉え、暗くくっきりしない映像では色成分の閾値を広い範囲で設定して色成分の変化量を過剰に捉えるということである。また、補正量は輝度成分が規定値より大きいとき、大きくプラスの場合は色の補正幅を小さくし、規定値に近い場合は色の補正幅が大きくなるようにする。輝度成分が規定値より小さいとき、補正量は輝度成分が規定値より大きくマイナスの場合は輝度成分の補正幅を大きくし、規定値に近い場合は輝度の補正幅が小さくなるようにする。
閾値内でも規定値と映像信号との値の差によって補正量は数段階に分かれている。図5は色成分および輝度成分をそれぞれ3段階に分けた補正量が設定されている例を示した。図5の表ではマッピング、マッピングコード、対応符号が示されている。マッピングは色成分および輝度成分の規定値との差を示す値である。マッピングコードはマッピングの値の領域ごとに1から3のコードが割り振られ、どちらを補正するかの正負の区別がつけられたマッピングコードがつけられている。対応符号はマッピングコードに対応する3bitの符号データである。補正量が0の場合は、マッピングコード0、3bitの対応符号には000が割り振られている。
次に受信復号回路20において、受信した信号を分離して圧縮を復元し、補正データを基に映像信号を補正する際の動作について図6を参照して説明する。図6は受信復号回路20でのフローの概要を示したものである。
送信符号化回路10から送信された送信信号S18が、伝送路を介して受信復号回路20へ受信信号S21として送られてくる。受信信号S21は受信復号回路20の分離化処理部21へと入力される(ステップ121)。分離化処理部21は、送信符号化回路10で多重化された補正用の補正データの信号と圧縮された映像信号を分離する(ステップ122)。補正用の補正データの信号は送信符号化回路10でのマップ送信信号S17に、圧縮された映像信号は符号信号S13に相当する。信号の分離が行われると補正用の補正データの信号はマップ受信信号S25としてマップ受信部24へ送られ、映像信号のデータ信号は復号信号S22として復号処理部22へと送られる。
復号処理部22は復号信号S22を受信すると圧縮を復元し復号映像信号S23として出力し、補正遅延部23へと送信する(ステップ128)。補正遅延部23は復号処理部22から復号映像信号S23を受信すると、マッピング補正部25へ該当する画素に相当する補正信号S26が送られデータ補正ができるタイミングまで映像信号を遅延させる(ステップ129)。遅延処理が終わると補正遅延部23は補正映像信号S24として映像信号をマッピング補正部25へと出力する。
マップ受信部24はマップ受信信号S25を受信すると、XML形式で記載されたPESデータのマッピングコードから補正する成分と補正量の情報を抽出し、補正信号S26としてマッピング補正部25へと送る(ステップ123)。マッピング補正部25は補正信号S26を受信すると、閾値部26から送られてくる閾値信号S27と補正信号S26の補正する成分と補正量を比較する。閾値信号S27には輝度成分および色成分の補正量と対応する実際の補正値が含まれている。マッピング補正部25は閾値信号S27と補正信号S26の値から補正値を決定する(ステップ124)。色成分を補正する際、色成分のデータがCb+Crとして示されている場合は、例えば、Cb+Crの値を所定の色の8bitの階調での規定値の比に従ってCbとCrに割り当てて決定することができる。マッピング補正部25は補正値を決定すると、補正が必要か、補正値が0で補正が不要かを判断する。補正が必要である場合(ステップ125でYes)、マッピング補正部25は補正遅延部23から送られてくる補正映像信号S24の輝度成分または色成分に、決定した補正量分の補正を実施する(ステップ126)。補正が終わるとマッピング補正部25は補正された映像信号を出力映像信号S28として出力する(ステップ127)。補正が不要な場合は(ステップ125でNo)、マッピング補正部25は補正映像信号S24への補正を行わずに映像信号を出力映像信号S28として出力する(ステップ127)。
本実施形態の映像伝送システムを用いると、圧縮の際などにデータの一部が失われて生じる復元時の画像の劣化を、映像信号に多重化して伝送した補正データに基づいて映像信号の補正を行うことにより抑制できる。その結果、映像信号の伝送時に圧縮等を行っても、映像の品質を維持することができる。
本発明の第2の実施形態について図7を参照して詳細に説明する。図7は本実施形態の映像伝送システムの構成の概要であり、各回路でのブロック図を示している。第1の実施形態では1画面の画面全体の補正を行っていたが、本実施形態では画面の一部の補正のみを行う。
本実施形態の映像伝送システムは送信符号化回路30と受信復号回路40からなり、送信符号化回路30から受信復号回路40へ伝送路を介して映像データが送信される。
送信符号化回路30は検出遅延部31と、圧縮処理部32と、同期信号検出部33と、閾値部34と、比較部35と、エリア特定部36と、マップ送信部37と、多重化処理部38からなる。検出遅延部31と、圧縮処理部32と、同期信号検出部33と、閾値部34と、比較部35と、多重化処理部38の機能は第1の実施形態の同一名称の部分と同じである。エリア特定部36は比較部35において補正が必要と判断された画素が、1つの画面を所定の数で分割した際にどの分割画面に多いか集計する。また、エリア特定部36は集計結果を基に分割画面のうちどの分割画面について補正を実施するかの判断を行う。マップ送信部37は比較部35で判断された単位画素ごとの補正量と補正するべき分割画面のデータを画面ごとまたは複数の画面ごとにまとめたデータを生成する。
受信復号回路40は分離化処理部41と、復号処理部42と、補正遅延部43と、マップ受信部44と、エリア展開部45と、閾値部47からなる。分離化処理部41と、復号処理部42と、補正遅延部43と、閾値部47の機能は第1の実施形態の同一名称の部分と同じである。
マップ受信部44は補正を行う画面を識別するデータと、所定の数で分割された1画面のどこの部分を補正するかの画面情報と、単位画素ごとの補正量に関するデータを抽出する。エリア特定部45は補正する部分が画面上のどの部分にあるかを特定し、補正する位置に関するデータと補正量に関するデータを出力する。マッピング補正部46は補正量のデータと閾値部47の情報を照合し、閾値部47に記録された実際に補正する値に従って、画面ごとに特定部分の映像信号を補正する。
送信符号化回路30で映像信号を圧縮化し補正データと多重化して伝送路へ送信する際の動作について図8を参照して説明する。図8は本実施形態の送信復号化回路30でのフローの概要を示している。映像信号の形式等は第1の実施形態に示した例と同一であるとする。
映像信号が入力映像信号S31として送信符号化回路30に入力される(ステップ131)。送信符号化回路に入力された入力映像信号S31は2つに分岐され検出遅延部31と同期信号検出部33へと入力される(ステップ132)。同期信号検出部33は入力された入力映像信号S31から輝度成分と色成分の情報を抽出する(ステップ133)。抽出された輝度成分および色成分の情報はサンプル信号S34として比較部35へと送られる。比較部35はサンプル信号S34を受信すると、閾値部34から送られてくる閾値信号S35の値とサンプル信号S34の値を比較する(ステップ134)。閾値信号S35は所定の色の輝度成分および色成分の規定値、所定の色であると判断する値の範囲、規定値からのずれに応じた補正量のデータを含んでいる。比較部35はサンプル信号S34と閾値信号S35を比較し、サンプル信号S34の値が所定の色とみなせる範囲内にあるか判断する。所定の色とみなせる範囲になく補正が不要と判断した場合には(ステップ135でNo)、補正量を0とした比較信号S36を出力する(ステップ142)。所定の色とみなせる範囲内で補正が必要と判断した場合は(ステップ135でYes)、比較部34は規定値からのずれ量に応じた補正量を判断し決定する(ステップ136)。補正量の判断方法や補正量を示すデータ形式は第1の実施形態に示した方法と同一であるとする。比較部35は比較結果を3bitの符号データの比較信号S36として出力し、エリア特定部36へと送る。
エリア特定部36は比較信号S36を受信すると、所定のデータ単位ごとに補正が行われた単位画素の数を集計する。所定のデータ単位ごととは、例えば、1画面の画像を9分割し、1/9画面分に含まれるデータとする。
図9にSDTV(Standard Definition Television:標準画質画像)での1画面を9分割した例を示した。SDTV規格の映像に含まれる画像の有効画素数は水平方向720画素、垂直方向480画素である。本実施形態では水平方向は2画素の組み合わせを1つの単位画素として考えているので、水平方向は360個の単位画素、垂直方向は480の単位画素となる。これを水平方向、垂直方向ともに均等に3分割した9つの画面に分けると、1つの分割画面は水平方向が120個の単位画素、垂直方向が160個の単位画素となる。図9では分割画面ごとにf1からf9のように個々を識別して位置を特定できる情報が付加されている。本実施形態では1画面を9分割したが、画面分割の方法は9分割以外でもよく、また、垂直方向と水平方向で分割数が異なってもよい。また、画面の有効画素数、すなわち解像度はSDTVの規格に従った解像度だけでなく、他の解像度の映像であってもよい。
エリア特定部36は、1/9画面分に含まれる単位画素ごとの輝度成分や色成分のうちいくつの単位画素について補正が必要とされ、補正データが送られてきたかを集計し、9つの分割画面についてそれぞれ集計する。補正の必要のない単位画素については0に相当する比較信号S36が送られてくるので、エリア特定部36はそれ以外の補正量を示す比較信号S36が送られてきた単位画素を補正が必要と判断して数を集計する。エリア特定部36は1/9画面ごとの分割画面のうちどの分割画面でもっとも補正する単位画素の数が多かったかを抽出する。エリア特定部36はもっとも補正する数が多かった分割画面を補正する分割画面として決定する(ステップ137)。エリア特定部36は補正する分割画面を識別する情報を、その画面に含まれる単位画素ごとの補正する成分と補正量のデータとともにエリア特定信号S37として出力し、マップ送信部37へと送る(ステップ138)。
マップ送信部37はエリア特定信号S37を受信すると、エリア特定信号S37を基に送信用のPESデータを作成する(ステップ139)。図10にXML形式で記述された送信用のPESの元データの例を示した。図10の例では画面番号と、画面位置番号と、マッピングコードが順に記述されている。先頭の行はデータや通信規格を示す情報である。画面位置情報は映像の1つの画面の中でどの位置の補正をするかを識別するための情報である。本実施形態の例では、分割画面ごとに割り振ったf1などの情報を用いている。マッピングコードの部分には比較信号S16から得られた3bitの符号データが記述されている。マッピングコードの記述の順番は例えば画面の走査順等であり映像信号の順番と対応させている。作成されたPESデータはマップ送信信号S38として多重化処理部38へと送られる。
検出遅延部31へと入力された入力映像信号S31は、もう一方へ分岐された入力映像信号S31の補正量データの処理に要する時間分遅延され、符号映像信号S32として出力される(ステップ143)。圧縮処理部32は符号映像信号S32を受信すると、伝送路への送信用に符号映像信号S32の圧縮を行う(ステップ144)。圧縮が行われた符号データとしての映像信号は符号信号S33として出力され多重化処理部38へと送られる。
多重化処理部38は符号信号S33とマップ送信信号S38を受信すると、2つの信号を多重化して1つの信号とする(ステップ141)。多重化処理部38は多重化した信号を送信信号S39として出力する。多重化処理部38から出力された送信信号S39は伝送路へと送られる。送信信号S39は伝送路において、必要に応じて変調や復調処理が行われて伝送され、受信信号S41として受信復号回路40へと送られる。
次に受信復号回路40で受信したデータ信号を分離して圧縮を復元し、補正データを基に映像信号を補正する際の動作について図11を参照して説明する。図11は本実施形態の受信復号回路40でのフローの概要を示したものである。
送信符号化回路30から送信された送信信号S39が、伝送路を介して受信復号回路40へ受信信号S41として送られてくる。受信信号S41は受信復号回路40の分離化処理部41へと入力される(ステップ151)。分離化処理部41は、送信符号化回路30で多重化された補正用のデータ信号と圧縮された映像信号を分離する。補正用のデータ信号は送信符号化回路30でのマップ送信信号S38に、圧縮された映像信号は符号信号S33に相当する。信号の分離が行われると補正用のデータ信号はマップ受信信号S45としてマップ受信部44へ送られ、映像信号のデータ信号は復号信号S42として復号処理部42へと送られる(ステップ152)。
復号処理部42は復号信号S42を受信すると圧縮を復元し復号映像信号S43を出力し、補正遅延部43へと送信する(ステップ159)。補正遅延部43は復号映像信号S43を受信すると、マッピング補正部46へ該当する画素に相当する補正信号が送られデータ補正ができるタイミングまで映像信号を遅延させる(ステップ160)。遅延処理が終わると補正遅延部43は補正映像信号S44として映像信号をマッピング補正部46へと出力する。
マップ受信部46はマップ受信信号S45を受信すると、PESデータから、補正する画面番号と、画面位置番号と、マッピングコードを読み出しエリア展開信号S46として出力し、エリア展開部45へと送る(ステップ153)。エリア展開部45はエリア展開信号S46を受信すると、マッピングコードから補正するのが輝度成分と色成分のどちらかを判断し、補正量の情報と、補正する画面位置の情報とともに補正信号S47として出力する(ステップ154)。マッピング補正部46は補正信号S47を受信すると、閾値部47から送られてくる閾値信号S48と補正信号S47に含まれる補正量に関する情報を比較し、実際に補正する値を決定する(ステップ155)。閾値信号S48には輝度成分および色成分の実際に補正する値が含まれている。マッピング補正部46は補正する値を決定すると補正映像信号S44がデータがどの画面のどの位置に相当するかを判断し、補正が必要かを判断する。補正が必要な場合(ステップ156でYes)、マッピング補正部46は補正映像信号S44のデータの輝度成分または色成分に、決定した補正値の補正を実施する(ステップ157)。補正が終わるとマッピング補正部46は補正された映像信号を出力映像信号S49として出力する(ステップ158)。補正値が0または補正する分割画面以外で補正が不要な場合は(ステップ156でNo)、マッピング補正部は補正映像信号の補正をせずに映像信号を出力映像信号S49として出力する(ステップ158)。
本実施形態では画面全体を補正するのではなく、1/9画面の部分の所定の色の補正を行った。1/9画面の補正に限定することにより、補正に関する処理および伝送するデータ量が削減でき、処理速度と映像データの伝送効率の向上が達成できる。映像信号は1秒間に30枚や60枚などの画像を使用しており、1画像について人の目が画面全体を認識することはない。よって、補正する必要の画素が多い領域に絞って補正を行っても、人の認識する画質は全体を補正した場合に近いものとなる。
また、本実施形態において、1画面ごとに分割した画面のうちどの位置でもっとも補正するべき画素が多いかで補正位置の判断を行っていたが、複数画面分の平均により決定してもよい。平均をとる画面数は数単位とすることもできるし、単位時間内に含まれる画面とすることもできる。この場合、画面ごとに補正する画面位置の判断を行いもっとも多かった位置としてもよいし、分割画面ごとに数画面分の補正が必要な単位画素の数を集計し、もっとも多かった位置としてもよい。数画面分の平均をとることにより、1画面で特異的にデータが変化した際も平均化されるため、画面のちらつき等を抑制することができる。また、数画面分の平均を取って数画面ごとに補正データを送る場合には、送信するデータ量を抑制することができる。また、補正する分割画面の画面を一定とせずに補正が必要と判断された単位画素数が一定数を超えた分割画面について補正する方法とすることもできる。
本実施形態の映像伝送システムを用いると、伝送時の圧縮の際などにデータの一部が失われて生じる復元時の画像の劣化を、映像信号に多重化して伝送した補正データに基づいて映像信号の補正を行うことにより抑制できる。また、画像の補正を画面の一部に絞って行うことにより、処理速度と映像の伝送効率が向上している。これらの結果、映像の品質の維持と処理速度と映像の伝送効率の向上を両立することができる。
第1および第2の実施形態の送信符号化回路および受信復号回路は、それぞれ1つの集積回路上で形成されていてもよい。また、送信符号化回路および受信復号回路は、各機能ごとまたは複数の機能ごとにまとめられて複数の集積回路に分けられて形成され、電子基板に実装されていてもよい。複数の集積回路上に形成された場合は1つの電子基板上に実装されていてもよく、複数の電子基板上に実装されたものが組み合わされていてもよい。また、複数の集積回路上に形成された場合は、機能ごとに複数の装置に分けられて用いられてもよい。複数の集積回路上に形成された場合は、複数の集積回路が3次元実装され1つのパッケージとして形成されることもある。
第1および第2の実施形態では所定の色を1色とした例を示したが、所定の色は複数であってもよい。その場合、閾値部には所定の色の識別情報とともに閾値データおよび補正量が記録され、補正に関する情報を示すPESデータに色情報が記録される方法としてもよい。複数の色に対応することにより、映像の品質の維持がより期待できる。
第1および第2の実施形態における映像は動画や静止画だけでなく文字だけの情報でもよい。また、それらが同時または経時的に組み合わされたものでもよい。
第1および第2の実施形態において、送信符号化回路と受信復号回路の閾値部に書き換え可能な半導体記憶素子等を用いて、閾値部のデータを新たなデータで書き換えられる形や閾値部のデータに新たなデータを追加できる形としてもよい。この場合、送信符号化回路側からデータが送られて、受信復号回路側のデータが書き換えられる形でもよく、また、他の装置から両方の回路に同一のデータが送られる形でもよい。閾値部のデータの書き換えが可能であることにより、規格の変更や重視するべき色の変更等にも対応が可能となる。また、閾値部に複数の閾値を持たせ、送られてくる映像の種類に合わせて選択される閾値が変更されてもよい。この場合、映像信号に映像の種類が記録されていて、その記録された映像の種類に基づいて閾値が選択される方法が例としてあげられる。
第1および第2の実施形態において閾値部に複数の閾値を持つ場合、映像表示装置等が設置されている場所の明るさに応じて、補正値が異なる設定としてもよい。同じ画面を同じ輝度成分と色成分を用いて表示しても、周囲の明るさによって画面の文字や画像の視認性や識別性、画面を見た人が受ける印象は大きくことなる。そのため、周囲の環境に応じて補正値を変えることにより、画面の視認性や識別性を向上させることや、画面の印象を向上することができる。この場合、照度センサーなどからの照度情報によって閾値部にてどの補正値に対応したデータを用いるか選択できる機能を設ける。また、照度だけでなく気温等の他の観測データをもとに切り替えられる方法を用いてもよい。人の感覚は気温等によっても左右されるからである。複数の閾値のデータを持つ場合は、自動的に選択される方法だけでなく使用者が選択できる方法としてもよく、さらに、自動と手動を切り替えられる方法としていてもよい。
第1および第2の実施形態では画面全体を補正または画面全体を分割して補正位置を決定していたが、あらかじめ画面の特定位置の補正を行うように設定されていてもよい。交通施設、商業施設、工場、学校や病院などでの情報表示装置に用いる場合、写真や図形、地図情報などが表示される領域と文字情報などが表示される領域があらかじめ分かれている場合がある。文字情報の視認性を安定して確保したい場合などに、文字情報の表示される部分にのみ補正を行うこともできる。また、写真や図形、地図情報などを重視する場合はそれらが表示される領域にのみ補正をすることもできる。これらの場合は、重視したい領域全体でもよく、また、それらの領域を分割して1部分のみに行う方法としてもよい。また、表示領域に応じて異なる分割数で補正される方法としてもよい。例えば、文字情報の領域は全体を補正し、写真や図形、地図情報などの領域は数分割してそのうちの単数または複数の分割部分に補正する方法としてもよい。これらの方法を用いることにより、補正のための処理や伝送データを抑制しつつ、補正したい部分の画質を重点的に維持することが可能となる。
本発明の第3の実施形態について図12を参照しながら説明する。図12は本実施形態の電子回路の構成の概要を示したものである。本実施形態の電子回路50は、判断手段51と、信号生成手段52と、多重化手段53とからなる。判断手段51は入力された映像信号に含まれるデータが所定の条件を充足するかを判断する。信号生成手段52は判断手段51の結果に基づいてデータの補正量を決定し補正情報信号を生成する。多重化手段53は補正情報信号を映像信号と多重化し送信信号を生成する。
本実施形態の電子回路を用いると、圧縮の際などにデータの一部が失われて生じる復元時の画像の劣化を、映像信号に補正信号を多重化して送信することにより抑制できる。その結果、映像信号の伝送時に圧縮等を行っても、映像の品質を維持することができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)入力される映像信号に含まれるデータが所定の条件を充足するかを判断する判断手段と、前記判断手段の結果に基づいて前記データの補正量を決定し補正情報信号を生成する信号生成手段と、前記補正情報信号を前記映像信号と多重化し送信信号を生成する多重化手段とを有することを特徴とする電子回路。
(付記2)前記データが輝度および色の情報を示すデータであることを特徴とする付記1に記載の電子回路。
(付記3)前記判断手段による判断があらかじめ設定された閾値と前記データの値との比較によって行われることを特徴とする付記1または2いずれかに記載の電子回路。
(付記4)前記映像信号の画面を所定の数の領域に分割し、前記判断手段の結果を前記領域ごとに集計する集計手段と、前記集計手段の結果に基づいて前記データを補正する補正領域を決定する領域決定手段とを有し、前記信号生成手段が前記補正情報信号に前記補正領域の情報を付加する手段を有することを特徴とする付記1から3いずれかに記載の電子回路。
(付記5)映像信号と前記映像信号と多重化され補正情報を含む補正信号とを分割する分割手段と、前記分割手段により分割された前記補正信号から補正の要否を判断する判断手段と、前記判断手段の判断結果に基づいて前記映像信号を補正する補正手段とを有することを特徴とする電子回路。
(付記6)前記補正信号が前記映像信号の画面内の領域に関する領域情報を含み、前記判断手段による判断が前記領域情報に基づいて行われる手段であることを特徴とする付記5に記載の電子回路。
(付記7)入力される映像信号に含まれるデータが所定の条件を充足するかを判断する第1の判断手段と、前記第1の判断手段の結果に基づいて前記データの補正量を決定し補正情報信号を生成する信号生成手段と、前記補正情報信号を前記映像信号と多重化し送信信号を生成する多重化手段と、前記送信信号を前記補正情報信号と前記映像信号とを分割する分割手段と、分割された前記補正情報信号から補正の要否を判断する第2の判断手段と、前記第2の判断手段の判断結果に基づいて前記映像信号を補正する補正手段とを有することを特徴とする映像伝送システム。
(付記8)前記データが輝度および色の情報を示すデータであることを特徴とする付記7に記載の映像伝送システム。
(付記9)前記第1判断手段による判断があらかじめ設定された閾値と前記データの値との比較によって行われることを特徴とする付記7または8いずれかに記載の映像伝送システム。
(付記10)前記映像信号の画面を所定の数の領域に分割し、前記第1の判断手段の結果を前記領域ごとに集計する集計手段と、前記集計手段の結果に基づいて前記データを補正する補正領域を決定する領域決定手段とを有し、前記信号生成手段が前記補正情報信号に前記補正領域の情報を付加する手段を有することを特徴とする付記7から9いずれかに記載の映像伝送システム。
(付記11)前記第2の判断手段が前記補正領域の情報に基づいて判断する手段であることを特徴とする付記10記載の映像伝送システム。
(付記12)入力される映像信号に含まれるデータが所定の条件を充足するかを判断する第1の判断をし、前記第1の判断の結果に基づいて前記データの補正量を決定し、前記補正量を含む補正情報信号を生成し、前記補正情報信号を前記映像信号と多重化して送信信号を送信し、前記送信信号を受信して前記補正情報信号と前記映像信号とに分割し、分割した前記補正情報信号から補正の要否を判断する第2の判断をし、前記第2の判断の結果に基づいて前記映像信号を補正することを特徴とする映像の補正方法。
(付記13)前記データが輝度および色の情報を示すデータであることを特徴とする付記12に記載の映像の補正方法。
(付記14)前記第1の判断があらかじめ設定された閾値と前記データの値との比較によって行われることを特徴とする付記12または13いずれかに記載の映像の補正方法。
(付記15)前記補正情報信号が前記映像信号の画面内の領域に関する領域情報を含み、前記第2の判断が前記領域情報に基づいて行われることを特徴とする付記12から14いずれかに記載の映像の補正方法。