JP2013207361A - 映像用電子回路および映像の補正方法 - Google Patents

Abstract

【課題】映像データの色情報などが伝送時等の圧縮により失われる影響を抑制し、復元時の映像の画質を向上する。
【解決手段】映像用の電子回路５０を、判断手段５１と、信号生成手段５２と、多重化手段５３とで構成する。判断手段５１は入力される映像信号に含まれるデータが所定の条件を充足するかを判断する。信号生成手段５２は判断手段５１の結果に基づいてデータの補正量を決定し補正情報信号を生成する。多重化手段５３は補正情報信号を映像信号と多重化し送信信号を生成する。データの補正量を示す補正信号を映像信号と多重化して送信し、復元時の映像データの補正を可能とすることにより、映像の画質を維持することができる。
【選択図】 図１２

Description

本発明は、映像伝送システムの電子回路に関する技術であり、特に映像データの補正に関するものである。

高画質のデジタル放送の普及や、駅や病院などの公共施設での大型表示装置での情報提供など映像情報の利用が盛んに行われるようになっている。画質の向上や情報量の増加により放送や通信での映像情報の伝達に高速化や大容量化が求められるようになり、通信網への負荷が増している。また、映像情報が公共の場で広く利用されて社会的重要性が増すにつれて、映像情報の伝達の正確性が強く求められるようになっており、大容量の映像情報の伝達を高速かつ正確に行うことが重要な課題となっている。映像情報のデータ量を削減することは限られた通信容量を有効に使い高速で伝送するために有効な方法であり、様々な映像圧縮および復元技術が検討されている。

一方で、映像圧縮の方法はデータの伝送の観点では効率が上がるが、映像データの圧縮時に元の画像データの一部が削除されるために、復元した際に劣化が生じることがある。
より正確な映像情報の伝達という観点ではこの劣化の影響を抑制する必要があり、失われた情報の部分を補完的に補う映像補正技術の検討が盛んに行われている。

映像信号の補正技術の１つとしては、特許文献１に示されたような映像信号を調整する技術があげられる。特許文献１の映像信号調整装置は入力された信号から複数の信号を発生させる際に、複数の信号間の差が小さくなるように補正する技術である。各信号を黒など所定の色を基準に測定し、測定結果を基に信号間の差がなくなるように増幅器等が制御される。その結果、各信号間のばらつきを抑制し、どの信号系統でも色調や輝度を同じにする補正が可能になるとしている。

また、特許文献２には画像信号の色情報が所定の色の補正するべき範囲内にあるかを検出し、検出結果を基に画像の色の補正を行う技術が示されている。特許文献２に示された回路では、画像信号から輝度に影響されないｘとｙの２つの色情報とし、色情報が閾値内にあるかを判定する。閾値内にあると判断された場合には、色信号の補正が行われる。輝度に影響されない色情報を用いることにより、輝度が色情報に与える影響を抑制して色検出が可能となり、画像中の物体の輪郭補正等の際に補正が必要な色の検出の精度が向上するとしている。

特開２００７−１３７２８号公報 特開平９−３３１５４３号公報

しかしながら、特許文献１に開示された技術には次のような課題がある。特許文献１の調整技術は、信号が複数あった場合に信号間の差を無くすための技術である。よって、複数の信号を比較できない環境下で１つの信号系統を補正したい場合は用いることができない。また、所定の色を表す信号を基準としており、伝送前後での色信号が変化する場合などの補正には用いることができない。

特許文献２の技術は画像信号から輝度成分を除いた色情報を検出に用い、画像に含まれる輪郭の補正などを行っているが、画像の全体の見た目を向上するための色補正の技術としては十分ではない。人間の目は色相よりも輝度に対しての方が敏感なため、画像全体の見た目や印象も各画素のもつ輝度に影響される。よって、輝度の情報を色補正の際に考慮しないと画面全体の印象を考慮した補正の要否の判断は困難である。また、特許文献２においても、伝送前後などの圧縮で失われる色情報の補正に関する技術は開示されてない。

本発明では、映像伝送システムにおいて映像データの色情報などが伝送時等の圧縮により失われる影響を抑制し、復元時の映像の画質を向上することを目的としている。

上記の課題を解決するため、本発明の電子回路は、判断手段と、信号生成手段と、多重化手段とからなる。判断手段は入力される映像信号に含まれるデータが所定の条件を充足するかを判断する。信号生成手段は判断手段の結果に基づいてデータの補正量を決定し補正情報信号を生成する。多重化手段は補正情報信号を映像信号と多重化し送信信号を生成する。

本発明によれば、圧縮の際などにデータの一部が失われて生じる復元時の画像の劣化を、映像信号に補正信号を多重化して送信することにより抑制できる。その結果、映像信号の伝送時に圧縮等を行っても、映像の品質を維持することができる。

本発明の第１の実施形態における構成の概要を示す図である。 本発明の第１の実施形態のフローの概略を示す図である。 本発明の第１の実施形態におけるデータの例を示す図である。 本発明の第１の実施形態におけるデータの例を示す図である。 本発明の第１の実施形態におけるデータの例を示す図である。 本発明の第１の実施形態のフローの概略を示す図である。 本発明の第２の実施形態における構成の概要を示す図である。 本発明の第２の実施形態のフローの概略を示す図である。 本発明の第２の実施形態における構成の一部の例を示す図である。 本発明の第２の実施形態におけるデータの例を示す図である。 本発明の第２の実施形態のフローの概略を示す図である。 本発明の第３の実施形態における構成の概要を示す図である。

本発明の第１の実施形態について図１を参照して詳細に説明する。図１は本実施形態の映像伝送システムの構成の概要であり、各回路でのブロック図を示している。本実施形態の映像伝送システムは送信符号化回路１０と受信復号回路２０からなり、送信符号化回路１０から受信復号回路２０へ伝送路等を介して映像データが送信される。

送信符号化回路１０は検出遅延部１１と、圧縮処理部１２と、同期信号検出部１３と、閾値部１４と、比較部１５と、マップ送信部１６と、多重化処理部１７からなる。

検出遅延部１１は補正データの抽出などの処理が行われている間、映像信号を遅延させる。圧縮処理部１２は映像信号を圧縮して伝送路へと送るための符号化を行う。同期信号検出部１３は映像信号から輝度成分と色成分のデータを抽出する。閾値部１４は補正を行う所定の色を判断するための輝度成分や色成分の規定値や閾値に関する情報が保存されている。また、閾値部１４には補正を行う際の補正量についての情報も保存されている。比較部１５は映像信号から抽出された輝度成分と色成分のデータと、閾値部１４の値を比較し、補正の要否の判断を行う。また、補正が必要と判断した場合には補正量についての判断も行う。マップ送信部１６は比較部１５で判断された単位画素ごとに行う補正の補正量を記録した補正データを画面単位ごとや所定の数の画面ごとにまとめたデータを生成する。単位画素とは１組の輝度成分と色成分のデータが対応する画素範囲を意味する。多重化処理部１７はマップ送信部１６で生成された補正データに関する信号と圧縮処理部１２で圧縮された映像信号とを多重化して伝送路へと送る。

受信復号回路２０は分離化処理部２１と、復号処理部２２と、補正遅延部２３と、マップ受信部２４と、マッピング補正部２５と、閾値部２６からなる。分離化処理部２１は伝送路を介して受け取った補正データに関する信号と圧縮された映像信号を分離する。復号処理部２２は圧縮された映像信号の圧縮を復元する。補正遅延部２３は補正量のデータが展開されるまで映像信号を遅延させる。マップ受信部は補正データを単位画素ごとのデータとして出力する。マッピング補正部２５は補正量のデータと閾値部の情報を照合し、閾値部２６に記録された補正量に従って、映像信号を補正して出力する。閾値部２６は補正量のデータが保存されている。

送信符号化回路１０で映像信号を圧縮化し補正データと多重化して伝送路へ送信する際の動作について図２を参照して説明する。図２は送信符号化回路１０でのフローの概要を示したものである。

映像信号の形式や送受信に関わる方式などはＩＴＵ−Ｒ（International Telecommunication Union Radiocommunications Sector：国際電気通信連合無線通信部門）の勧告に記載されている規格に従っているものとして説明する。映像信号の形式や送受信に関わる方式はＩＴＵ−Ｒの勧告のＢＴ.６５６やＢＴ.６０１などに記載されている。映像信号は他の規格に従ったものとしてもよく、その場合、使用される表色系や各色の規定値が変わることがある。

映像信号が入力映像信号Ｓ１１として送信符号化回路１０に入力される（ステップ１０１）。送信符号化回路１０に入力された入力映像信号Ｓ１１は２つに分岐され検出遅延部１１と同期信号検出部１３へと入力される（ステップ１０２）。同期信号検出部１３は入力された入力映像信号Ｓ１１から輝度成分と色成分の情報を抽出する（ステップ１０３）。ＩＴＵ−ＲのＢＴ.６５６やＢＴ.６０１での色の表現は、輝度成分および色成分は輝度成分をＹ、色成分をＣｂおよびＣｒとするＹＣｂＣｒ表色系に基づいている。抽出された輝度成分および色成分の情報はサンプル信号Ｓ１４として比較部１５へと送られる。比較部１５はサンプル信号Ｓ１４を受信すると、閾値部１４から送られてくる閾値信号Ｓ１５の値とサンプル信号Ｓ１４の値を比較する（ステップ１０４）。

閾値信号Ｓ１５は所定の色の輝度成分および色成分の規定値や、所定の色であると判断する値の範囲である閾値や、規定値からのずれに応じた補正量のデータを含んでいる。輝度成分および色成分の規定値などの値は、例えば、Ｙ、Ｃｂ、Ｃｒを８bitの階調で示したデータとして記録されている。所定の色とは補正が必要とされている色を意味する。本実施形態では、所定の色が赤色であるとして説明する。ＩＴＵ−Ｒの勧告のＢＴ．６５３などを例とすると、赤色の規定値は８bitの階調の１６進数表記で、Ｙが５１、Ｃｂが５Ａ、ＣｒがＦ０と表記される値である。

比較部１５はサンプル信号Ｓ１４と閾値信号Ｓ１５を比較すると、サンプル信号Ｓ１４の値が所定の色とみなせる範囲内にあるか判断する。所定の色とみなせる範囲内になく、補正が不要と判断した場合は（ステップ１０５でＮｏ）、補正量が０であることに相当する比較信号Ｓ１６を出力する（ステップ１１１）。所定の色とみなせる範囲内で、補正が必要と判断した場合は（ステップ１０５でＹｅｓ）、比較部１５は規定値からのずれ量に応じた補正量を判断し、比較信号Ｓ１６として出力する（ステップ１０７）。

比較信号Ｓ１６は３bitの符号データで構成される。３bitのうち最上位の符号ビットは、色成分と輝度成分のどちらを補正するかを示す。色成分を補正する場合は正として扱われ０で示され、輝度成分を補正する場合は負として扱われ１で示される。下位の２bitは補正量を示すために使われる。補正量が０の場合は、３bit分の符号が全て０となる。

比較部１５から出力された比較信号Ｓ１６はマップ送信部１６へと送られる。マップ送信部１６は比較信号Ｓ１６を受信すると比較信号Ｓ１６を基に補正量などの補正データを含むＰＥＳ（Packetized Elementary Stream）データを作成する（ステップ１０８）。図３にＸＭＬ（Extensible Markup Language）形式で記述された送信用のＰＥＳデータの元データの例を示した。ＰＥＳデータはこのＸＭＬ形式で記述された元データをパケットデータとしたものである。図３の例では画面番号とマッピングコードの順に記載されている。先頭の行はデータや通信規格を示す情報である。画面番号に対応する１画面ごとにマッピングコードが記載され、マッピングコードの部分は比較信号Ｓ１６から得られた３bitの符号データで記載されている。マッピングコードの記載の順番は例えば画面の走査順等であり映像信号の順番と対応している。ＰＥＳデータはマップ送信信号Ｓ１７としてマップ送信部１６から出力され多重化処理部１７へと送られる。

検出遅延部１１へと入力された入力映像信号Ｓ１１は、もう一方へ分岐された映像信号の補正量データの生成処理に要する時間分遅延され、符号映像信号Ｓ１２として出力される（ステップ１１２）。圧縮処理部１２は符号映像信号Ｓ１２を受信すると、伝送路への送信のための符号映像信号Ｓ１２の圧縮を行う（ステップ１１３）。圧縮が行われた符号データは符号信号Ｓ１３として圧縮処理部１２から出力され多重化処理部１７へと送られる。

多重化処理部１７は符号信号Ｓ１３とマップ送信信号Ｓ１７を受信すると、２つの信号を多重化して１つの信号とする（ステップ１０９）。多重化処理部１７は多重化した信号を送信信号Ｓ１８として出力して送信する（ステップ１１０）。多重化処理部１７から出力された送信信号Ｓ１８は伝送路へと送られる。伝送路へ送られた送信信号Ｓ１８は、伝送路で必要に応じた変調や復調などが行われながら伝送され、受信信号Ｓ２１として受信復号回路２０へと送られる。

送信符号化回路１０の比較部１５での補正量の決定方法の例を次に示す。ＩＴＵ−ＲのＢＴ.６５３などの勧告に従った映像信号は、輝度成分は画素ごと、色成分は２画素ごとの情報が含まれている。よって、隣接する２画素の輝度成分をそれぞれＹｍおよびＹｎ、その２画素に該当するＣｂおよびＣｒの色成分をＣｂn、Ｃｒnとすると、Ｙｍ、Ｙｎ、Ｃｂn、Ｃｒnの１つの組み合わせを１単位とみなすことができる。この１単位分の情報を含む２画素の組み合わせを単位画素と呼ぶこととする。また、２画素の組み合わせは水平方向に連続した２画素とする。２画素の組み合わせは垂直方向等で組み合わせることもある。補正量の判断はＹ＝（Ｙｍ＋Ｙｎ）／２、Ｃ＝（Ｃｂｎ＋Ｃｒｎ）として、この１単位ごとにサンプル信号Ｓ１４の輝度成分Ｙと色成分Ｃの値を閾値信号Ｓ１５の値と比較することにより行う。２画素分の輝度成分の平均値を用いることにより、輝度の急峻な変化の影響等を抑制することができる。

閾値部１４に保存されている閾値の例を図４に示した。図４の表には明るさの領域と明るさの領域ごとの輝度成分の閾値Ｙthの値と、色成分の閾値Ｃthの値が記載されている。各値は例えば８bitの階調に対応した値で記載されており、映像信号で用いられている輝度成分や色成分と同形式である。明るさの領域の領域とは映像の明るさを示し、例えば、Ｒ１が晴れ、Ｒ２が室内照明、Ｒ３が曇りと雨天、Ｒ４が室内正面、Ｒ５が夜のように各環境の明るさを想定して輝度に基づく領域分けがされている。明るさの領域分けがされているのは、映像中の天候や照明などからもたらされる明るさの違いが、人が映像に対して持つ印象に影響を与えるからである。

サンプル信号Ｓ１４に含まれる映像信号から計算されたＹとＹthの値が比較され、どの明るさ領域に入るか判定される。次に明るさ領域に対応する色成分の閾値Ｃthと映像信号の色成分の和Ｃが比較され、閾値内にあるか判定される。所定の色の閾値範囲内にあり、補正が必要と判断された場合は補正値が決定される。このとき、所定の色が赤である場合はＣｒ-Ｃｂの値の正負についても計算し、閾値を満たし、かつ、Ｃｒ-Ｃｂが正のときに赤と判定することがある。Ｃｒは赤色を表す色成分であり、ＣｒがＣｂより大きいことを確認することで赤の検出精度を高めるためである。また、所定の色が赤の場合はＣ＝Ｃｒとして扱われることもある。

補正値の決定は次の考え方に基づいた値によって行われる。映像信号の輝度成分が所定の色の規定値より高い場合は、色成分の補正を行う。明るい状況では鮮やかさがより求められるからである。また、輝度成分が所定の色の規定値より低い場合は、輝度成分の補正を行う。暗い映像の際は、色の差よりも明るさの差、すなわち、輝度成分の差の方が人の感覚へ与える影響が大きいからである。また、色成分の閾値Ｃｔｈは輝度の高い明るさ領域のときには狭く、輝度の低い明るさ領域のときは広くなるように設定される。これは明るい映像のときは色に対する感度が高いために、所定の色と判定する範囲を狭くした方が好ましいからである。また、暗い映像のときは輝度に対する感度が高いために色については広く領域で同じ色と判定しても影響は小さい。言い換えると明るくぎらついた感じの映像では、色成分の変化量の範囲を狭くして的確に捉え、暗くくっきりしない映像では色成分の閾値を広い範囲で設定して色成分の変化量を過剰に捉えるということである。また、補正量は輝度成分が規定値より大きいとき、大きくプラスの場合は色の補正幅を小さくし、規定値に近い場合は色の補正幅が大きくなるようにする。輝度成分が規定値より小さいとき、補正量は輝度成分が規定値より大きくマイナスの場合は輝度成分の補正幅を大きくし、規定値に近い場合は輝度の補正幅が小さくなるようにする。

閾値内でも規定値と映像信号との値の差によって補正量は数段階に分かれている。図５は色成分および輝度成分をそれぞれ３段階に分けた補正量が設定されている例を示した。図５の表ではマッピング、マッピングコード、対応符号が示されている。マッピングは色成分および輝度成分の規定値との差を示す値である。マッピングコードはマッピングの値の領域ごとに１から３のコードが割り振られ、どちらを補正するかの正負の区別がつけられたマッピングコードがつけられている。対応符号はマッピングコードに対応する３bitの符号データである。補正量が０の場合は、マッピングコード０、３bitの対応符号には０００が割り振られている。

次に受信復号回路２０において、受信した信号を分離して圧縮を復元し、補正データを基に映像信号を補正する際の動作について図６を参照して説明する。図６は受信復号回路２０でのフローの概要を示したものである。

送信符号化回路１０から送信された送信信号Ｓ１８が、伝送路を介して受信復号回路２０へ受信信号Ｓ２１として送られてくる。受信信号Ｓ２１は受信復号回路２０の分離化処理部２１へと入力される（ステップ１２１）。分離化処理部２１は、送信符号化回路１０で多重化された補正用の補正データの信号と圧縮された映像信号を分離する（ステップ１２２）。補正用の補正データの信号は送信符号化回路１０でのマップ送信信号Ｓ１７に、圧縮された映像信号は符号信号Ｓ１３に相当する。信号の分離が行われると補正用の補正データの信号はマップ受信信号Ｓ２５としてマップ受信部２４へ送られ、映像信号のデータ信号は復号信号Ｓ２２として復号処理部２２へと送られる。

復号処理部２２は復号信号Ｓ２２を受信すると圧縮を復元し復号映像信号Ｓ２３として出力し、補正遅延部２３へと送信する（ステップ１２８）。補正遅延部２３は復号処理部２２から復号映像信号Ｓ２３を受信すると、マッピング補正部２５へ該当する画素に相当する補正信号Ｓ２６が送られデータ補正ができるタイミングまで映像信号を遅延させる（ステップ１２９）。遅延処理が終わると補正遅延部２３は補正映像信号Ｓ２４として映像信号をマッピング補正部２５へと出力する。

マップ受信部２４はマップ受信信号Ｓ２５を受信すると、ＸＭＬ形式で記載されたＰＥＳデータのマッピングコードから補正する成分と補正量の情報を抽出し、補正信号Ｓ２６としてマッピング補正部２５へと送る（ステップ１２３）。マッピング補正部２５は補正信号Ｓ２６を受信すると、閾値部２６から送られてくる閾値信号Ｓ２７と補正信号Ｓ２６の補正する成分と補正量を比較する。閾値信号Ｓ２７には輝度成分および色成分の補正量と対応する実際の補正値が含まれている。マッピング補正部２５は閾値信号Ｓ２７と補正信号Ｓ２６の値から補正値を決定する（ステップ１２４）。色成分を補正する際、色成分のデータがＣｂ＋Ｃｒとして示されている場合は、例えば、Ｃｂ＋Ｃｒの値を所定の色の８bitの階調での規定値の比に従ってＣｂとＣｒに割り当てて決定することができる。マッピング補正部２５は補正値を決定すると、補正が必要か、補正値が０で補正が不要かを判断する。補正が必要である場合（ステップ１２５でＹｅｓ）、マッピング補正部２５は補正遅延部２３から送られてくる補正映像信号Ｓ２４の輝度成分または色成分に、決定した補正量分の補正を実施する（ステップ１２６）。補正が終わるとマッピング補正部２５は補正された映像信号を出力映像信号Ｓ２８として出力する（ステップ１２７）。補正が不要な場合は（ステップ１２５でＮｏ）、マッピング補正部２５は補正映像信号Ｓ２４への補正を行わずに映像信号を出力映像信号Ｓ２８として出力する（ステップ１２７）。

本実施形態の映像伝送システムを用いると、圧縮の際などにデータの一部が失われて生じる復元時の画像の劣化を、映像信号に多重化して伝送した補正データに基づいて映像信号の補正を行うことにより抑制できる。その結果、映像信号の伝送時に圧縮等を行っても、映像の品質を維持することができる。

本発明の第２の実施形態について図７を参照して詳細に説明する。図７は本実施形態の映像伝送システムの構成の概要であり、各回路でのブロック図を示している。第１の実施形態では１画面の画面全体の補正を行っていたが、本実施形態では画面の一部の補正のみを行う。

本実施形態の映像伝送システムは送信符号化回路３０と受信復号回路４０からなり、送信符号化回路３０から受信復号回路４０へ伝送路を介して映像データが送信される。

送信符号化回路３０は検出遅延部３１と、圧縮処理部３２と、同期信号検出部３３と、閾値部３４と、比較部３５と、エリア特定部３６と、マップ送信部３７と、多重化処理部３８からなる。検出遅延部３１と、圧縮処理部３２と、同期信号検出部３３と、閾値部３４と、比較部３５と、多重化処理部３８の機能は第１の実施形態の同一名称の部分と同じである。エリア特定部３６は比較部３５において補正が必要と判断された画素が、１つの画面を所定の数で分割した際にどの分割画面に多いか集計する。また、エリア特定部３６は集計結果を基に分割画面のうちどの分割画面について補正を実施するかの判断を行う。マップ送信部３７は比較部３５で判断された単位画素ごとの補正量と補正するべき分割画面のデータを画面ごとまたは複数の画面ごとにまとめたデータを生成する。

受信復号回路４０は分離化処理部４１と、復号処理部４２と、補正遅延部４３と、マップ受信部４４と、エリア展開部４５と、閾値部４７からなる。分離化処理部４１と、復号処理部４２と、補正遅延部４３と、閾値部４７の機能は第１の実施形態の同一名称の部分と同じである。

マップ受信部４４は補正を行う画面を識別するデータと、所定の数で分割された１画面のどこの部分を補正するかの画面情報と、単位画素ごとの補正量に関するデータを抽出する。エリア特定部４５は補正する部分が画面上のどの部分にあるかを特定し、補正する位置に関するデータと補正量に関するデータを出力する。マッピング補正部４６は補正量のデータと閾値部４７の情報を照合し、閾値部４７に記録された実際に補正する値に従って、画面ごとに特定部分の映像信号を補正する。

送信符号化回路３０で映像信号を圧縮化し補正データと多重化して伝送路へ送信する際の動作について図８を参照して説明する。図８は本実施形態の送信復号化回路３０でのフローの概要を示している。映像信号の形式等は第１の実施形態に示した例と同一であるとする。

映像信号が入力映像信号Ｓ３１として送信符号化回路３０に入力される（ステップ１３１）。送信符号化回路に入力された入力映像信号Ｓ３１は２つに分岐され検出遅延部３１と同期信号検出部３３へと入力される（ステップ１３２）。同期信号検出部３３は入力された入力映像信号Ｓ３１から輝度成分と色成分の情報を抽出する（ステップ１３３）。抽出された輝度成分および色成分の情報はサンプル信号Ｓ３４として比較部３５へと送られる。比較部３５はサンプル信号Ｓ３４を受信すると、閾値部３４から送られてくる閾値信号Ｓ３５の値とサンプル信号Ｓ３４の値を比較する（ステップ１３４）。閾値信号Ｓ３５は所定の色の輝度成分および色成分の規定値、所定の色であると判断する値の範囲、規定値からのずれに応じた補正量のデータを含んでいる。比較部３５はサンプル信号Ｓ３４と閾値信号Ｓ３５を比較し、サンプル信号Ｓ３４の値が所定の色とみなせる範囲内にあるか判断する。所定の色とみなせる範囲になく補正が不要と判断した場合には（ステップ１３５でＮｏ）、補正量を０とした比較信号Ｓ３６を出力する（ステップ１４２）。所定の色とみなせる範囲内で補正が必要と判断した場合は（ステップ１３５でＹｅｓ）、比較部３４は規定値からのずれ量に応じた補正量を判断し決定する（ステップ１３６）。補正量の判断方法や補正量を示すデータ形式は第１の実施形態に示した方法と同一であるとする。比較部３５は比較結果を３bitの符号データの比較信号Ｓ３６として出力し、エリア特定部３６へと送る。

エリア特定部３６は比較信号Ｓ３６を受信すると、所定のデータ単位ごとに補正が行われた単位画素の数を集計する。所定のデータ単位ごととは、例えば、１画面の画像を９分割し、１／９画面分に含まれるデータとする。

図９にＳＤＴＶ（Standard Definition Television：標準画質画像）での１画面を９分割した例を示した。ＳＤＴＶ規格の映像に含まれる画像の有効画素数は水平方向７２０画素、垂直方向４８０画素である。本実施形態では水平方向は２画素の組み合わせを１つの単位画素として考えているので、水平方向は３６０個の単位画素、垂直方向は４８０の単位画素となる。これを水平方向、垂直方向ともに均等に３分割した９つの画面に分けると、１つの分割画面は水平方向が１２０個の単位画素、垂直方向が１６０個の単位画素となる。図９では分割画面ごとにｆ１からｆ９のように個々を識別して位置を特定できる情報が付加されている。本実施形態では１画面を９分割したが、画面分割の方法は９分割以外でもよく、また、垂直方向と水平方向で分割数が異なってもよい。また、画面の有効画素数、すなわち解像度はＳＤＴＶの規格に従った解像度だけでなく、他の解像度の映像であってもよい。

エリア特定部３６は、１／９画面分に含まれる単位画素ごとの輝度成分や色成分のうちいくつの単位画素について補正が必要とされ、補正データが送られてきたかを集計し、９つの分割画面についてそれぞれ集計する。補正の必要のない単位画素については０に相当する比較信号Ｓ３６が送られてくるので、エリア特定部３６はそれ以外の補正量を示す比較信号Ｓ３６が送られてきた単位画素を補正が必要と判断して数を集計する。エリア特定部３６は１／９画面ごとの分割画面のうちどの分割画面でもっとも補正する単位画素の数が多かったかを抽出する。エリア特定部３６はもっとも補正する数が多かった分割画面を補正する分割画面として決定する（ステップ１３７）。エリア特定部３６は補正する分割画面を識別する情報を、その画面に含まれる単位画素ごとの補正する成分と補正量のデータとともにエリア特定信号Ｓ３７として出力し、マップ送信部３７へと送る（ステップ１３８）。

マップ送信部３７はエリア特定信号Ｓ３７を受信すると、エリア特定信号Ｓ３７を基に送信用のＰＥＳデータを作成する（ステップ１３９）。図１０にＸＭＬ形式で記述された送信用のＰＥＳの元データの例を示した。図１０の例では画面番号と、画面位置番号と、マッピングコードが順に記述されている。先頭の行はデータや通信規格を示す情報である。画面位置情報は映像の１つの画面の中でどの位置の補正をするかを識別するための情報である。本実施形態の例では、分割画面ごとに割り振ったｆ１などの情報を用いている。マッピングコードの部分には比較信号Ｓ１６から得られた３bitの符号データが記述されている。マッピングコードの記述の順番は例えば画面の走査順等であり映像信号の順番と対応させている。作成されたＰＥＳデータはマップ送信信号Ｓ３８として多重化処理部３８へと送られる。

検出遅延部３１へと入力された入力映像信号Ｓ３１は、もう一方へ分岐された入力映像信号Ｓ３１の補正量データの処理に要する時間分遅延され、符号映像信号Ｓ３２として出力される（ステップ１４３）。圧縮処理部３２は符号映像信号Ｓ３２を受信すると、伝送路への送信用に符号映像信号Ｓ３２の圧縮を行う（ステップ１４４）。圧縮が行われた符号データとしての映像信号は符号信号Ｓ３３として出力され多重化処理部３８へと送られる。

多重化処理部３８は符号信号Ｓ３３とマップ送信信号Ｓ３８を受信すると、２つの信号を多重化して１つの信号とする（ステップ１４１）。多重化処理部３８は多重化した信号を送信信号Ｓ３９として出力する。多重化処理部３８から出力された送信信号Ｓ３９は伝送路へと送られる。送信信号Ｓ３９は伝送路において、必要に応じて変調や復調処理が行われて伝送され、受信信号Ｓ４１として受信復号回路４０へと送られる。

次に受信復号回路４０で受信したデータ信号を分離して圧縮を復元し、補正データを基に映像信号を補正する際の動作について図１１を参照して説明する。図１１は本実施形態の受信復号回路４０でのフローの概要を示したものである。

送信符号化回路３０から送信された送信信号Ｓ３９が、伝送路を介して受信復号回路４０へ受信信号Ｓ４１として送られてくる。受信信号Ｓ４１は受信復号回路４０の分離化処理部４１へと入力される（ステップ１５１）。分離化処理部４１は、送信符号化回路３０で多重化された補正用のデータ信号と圧縮された映像信号を分離する。補正用のデータ信号は送信符号化回路３０でのマップ送信信号Ｓ３８に、圧縮された映像信号は符号信号Ｓ３３に相当する。信号の分離が行われると補正用のデータ信号はマップ受信信号Ｓ４５としてマップ受信部４４へ送られ、映像信号のデータ信号は復号信号Ｓ４２として復号処理部４２へと送られる（ステップ１５２）。

復号処理部４２は復号信号Ｓ４２を受信すると圧縮を復元し復号映像信号Ｓ４３を出力し、補正遅延部４３へと送信する（ステップ１５９）。補正遅延部４３は復号映像信号Ｓ４３を受信すると、マッピング補正部４６へ該当する画素に相当する補正信号が送られデータ補正ができるタイミングまで映像信号を遅延させる（ステップ１６０）。遅延処理が終わると補正遅延部４３は補正映像信号Ｓ４４として映像信号をマッピング補正部４６へと出力する。

マップ受信部４６はマップ受信信号Ｓ４５を受信すると、ＰＥＳデータから、補正する画面番号と、画面位置番号と、マッピングコードを読み出しエリア展開信号Ｓ４６として出力し、エリア展開部４５へと送る（ステップ１５３）。エリア展開部４５はエリア展開信号Ｓ４６を受信すると、マッピングコードから補正するのが輝度成分と色成分のどちらかを判断し、補正量の情報と、補正する画面位置の情報とともに補正信号Ｓ４７として出力する（ステップ１５４）。マッピング補正部４６は補正信号Ｓ４７を受信すると、閾値部４７から送られてくる閾値信号Ｓ４８と補正信号Ｓ４７に含まれる補正量に関する情報を比較し、実際に補正する値を決定する（ステップ１５５）。閾値信号Ｓ４８には輝度成分および色成分の実際に補正する値が含まれている。マッピング補正部４６は補正する値を決定すると補正映像信号Ｓ４４がデータがどの画面のどの位置に相当するかを判断し、補正が必要かを判断する。補正が必要な場合（ステップ１５６でＹｅｓ）、マッピング補正部４６は補正映像信号Ｓ４４のデータの輝度成分または色成分に、決定した補正値の補正を実施する（ステップ１５７）。補正が終わるとマッピング補正部４６は補正された映像信号を出力映像信号Ｓ４９として出力する（ステップ１５８）。補正値が０または補正する分割画面以外で補正が不要な場合は（ステップ１５６でＮｏ）、マッピング補正部は補正映像信号の補正をせずに映像信号を出力映像信号Ｓ４９として出力する（ステップ１５８）。

本実施形態では画面全体を補正するのではなく、１／９画面の部分の所定の色の補正を行った。１／９画面の補正に限定することにより、補正に関する処理および伝送するデータ量が削減でき、処理速度と映像データの伝送効率の向上が達成できる。映像信号は１秒間に３０枚や６０枚などの画像を使用しており、１画像について人の目が画面全体を認識することはない。よって、補正する必要の画素が多い領域に絞って補正を行っても、人の認識する画質は全体を補正した場合に近いものとなる。

また、本実施形態において、１画面ごとに分割した画面のうちどの位置でもっとも補正するべき画素が多いかで補正位置の判断を行っていたが、複数画面分の平均により決定してもよい。平均をとる画面数は数単位とすることもできるし、単位時間内に含まれる画面とすることもできる。この場合、画面ごとに補正する画面位置の判断を行いもっとも多かった位置としてもよいし、分割画面ごとに数画面分の補正が必要な単位画素の数を集計し、もっとも多かった位置としてもよい。数画面分の平均をとることにより、１画面で特異的にデータが変化した際も平均化されるため、画面のちらつき等を抑制することができる。また、数画面分の平均を取って数画面ごとに補正データを送る場合には、送信するデータ量を抑制することができる。また、補正する分割画面の画面を一定とせずに補正が必要と判断された単位画素数が一定数を超えた分割画面について補正する方法とすることもできる。

本実施形態の映像伝送システムを用いると、伝送時の圧縮の際などにデータの一部が失われて生じる復元時の画像の劣化を、映像信号に多重化して伝送した補正データに基づいて映像信号の補正を行うことにより抑制できる。また、画像の補正を画面の一部に絞って行うことにより、処理速度と映像の伝送効率が向上している。これらの結果、映像の品質の維持と処理速度と映像の伝送効率の向上を両立することができる。

第１および第２の実施形態の送信符号化回路および受信復号回路は、それぞれ１つの集積回路上で形成されていてもよい。また、送信符号化回路および受信復号回路は、各機能ごとまたは複数の機能ごとにまとめられて複数の集積回路に分けられて形成され、電子基板に実装されていてもよい。複数の集積回路上に形成された場合は１つの電子基板上に実装されていてもよく、複数の電子基板上に実装されたものが組み合わされていてもよい。また、複数の集積回路上に形成された場合は、機能ごとに複数の装置に分けられて用いられてもよい。複数の集積回路上に形成された場合は、複数の集積回路が３次元実装され１つのパッケージとして形成されることもある。

第１および第２の実施形態では所定の色を１色とした例を示したが、所定の色は複数であってもよい。その場合、閾値部には所定の色の識別情報とともに閾値データおよび補正量が記録され、補正に関する情報を示すＰＥＳデータに色情報が記録される方法としてもよい。複数の色に対応することにより、映像の品質の維持がより期待できる。

第１および第２の実施形態における映像は動画や静止画だけでなく文字だけの情報でもよい。また、それらが同時または経時的に組み合わされたものでもよい。

第１および第２の実施形態において、送信符号化回路と受信復号回路の閾値部に書き換え可能な半導体記憶素子等を用いて、閾値部のデータを新たなデータで書き換えられる形や閾値部のデータに新たなデータを追加できる形としてもよい。この場合、送信符号化回路側からデータが送られて、受信復号回路側のデータが書き換えられる形でもよく、また、他の装置から両方の回路に同一のデータが送られる形でもよい。閾値部のデータの書き換えが可能であることにより、規格の変更や重視するべき色の変更等にも対応が可能となる。また、閾値部に複数の閾値を持たせ、送られてくる映像の種類に合わせて選択される閾値が変更されてもよい。この場合、映像信号に映像の種類が記録されていて、その記録された映像の種類に基づいて閾値が選択される方法が例としてあげられる。

第１および第２の実施形態において閾値部に複数の閾値を持つ場合、映像表示装置等が設置されている場所の明るさに応じて、補正値が異なる設定としてもよい。同じ画面を同じ輝度成分と色成分を用いて表示しても、周囲の明るさによって画面の文字や画像の視認性や識別性、画面を見た人が受ける印象は大きくことなる。そのため、周囲の環境に応じて補正値を変えることにより、画面の視認性や識別性を向上させることや、画面の印象を向上することができる。この場合、照度センサーなどからの照度情報によって閾値部にてどの補正値に対応したデータを用いるか選択できる機能を設ける。また、照度だけでなく気温等の他の観測データをもとに切り替えられる方法を用いてもよい。人の感覚は気温等によっても左右されるからである。複数の閾値のデータを持つ場合は、自動的に選択される方法だけでなく使用者が選択できる方法としてもよく、さらに、自動と手動を切り替えられる方法としていてもよい。

第１および第２の実施形態では画面全体を補正または画面全体を分割して補正位置を決定していたが、あらかじめ画面の特定位置の補正を行うように設定されていてもよい。交通施設、商業施設、工場、学校や病院などでの情報表示装置に用いる場合、写真や図形、地図情報などが表示される領域と文字情報などが表示される領域があらかじめ分かれている場合がある。文字情報の視認性を安定して確保したい場合などに、文字情報の表示される部分にのみ補正を行うこともできる。また、写真や図形、地図情報などを重視する場合はそれらが表示される領域にのみ補正をすることもできる。これらの場合は、重視したい領域全体でもよく、また、それらの領域を分割して１部分のみに行う方法としてもよい。また、表示領域に応じて異なる分割数で補正される方法としてもよい。例えば、文字情報の領域は全体を補正し、写真や図形、地図情報などの領域は数分割してそのうちの単数または複数の分割部分に補正する方法としてもよい。これらの方法を用いることにより、補正のための処理や伝送データを抑制しつつ、補正したい部分の画質を重点的に維持することが可能となる。

本発明の第３の実施形態について図１２を参照しながら説明する。図１２は本実施形態の電子回路の構成の概要を示したものである。本実施形態の電子回路５０は、判断手段５１と、信号生成手段５２と、多重化手段５３とからなる。判断手段５１は入力された映像信号に含まれるデータが所定の条件を充足するかを判断する。信号生成手段５２は判断手段５１の結果に基づいてデータの補正量を決定し補正情報信号を生成する。多重化手段５３は補正情報信号を映像信号と多重化し送信信号を生成する。

本実施形態の電子回路を用いると、圧縮の際などにデータの一部が失われて生じる復元時の画像の劣化を、映像信号に補正信号を多重化して送信することにより抑制できる。その結果、映像信号の伝送時に圧縮等を行っても、映像の品質を維持することができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）入力される映像信号に含まれるデータが所定の条件を充足するかを判断する判断手段と、前記判断手段の結果に基づいて前記データの補正量を決定し補正情報信号を生成する信号生成手段と、前記補正情報信号を前記映像信号と多重化し送信信号を生成する多重化手段とを有することを特徴とする電子回路。

（付記２）前記データが輝度および色の情報を示すデータであることを特徴とする付記１に記載の電子回路。

（付記３）前記判断手段による判断があらかじめ設定された閾値と前記データの値との比較によって行われることを特徴とする付記１または２いずれかに記載の電子回路。

（付記４）前記映像信号の画面を所定の数の領域に分割し、前記判断手段の結果を前記領域ごとに集計する集計手段と、前記集計手段の結果に基づいて前記データを補正する補正領域を決定する領域決定手段とを有し、前記信号生成手段が前記補正情報信号に前記補正領域の情報を付加する手段を有することを特徴とする付記１から３いずれかに記載の電子回路。

（付記５）映像信号と前記映像信号と多重化され補正情報を含む補正信号とを分割する分割手段と、前記分割手段により分割された前記補正信号から補正の要否を判断する判断手段と、前記判断手段の判断結果に基づいて前記映像信号を補正する補正手段とを有することを特徴とする電子回路。

（付記６）前記補正信号が前記映像信号の画面内の領域に関する領域情報を含み、前記判断手段による判断が前記領域情報に基づいて行われる手段であることを特徴とする付記５に記載の電子回路。

（付記７）入力される映像信号に含まれるデータが所定の条件を充足するかを判断する第１の判断手段と、前記第１の判断手段の結果に基づいて前記データの補正量を決定し補正情報信号を生成する信号生成手段と、前記補正情報信号を前記映像信号と多重化し送信信号を生成する多重化手段と、前記送信信号を前記補正情報信号と前記映像信号とを分割する分割手段と、分割された前記補正情報信号から補正の要否を判断する第２の判断手段と、前記第２の判断手段の判断結果に基づいて前記映像信号を補正する補正手段とを有することを特徴とする映像伝送システム。

（付記８）前記データが輝度および色の情報を示すデータであることを特徴とする付記７に記載の映像伝送システム。

（付記９）前記第１判断手段による判断があらかじめ設定された閾値と前記データの値との比較によって行われることを特徴とする付記７または８いずれかに記載の映像伝送システム。

（付記１０）前記映像信号の画面を所定の数の領域に分割し、前記第１の判断手段の結果を前記領域ごとに集計する集計手段と、前記集計手段の結果に基づいて前記データを補正する補正領域を決定する領域決定手段とを有し、前記信号生成手段が前記補正情報信号に前記補正領域の情報を付加する手段を有することを特徴とする付記７から９いずれかに記載の映像伝送システム。

（付記１１）前記第２の判断手段が前記補正領域の情報に基づいて判断する手段であることを特徴とする付記１０記載の映像伝送システム。

（付記１２）入力される映像信号に含まれるデータが所定の条件を充足するかを判断する第１の判断をし、前記第１の判断の結果に基づいて前記データの補正量を決定し、前記補正量を含む補正情報信号を生成し、前記補正情報信号を前記映像信号と多重化して送信信号を送信し、前記送信信号を受信して前記補正情報信号と前記映像信号とに分割し、分割した前記補正情報信号から補正の要否を判断する第２の判断をし、前記第２の判断の結果に基づいて前記映像信号を補正することを特徴とする映像の補正方法。

（付記１３）前記データが輝度および色の情報を示すデータであることを特徴とする付記１２に記載の映像の補正方法。

（付記１４）前記第１の判断があらかじめ設定された閾値と前記データの値との比較によって行われることを特徴とする付記１２または１３いずれかに記載の映像の補正方法。

（付記１５）前記補正情報信号が前記映像信号の画面内の領域に関する領域情報を含み、前記第２の判断が前記領域情報に基づいて行われることを特徴とする付記１２から１４いずれかに記載の映像の補正方法。

本発明は、放送分野や各施設内等で映像伝送時に用いられる映像データの圧縮、復元装置等に利用することができる。

１０ 送信符号化回路
１１ 検出遅延部
１２ 圧縮処理部
１３ 同期信号検出部
１４ 閾値部
１５ 比較部
１６ マップ送信部
１７ 多重化処理部
２０ 受信復号回路
２１ 分離化処理部
２２ 復号処理部
２３ 補正遅延部
２４ マップ受信部
２５ マッピング補正部
２６ 閾値部
３０ 送信符号化回路
３１ 検出遅延部
３２ 圧縮処理部
３３ 同期信号検出部
３４ 閾値部
３５ 比較部
３６ エリア特定部
３７ マップ送信部
３８ 多重化処理部
４０ 受信復号回路
４１ 分離化処理部
４２ 復号処理部
４３ 補正遅延部
４４ マップ受信部
４５ エリア展開部
４６ マッピング補正部
４７ 閾値部
５０ 電子回路
５１ 判断手段
５２ 信号生成手段
５３ 多重化手段
１０１−１１３ 送信符号化回路での各動作
１２１−１２９ 受信復号回路での各動作
１３１−１４４ 送信符号化回路での各動作
１５１−１６０ 受信復号回路での各動作
Ｓ１１ 入力映像信号
Ｓ１２ 符号映像信号
Ｓ１３ 符号信号
Ｓ１４ サンプル信号
Ｓ１５ 閾値信号
Ｓ１６ 比較信号
Ｓ１７ マップ送信信号
Ｓ１８ 送信信号
Ｓ２１ 受信信号
Ｓ２２ 復号信号
Ｓ２３ 復号映像信号
Ｓ２４ 補正映像信号
Ｓ２５ マップ受信信号
Ｓ２６ 補正信号
Ｓ２７ 閾値信号
Ｓ２８ 出力映像信号
Ｓ３１ 入力映像信号
Ｓ３２ 符号映像信号
Ｓ３３ 符号信号
Ｓ３４ サンプル信号
Ｓ３５ 閾値信号
Ｓ３６ 比較信号
Ｓ３７ エリア特定信号
Ｓ３８ マップ送信信号
Ｓ３９ 送信信号
Ｓ４１ 受信信号
Ｓ４２ 復号信号
Ｓ４３ 復号映像信号
Ｓ４４ 補正映像信号
Ｓ４５ マップ受信信号
Ｓ４６ エリア展開信号
Ｓ４７ 補正信号
Ｓ４８ 閾値信号
Ｓ４９ 出力映像信号

Claims (10)

1. 入力される映像信号に含まれるデータが所定の条件を充足するかを判断する判断手段と、前記判断手段の結果に基づいて前記データの補正量を決定し補正情報信号を生成する信号生成手段と、前記補正情報信号を前記映像信号と多重化し送信信号を生成する多重化手段とを有することを特徴とする電子回路。
2. 前記データが輝度および色の情報を示すデータであることを特徴とする請求項１に記載の電子回路。
3. 前記判断手段による判断があらかじめ設定された閾値と前記データの値との比較によって行われることを特徴とする請求項１または２いずれかに記載の電子回路。
4. 前記映像信号の画面を所定の数の領域に分割し、前記判断手段の結果を前記領域ごとに集計する集計手段と、前記集計手段の結果に基づいて前記データを補正する補正領域を決定する領域決定手段とを有し、
   前記信号生成手段が前記補正情報信号に前記補正領域の情報を付加する手段を有することを特徴とする請求項１から３いずれかに記載の電子回路。
5. 映像信号と前記映像信号と多重化され補正情報を含む補正信号とを分割する分割手段と、前記分割手段により分割された前記補正信号から補正の要否を判断する判断手段と、前記判断手段の判断結果に基づいて前記映像信号を補正する補正手段とを有することを特徴とする電子回路。
6. 請求項１から４いずれかに記載の電子回路から送信信号が出力され、前記送信信号が請求項５記載の電子回路に入力されることを特徴とする映像伝送システム。
7. 入力される映像信号に含まれるデータが所定の条件を充足するかを判断する第１の判断をし、前記第１の判断の結果に基づいて前記データの補正量を決定し、前記補正量を含む補正情報信号を生成し、前記補正情報信号を前記映像信号と多重化して送信信号を送信し、
   前記送信信号を受信して前記補正情報信号と前記映像信号とに分割し、分割した前記補正情報信号から補正の要否を判断する第２の判断をし、前記第２の判断の結果に基づいて前記映像信号を補正することを特徴とする映像の補正方法。
8. 前記データが輝度および色の情報を示すデータであることを特徴とする請求項７に記載の映像の補正方法。
9. 前記第１の判断があらかじめ設定された閾値と前記データの値との比較によって行われることを特徴とする請求項７または８いずれかに記載の映像の補正方法。
10. 前記補正情報信号が前記映像信号の画面内の領域に関する領域情報を含み、前記第２の判断が前記領域情報に基づいて行われることを特徴とする請求項７から９いずれかに記載の映像の補正方法。

Images