JP2018067861A - 画像送信装置、画像受信装置、画像送信方法及び画像送信プログラム - Google Patents

Abstract

【課題】所定の伝送路で映像信号を伝送する際、伝送路に合わせた画像サイズに変換する必要があり、スケーリングにより映像の品質が劣化する。【解決手段】画像送信装置１００は、所定の入力サイズの入力画像を所定の出力サイズの出力画像に変換して送信する。書き込み部３２は、入力画像を画像処理し、入力画像の水平画素数に合った第１水平同期信号にしたがって入力画像の水平画素数単位で画素データをメモリ４０に書き込む。読み出し部３４は、メモリ４０に書き込まれた画像を読み出す際、出力画像の水平画素数に合った第２水平同期信号にしたがって出力画像の水平画素数単位で画素データをメモリ４０から読み出す。送信部６０は、読み出された出力画像を伝送路ＳＤＩ１〜ＳＤＩ４に伝送する。【選択図】図１

Description

本発明は、画像を伝送路で送受信する画像送受信技術に関する。

ビデオ信号伝送規格の一つにＳＤＩ（Serial Digital Interface）があり、ＨＤＴＶ（High Definition Television）映像の伝送用に３ＧｂｐｓのＳＤＩ（「３Ｇ−ＳＤＩ」）が利用されている。ＨＤＴＶの４倍の画素数の映像信号（「４Ｋ映像」）を伝送するためには１２Ｇｂｐｓの伝送路が必要であるが、４Ｋ映像を４分割して出力すれば、既存の３Ｇ−ＳＤＩを４本用いて伝送することができる。

特許文献１には、撮像装置において映像信号を複数に分割してインデックス番号を付加し、表示装置においてインデックス番号を読み取り、撮像時の分割した位置の配列で映像信号の画像を表示する技術が記載されている。

特開２００５−１８４４４１号公報

所定の伝送路で映像信号を伝送する際、伝送路に合わせた画像サイズに変換する必要があり、スケーリングにより映像の品質が劣化するという問題があった。画質を劣化させないで映像を所定の伝送路で送受信する方法が求められている。

本発明はこうした状況に鑑みてなされたものであり、その目的は、画質を劣化させないで映像を所定の伝送路で送受信することのできる画像送受信技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像送信装置は、入力画像を画像処理し、前記入力画像の水平画素数に合った第１水平同期信号にしたがって前記入力画像の水平画素数単位で画素データをメモリ（４０）に書き込む書き込み部（３２）と、前記メモリ（４０）に書き込まれた画像を読み出す際、出力画像の水平画素数に合った第２水平同期信号にしたがって前記出力画像の水平画素数単位で画素データを前記メモリ（４０）から読み出す読み出し部（３４）と、読み出された出力画像を伝送路（ＳＤＩ１、ＳＤＩ２、ＳＤＩ３、ＳＤＩ４）に伝送する送信部（６０）とを含む。

本発明の別の態様は、画像受信装置である。この装置は、伝送路（ＳＤＩ１、ＳＤＩ２、ＳＤＩ３、ＳＤＩ４）から入力画像を受信する受信部（２１０、３１０）と、前記入力画像の水平画素数に合った第１水平同期信号にしたがって前記入力画像の水平画素数単位で画素データをメモリ（２４０、３２４）に書き込む書き込み部（２３２、３２３）と、前記メモリ（２４０、３２４）に書き込まれた画像を読み出す際、出力画像の水平画素数に合った第２水平同期信号にしたがって前記出力画像の水平画素数単位で画素データを前記メモリ（２４０、３２４）から読み出し、読み出された画像を画像処理する読み出し部（２３４、３２６）と、読み出された出力画像を表示または保存するために出力する出力部（２３８、３２８）とを含む。

本発明のさらに別の態様は、画像送信方法である。この方法は、入力画像を画像処理し、前記入力画像の水平画素数に合った第１水平同期信号にしたがって前記入力画像の水平画素数単位で画素データをメモリに書き込むステップと、前記メモリに書き込まれた画像を読み出す際、出力画像の水平画素数に合った第２水平同期信号にしたがって前記出力画像の水平画素数単位で画素データを前記メモリから読み出すステップと、読み出された出力画像を伝送路に伝送するステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、画質を劣化させないで映像を所定の伝送路で伝送することができる。

実施の形態に係る画像送信装置の構成図である。 図２（ａ）〜図２（ｃ）は、図１の変換処理部の書き込み部によってメモリに書き込まれる画像データと、図１の変換処理部の読み出し部によってメモリから読み出される画像データを説明する図である。 図３（ａ）〜図３（ｃ）は、比較のために、伝送路に合わせてスケーリングすることにより映像を伝送する従来の方法を説明する図である。 図１の書き込み部が入力画像をメモリに書き込む際の同期信号を説明する図である。 図５（ａ）および図５（ｂ）は、図１の書き込み部が入力画像をメモリに書き込む際のタイミングチャートである。 図１の読み出し部がメモリから出力画像を読み出す際の同期信号を説明する図である。 図７（ａ）および図７（ｂ）は、図１の読み出し部がメモリから出力画像を読み出す際のタイミングチャートである。 実施の形態に係る画像受信装置の構成図である。 図９（ａ）および図９（ｂ）は、図８の変換処理部の書き込み部によってメモリに書き込まれる画像データと、図８の変換処理部の読み出し部によってメモリから読み出される画像データを説明する図である。 別の実施の形態に係る画像受信装置の構成図である。 図１の画像送信装置による画像変換手順を説明するフローチャートである。 図８または図１０の画像受信装置による画像復元手順を説明するフローチャートである。

図１は、実施の形態に係る画像送信装置１００の構成図である。画像送信装置１００は、撮像部１０と、第１信号処理部２０と、変換処理部３０と、メモリ４０と、第２信号処理部５０と、送信部６０とを含む。

撮像部１０は、一例として、魚眼レンズなどを搭載したドーム型の撮影カメラにより３６０度の全周囲映像を撮影し、イメージセンサから横２９９２画素、縦２９７６画素の画像データを出力する。出力フォーマットはたとえばＬＶＤＳ（Low Voltage Differential Signaling）等の差動出力である。

第１信号処理部２０は、一例として、ＦＰＧＡ（Field Programmable Gate Array）であり、撮像部１０のイメージセンサから出力される画像データを、画像サイズはそのままで変換処理部３０に入力できるベイヤー（Bayer）配列のＲＧＢデータ等のフォーマットに変換して出力する。たとえば、ＳｕｂＬＶＤＳの入力信号をＬＶＤＳの出力信号に変換するなどのバス種類の変換や、６００ＭＨｚの入力信号を３００ＭＨｚの出力信号に変換する（逆の周波数変換もありうる）などの周波数の変換などのフォーマット変換が行われる。

変換処理部３０は、一例として、ＳｏＣ（System-on-a-Chip）であり、第１信号処理部２０からの映像入力信号を送信部６０の伝送路に合ったフォーマットの映像出力信号に変換して、第２信号処理部５０に供給する。データ入力側同期信号とデータ出力側同期信号が異なるため、変換処理部３０は、メモリ４０に入力側の同期信号にしたがってデータを書き込む書き込み部３２と、メモリ４０から出力側の同期信号にしたがってデータを読み出す読み出し部３４とを備え、メモリ４０への書き込みとメモリ４０からの読み込みで異なる同期信号を用いる。

図２（ａ）〜図２（ｃ）は、変換処理部３０の書き込み部３２によってメモリ４０に書き込まれる画像データと、変換処理部３０の読み出し部３４によってメモリ４０から読み出される画像データを説明する図である。図２（ａ）〜図２（ｃ）を参照しながら、変換処理部３０の書き込み部３２と読み出し部３４の動作を説明する。

変換処理部３０の書き込み部３２は、第１信号処理部２０から受け取った横２９９２画素、縦２９７６画素の入力信号を画像処理し、その有効領域である横２９６０画素、縦２９６０画素を入力画像としてメモリ４０に書き込む。入力画像の水平画素数に合った水平同期信号にしたがって、１ライン当たりの水平画素数が２９６０画素の画素データをメモリ４０に書き込み、入力画像の垂直画素数に合った垂直同期信号にしたがって２９６０ラインを書き込むことで１フレームの画像データをメモリ４０に形成する。画像処理には、ベイヤー（Bayer）配列のＲＧＢデータを色差サブサンプリング４：２：２等のＹＣデータに色変換する処理が含まれ、メモリ４０には、横２９６０画素、縦２９６０画素のＹＣデータが形成され、色差サブサンプリング４：２：２の場合、入力データ量は１フレーム当たり２９６０×２９６０×２＝１７，５２３，２００バイトとなる。画像処理として、必要に応じてノイズ除去、色調整、ホワイトバランスなどを行ってもよい。

図２（ａ）は、書き込み部３２によってメモリ４０に書き込まれた画像データを示す。第１ラインには、画素Ｙ１、Ｙ２〜Ｙ２９６０が書き込まれ、第２ラインには、画素Ｙ２９６１〜Ｙ５９２０が書き込まれ、末尾画素は第２９６０ラインのＹ８７６１６００である。読み出し時には、メモリ４０に形成された横２９６０画素、縦２９６０画素の入力画像を上下に２分割し、上半分入力画像、下半分入力画像からそれぞれ同時に画素データを読み出す。上半分入力画像は第１ラインから第１４８０ラインまでであり、先頭画素はＹ１、末尾画素はＹ４３８０８００である。下半分入力画像は第１４８１ラインから第２９６０ラインまでであり、先頭画素はＹ４３８０８０１、末尾画素はＹ８７６１６００である。Ｙ（輝度）画像の有効データ量は、上半分が２９８０×１４８０＝４，３８０，８００バイトであり、下半分が２９８０×１４８０＝４，３８０，８００バイトである。色差サブサンプリング４：２：２の場合、Ｃ（色差）画像はＣｂとＣｒの２種類のデータから構成されており、ＣｂとＣｒを合わせたＣ（色差）画像はＹ（輝度）画像と同じデータ量である。なお、色差サブサンプリング４：２：２とは、輝度画像Yに対して、色差画像Ｃｂ、Ｃｒのそれぞれの水平の解像度を半分に減らした形式であり、Ｙの２画素に対して、Ｃｂ、Ｃｒの各1画素がそれぞれ対応する。

変換処理部３０の読み出し部３４は、横２９６０画素、縦１４８０画素の上半分入力画像、下半分入力画像のそれぞれから、入力画像の水平サイズ（画素数）、垂直サイズ（画素数）と異なる横４０９６画素、縦１０８０画素の上半分出力画像、下半分出力画像としてメモリ４０から読み出す。出力画像の水平画素数に合った水平同期信号にしたがって１ライン当たりの水平画素数が４０９６画素の画素データを読み出し、出力画像の垂直画素数に合った垂直同期信号にしたがって１０８０ラインを読み出すことで１フレームの上半分出力画像、下半分出力画像をメモリ４０から読み出す。１０８０ラインを読み出す際、第１０６９ラインの途中までは画素データが存在するが、それ以降は画素データが存在しないため、画像としては無効となるデータで埋める。変換処理部３０の書き込み部３２でメモリ４０に書き込む際に、メモリ４０の画素データが存在しない領域に、画像としては無効となるデータを埋めてもよい。

図２（ｂ）は、読み出し部３４によってメモリ４０から読み出された画像データを示す。図２（ａ）の横２９６０画素、縦１４８０画素の上半分入力画像から、１ライン当たり４０９６画素を読み出すことで、図２（ｂ）の上段に示すように、横４０９６画素、縦１０８０画素の上半分出力画像が形成され、同様に図２（ａ）の横２９６０画素、縦１４８０画素の下半分入力画像から、１ライン当たり４０９６画素を読み出すことで、図２（ｂ）の下段に示すように、横４０９６画素、縦１０８０画素の下半分出力画像が形成される。

図２（ｂ）に示すように、上半分出力画像の第１ラインには、図２（ａ）の上半分入力画像の第１ラインのＹ１からＹ２９６０までの画素と第２ラインのＹ２９６１からＹ４０９６までの画素が配置される。同様にして、上半分出力画像の第２ラインから第１０６９ラインまで上半分入力画像の画素が順次配置されるが、第１０７０ラインでは上半分入力画像の画素が足りなくなる。第１０７０ラインの前半の２１７６個の画素には上半分入力画像の第１４８０ラインの画素が配置されるが、第１０７０ラインの後半の１９２０個の画素には、有効画素が存在しないため、画像としては無効となるデータが埋められる。さらに、上半分出力画像の第１０７１ラインから第１０８０ラインまでの１０ライン分は画像としては無効となるデータが埋められた無効ラインとなる。したがって、図２（ｂ）の上半分出力画像の有効データ量は、４０９６×１０６９＋２１７６＝４，３８０，８００バイトであり、画像としては無効となるデータ量は、４０９６×１０＋１９２０＝４２，８８０バイトとなる。下半分出力画像についても上半分出力画像と同様である。

また、読み出し部３４は、図２（ｂ）の上半分出力画像を読み出す際、図２（ｃ）の上段に示すように上半分出力画像を左右に２分割し、入力画像の水平サイズ（画素数）、および垂直サイズ（画素数）と異なる横２０４８画素、縦１０８０画素の左上出力画像、右上出力画像としてメモリ４０から読み出すこともできる。出力画像の水平画素数に合った水平同期信号にしたがって、１ライン当たりの水平画素数が２０４８画素の画素データを左右同時に読み出し、出力画像の垂直画素数に合った垂直同期信号にしたがって１０８０ラインを読み出すことで１フレームの左上出力画像、右上出力画像をメモリ４０から読み出す。同様に、読み出し部３４は、図２（ｂ）の下半分出力画像を読み出す際、図２（ｃ）の下段に示すように下半分出力画像を左右に２分割し、出力画像の水平画素数に合った水平同期信号にしたがって、１ライン当たりの水平画素数が２０４８画素の画素データを左右同時に読み出し、出力画像の垂直画素数に合った垂直同期信号にしたがって１０８０ラインを読み出すことで１フレームの左下出力画像、右下出力画像をメモリ４０から読み出す。これにより、横２０４８画素、縦１０８０画素の左上出力画像、右上出力画像、左下出力画像、右下出力画像が生成される。

左上出力画像、右上出力画像、左下出力画像、右下出力画像は、横４０９６画素、縦２１６０画素で出力されるモニタイメージを上下左右に４分割したものである。このように４分割するのは、分割された画像を送信部６０において４本の伝送路ＳＤＩ１、ＳＤＩ２、ＳＤＩ３、ＳＤＩ４により同時に伝送するためである。変換処理部３０は、メモリ４０から読み出された上下左右に４分割された左上出力画像、右上出力画像、左下出力画像、右下出力画像を第２信号処理部５０に供給する。

第２信号処理部５０は、変換処理部３０の読み出し部３４から供給された横２０４８画素、縦１０８０画素の左上出力画像、右上出力画像、左下出力画像、右下出力画像をＳＤＩ信号フォーマットに変換してそれぞれ送信部６０の伝送路ＳＤＩ１、ＳＤＩ２、ＳＤＩ３、ＳＤＩ４に供給する。第２信号処理部５０から送信部６０へ供給される出力信号は、各チャンネルとも３Ｇ−ＳＤＩ信号規格（ＳＭＰＴＥ４２４Ｍ）であり、データ転送レートはそれぞれ約３Ｇビット/秒、合計で約１２Ｇビット／秒である。

送信部６０は、第２信号処理部５０から供給された左上出力画像、右上出力画像、左下出力画像、右下出力画像をそれぞれ伝送路ＳＤＩ１、ＳＤＩ２、ＳＤＩ３、ＳＤＩ４で同時に伝送する。これにより、１フレームの映像は、３Ｇ−ＳＤＩ信号フォーマットとして、４チャンネルで伝送され、出力データ量は１フレーム当たり２０４８×１０８０×４×２＝１７，６９４，７２０バイトとなる。

図２（ａ）〜図２（ｃ）から明らかであるように、変換処理部３０が入出力間の同期信号を変換することによって、横２９６０画素、縦２９６０画素の入力画像を、横２０４８画素、縦１０８０画素の左上出力画像、右上出力画像、左下出力画像、右下出力画像に変換しても、画像の縦横のサイズが変更されるだけで画像の有効データ量は全く変更されていない。したがって画質を全く劣化させずに、４チャンネルの伝送路ＳＤＩ１〜ＳＤＩ４で伝送することができる。

従来は、所定の伝送路で映像信号を伝送する際、伝送路の同期信号に合わせた画像サイズに変換する必要があり、スケーリングにより映像の品質が劣化するのを避けられなかった。

図３（ａ）〜図３（ｃ）は、比較のために、伝送路の同期信号に合わせてスケーリングすることにより映像を伝送する従来の方法を説明する図である。ここでは、１ライン３８４０画素の伝送モードで伝送する場合を説明する。図３（ａ）に示すように、横２９６０画素、縦２９６０画素の入力画像に対して、１ライン３８４０画素でアライメントするために左右４４０画素を空けて、２９６０画素を水平方向に書き込み、垂直方向は１０８０ラインになるように画像データを縮小してメモリに書き込む。有効データ量は２９６０×１０８０＝３，１９６，８００バイトとなる。ここでは上半分の画像を示しているが、下半分についても同様に画像データを縮小して横３８４０画素、縦１０８０画素の画像を生成する。

図３（ｂ）に示すように、１ライン３８４０画素のアライメントでメモリから読み出す。１水平同期信号内に転送するデータ量は３８４０画素である。読み出された画像データは図３（ｃ）に示すようにそのままＳＤＩ信号規格で伝送され、モニタではそのまま出力することで画像として再生することができるが、垂直方向にスケーリング（縮小）したことにより、画質は劣化する。図３（ａ）〜図３（ｃ）のスケーリングによる伝送方法では、左右４４０画素分が有効に利用されていない。

それに対して、図２（ａ）〜図２（ｃ）で説明した画像変換方法を用いれば、スケーリングを行わないため、画質の劣化が生じない。ただし、図２（ｃ）の４分割画像をそのままモニタに表示した場合、１つのラインに元の入力画像の複数のラインが混ざっているため、画像としては意味をなさない。後述のように画像受信装置において、画像を２９６０画素ずつ取り出して再構成し、元の画像を復元する必要がある。

図４は、書き込み部３２が入力画像をメモリ４０に書き込む際の入力側の同期信号を説明する図である。書き込み部３２は、クロック周波数７２０．７２／１．００１ＭＨｚの下で、横２９６０画素、縦２９６０画素の入力画像を６０／１．００１ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）のフレームレートでメモリ４０に書き込む。書き込み部３２は、入力される有効サンプル数が、水平方向２９６０サンプル、垂直方向２９６０ラインとなるように、水平同期信号を３９００サンプル、垂直同期信号を３０８０ラインのタイミングで与えて画素をサンプリングする。図中の点線の矢印は書き込み順を示す。

図５（ａ）および図５（ｂ）は、書き込み部３２が入力画像をメモリ４０に書き込む際のタイミングチャートである。図５（ａ）は、３９００サンプル毎に与えられる水平同期信号（Ｈｓｙｎｃ）と、３０８０ライン毎に与えられる垂直同期信号（Ｖｓｙｎｃ）を示す。

図５（ｂ）は、図５（ａ）の垂直同期信号（Ｈｓｙｎｃ）を拡大した図であり、１水平同期期間の間に水平方向に１ライン当たり２９６０個の画素が有効データとしてサンプリングされ、上半分の第１４８０ラインの最後の４３８０８００番目の画素がサンプリングされるまでのタイミングチャートを示している。この後、下半分についても同様にサンプリングされる。

図６は、読み出し部３４がメモリ４０から出力画像を読み出す際の出力側の同期信号を説明する図である。読み出し部３４は、クロック周波数１４８．５／１．００１ＭＨｚの下で、メモリ４０に格納された入力画像の上半分から横４０９６画素、縦１０８０画素の出力画像の上半分をフレームレート６０／１．００１ｆｐｓでメモリ４０から読み出し、メモリ４０に格納された入力画像の下半分から横４０９６画素、縦１０８０画素の出力画像の下半分をフレームレート６０／１．００１ｆｐｓでメモリ４０から読み出す。ここでは、主に入出力画像の上半分について説明し、下半分については上半分と同様であるから説明を適宜省略する。読み出し部３４は、出力される有効サンプル数が、水平方向２０４８サンプル、垂直方向１０８０ラインとなるように、水平同期信号を２２００サンプル、垂直同期信号を１１２５ラインのタイミングで与えて画素をライン毎にサンプリングする。図中の点線の矢印は読み出し順を示す。左右に２分割して左右同時に読み出す。また、Ｃ画像もＹ画像と同様に２分割して左右同時に読み出す。

図７（ａ）および図７（ｂ）は、読み出し部３４がメモリ４０から出力画像を読み出す際のタイミングチャートである。図７（ａ）は、を２２００サンプル毎に与えられる水平同期信号（Ｈｓｙｎｃ）と、１１２５ライン毎に与えられる垂直同期信号（Ｖｓｙｎｃ）を示す。

図７（ｂ）は、図７（ａ）の垂直同期信号（Ｈｓｙｎｃ）を拡大した図であり、出力画像の上半分について、１水平同期期間の間に水平方向にＳＤＩ１用データ（左上出力画像）およびＳＤＩ２用データ（右上出力画像）として１ライン当たり２０４８個の画素が有効データとしてサンプリングされ、第１０７０ラインがサンプリングされるまでのタイミングチャートを示している。第１０７０ラインでは、ＳＤＩ１用データとして４３７８６２４番目から４３８０６７２番目までの画素が有効サンプルとして読み出され、ＳＤＩ２用データとして４３８０６７３番目から４３８０８００番目までの画素が有効サンプルとして読み出され、残りは画像としては無効となるデータが埋められる。第１０７１ラインから第１０８０ラインまでは画像としては無効となるデータのみが埋められる。

出力画像の下半分についても上半分と同様であり、ＳＤＩ３用データ（左下出力画像）およびＳＤＩ４用データ（右下出力画像）が同じ同期信号にしたがって同時に読み出される。すなわち、ＳＤＩ１用データのＹ１画素、ＳＤＩ２用データのＹ２０４９画素、ＳＤＩ３用データのＹ４３８０８０１画素、ＳＤＩ４用データのＹ４３８２８４９画素を最初の読み出し画素としてそれ以降も出力タイミングを揃えて上下左右に４分割した画像を同期信号にしたがって同時に読み出す。また、Ｃ画像もＹ画像と同様に読み出す。

図８は、実施の形態に係る画像受信装置２００の構成図である。画像受信装置２００は、受信部２１０と、第３信号処理部２２０と、変換処理部２３０と、メモリ２４０と、ＳＤ（Secure Digital）カード２５０とを含む。図示しないが、必要に応じて画像を表示するための表示部を備えてもよい。

画像受信装置２００は、画像送信装置１００から伝送された画像データを受信し、画像を復元して表示または保存する。画像送信装置１００による出力画像はそのままモニタに表示しても画像としては意味をなさないため、画像受信装置２００において元の画像に復元する必要がある。

受信部２１０は、画像送信装置１００の送信部６０により伝送された４分割された横２０４８画素、縦１０８０画素の画像データを４つの伝送路ＳＤＩ１、ＳＤＩ２、ＳＤＩ３、ＳＤＩ４で受信する。入力データ量は１フレーム当たり２０４８×１０８０×４×２＝１７，６９４，７２０バイトである。ＳＤＩ１、ＳＤＩ２、ＳＤＩ３、ＳＤＩ４で受信された左上画像、右上画像、左下画像、右下画像は第３信号処理部２２０に供給される。

第３信号処理部２２０は、一例として、ＦＰＧＡであり、入力画像データを、画像サイズはそのままで変換処理部２３０に入力できるフォーマットに変換して出力する。

変換処理部２３０は、一例として、ＳｏＣであり、第３信号処理部２２０からの映像入力信号から元の画像を復元して出力する。データ入力側同期信号とデータ出力側同期信号が異なるため、変換処理部２３０は、メモリ２４０に入力側同期信号にしたがってデータを書き込む書き込み部２３２と、メモリ２４０から出力側同期信号にしたがってデータを読み出す読み出し部２３４とを備え、入出力間で同期信号を変換する。

図９（ａ）および図９（ｂ）は、変換処理部２３０の書き込み部２３２によってメモリ２４０に書き込まれる画像データと、変換処理部２３０の読み出し部２３４によってメモリ２４０から読み出される画像データを説明する図である。図９（ａ）および図９（ｂ）を参照しながら、変換処理部２３０の書き込み部２３２と読み出し部２３４の動作を説明する。

変換処理部２３０の書き込み部２３２は、第３信号処理部２２０から左上画像および右上画像を受け取り、水平同期信号にしたがって、１ライン当たりの水平画素数が２０４８画素の左上画像および右上画像の画素データをメモリ２４０の左右の対応する位置に書き込み、垂直同期信号にしたがって１０８０ラインを書き込む。これにより、１フレームの上半分の画像データがメモリ２４０に形成される。同様に、書き込み部２３２は、第３信号処理部２２０から左下画像および右下画像を受け取り、水平同期信号にしたがって、１ライン当たりの水平画素数が２０４８画素の左下画像および右下画像の画素データをメモリ２４０の左右の対応する位置に書き込み、垂直同期信号にしたがって１０８０ラインを書き込む。これにより、１フレームの下半分の画像データがメモリ２４０に形成される。

図９（ａ）の上段に示すように、ＳＤＩ１により伝送された横２０４８画素、縦１０８０画素の左上画像は点線の矢印のように左半分に書き込まれ、ＳＤＩ２により伝送された横２０４８画素、縦１０８０画素の右上画像は点線の矢印のように右半分に書き込まれる。これにより、横４０９６画素、縦１０８０画素の上半分の画像がメモリ２４０に形成される。同様に、図９（ａ）の下段に示すように、ＳＤＩ３により伝送された横２０４８画素、縦１０８０画素の左上画像は点線の矢印のように左半分に書き込まれ、ＳＤＩ４により伝送された横２０４８画素、縦１０８０画素の右上画像は点線の矢印のように右半分に書き込まれる。これにより、横４０９６画素、縦１０８０画素の下半分の画像がメモリ２４０に形成される。上下左右に４分割された画像データのメモリ２４０への書き込みは同時に行われる。

書き込み部２３２が画像データをメモリ２４０に書き込む際の水平同期信号および垂直同期信号については、図６、図７（ａ）および図７（ｂ）で説明した画像送信装置１００の変換処理部３０の読み出し部３４がメモリ４０から４分割された画像データを読み出す際のタイミングチャートと同様の水平同期信号および垂直同期信号を用いればよい。

図９（ｂ）に示すように、変換処理部２３０の読み出し部２３４は、メモリ２４０に形成された横２０４８画素、縦１０８０画素の上半分および下半分の画像のそれぞれから、水平同期信号にしたがって１ライン当たりの水平画素数が２９６０画素の画素データを読み出し、垂直同期信号にしたがって１４８０ラインを読み出すことで１フレームの上半分および下半分の画像をメモリ２４０から読み出す。これにより、横２９６０画素、縦２９６０画素の画像が生成される。これは画像送信装置１００により撮像された元の画像であり、そのまま表示装置に表示したり、記録媒体に保存することができる。

読み出し部２３４がメモリ２４０から画像データを読み出す際の水平同期信号および垂直同期信号については、図４、図５（ａ）および図５（ｂ）で説明した画像送信装置１００の変換処理部３０の書き込み部３２が画像データをメモリ４０に書き込み際のタイミングチャートと同様の水平同期信号および垂直同期信号を用いればよい。

読み出し部２３４は、必要に応じて読み出された画像のサイズを変換してもよい。たとえば表示装置などの出力先に合わせて画像サイズを変更してもよい。一例として横２９６０画素、縦２９６０画素の画像を横２０４８画素、縦２０４８画素に変換する。あるいは、読み出し部２３４は、読み出された画像のサイズは変換せずに、一部の領域を切り出したり、画像領域を拡張する処理を行ってもよい。一例として、横２９６０画素、縦２９６０画素の画像の左右に黒領域を付加して、横３８４０画素、縦２９６０画素に変換してもよい。

ストリーム化部２３６は、読み出し部２３４により読み出された画像データを符号化し、ＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５などの動画像圧縮符号化規格にしたがって符号化ストリームを生成する。ＳＤカードインタフェース２３８は、符号化された動画ストリームをＳＤカード２５０に格納する。図示しない表示部が読み出し部２３４により読み出された画像を表示装置に表示してもよい。

図１０は、別の実施の形態に係る画像受信装置３００の構成図である。画像受信装置３００は、受信部３１０と、コンピュータ３２０と、モニタ３３０とを含む。受信部３１０は、画像送信装置１００から伝送される画像データを受信し、コンピュータ３２０が受信された画像データを復元してモニタ３３０に表示する。

受信部３１０は、画像送信装置１００の送信部６０により伝送された４分割された横２０４８画素、縦１０８０画素の画像データを４つの伝送路ＳＤＩ１、ＳＤＩ２、ＳＤＩ３、ＳＤＩ４で受信する。

コンピュータ３２０は、４チャンネルの３Ｇ−ＳＤＩ信号を受信するための４つのＳＤＩ入力キャプチャボード３２２ａ〜３２２ｄを備える。受信部３１０のＳＤＩ１、ＳＤＩ２、ＳＤＩ３、ＳＤＩ４で受信された左上画像、右上画像、左下画像、右下画像はそれぞれＳＤＩ入力キャプチャボード３２２ａ、３２２ｂ、３２２ｃ、３２２ｄに入力される。

メモリインタフェース３２３は、図８の書き込み部２３２と同様に、水平同期信号にしたがって、左上画像、右上画像、左下画像、右下画像をメモリ３２４に書き込み、横４０９６画素、縦１０８０画素の上半分および下半分の画像データをメモリ３２４に形成する。

画像フォーマット変換部３２６は、図８の読み出し部２３４と同様に、水平同期信号にしたがって、メモリ３２４から水平２９６０画素のアライメントで画像データを読み出すことで横２９６０画素、縦２９６０画素の画像を読み出し、グラフィックボード３２８に供給する。画像フォーマット変換部３２６は、画像データを読み出す際、画像サイズを変更したり、画像サイズを変更せずに一部の領域を切り出したり、画像領域を拡張するなどの画像処理を行ってもよい。また、画像フォーマット変換部３２６は、画像の色差フォーマットを変更してもよい。たとえば４：２：２のＹＵＶフォーマットをＲＧＢフォーマットに変更してもよい。

グラフィックボード３２８は、画像フォーマット変換部３２６から供給された画像データをモニタ３３０に転送して表示する。

図１１は、画像送信装置１００による画像変換手順を説明するフローチャートである。

撮像部１０は入力画像を撮影し、取得された入力画像を第１信号処理部２０に与える（Ｓ１０）。

第１信号処理部２０は、入力画像を変換処理部３０に適したフォーマットに変換して変換処理部３０に供給する（Ｓ１２）。

変換処理部３０の書き込み部３２は、入力画像を入力側の同期信号Ａにしたがってメモリ４０に書き込む（Ｓ１４）。入力側の同期信号Ａは、図４、図５（ａ）および図５（ｂ）で説明したように、入力画像の水平画素数および垂直画素数に合った水平同期信号および垂直同期信号である。

変換処理部３０の読み出し部３４は、出力側の同期信号Ｂにしたがってメモリ４０から出力画像を読み出す（Ｓ１６）。出力側の同期信号Ｂは、図６、図７（ａ）および図７（ｂ）で説明したように、出力画像の水平画素数および垂直画素数に合った水平同期信号および垂直同期信号である。

第２信号処理部５０は、メモリ４０から読み出された出力画像を３Ｇ−ＳＤＩなどの伝送路に適した伝送フォーマットに変換し、伝送信号を送信部６０に供給する（Ｓ１８）。送信部６０は、伝送路で画像データを送信する（Ｓ２０）。

出力画像のサイズは、所定の伝送路で伝送可能な画像サイズ以下にする必要があり、１チャンネルの伝送路で伝送できない場合は、複数チャンネルの伝送路を用いて分割して伝送する。その場合、メモリ４０から出力画像を読み出す際に伝送路のチャンネル数に合わせて分割して画像データを読み出す。

図１２は、画像受信装置２００、３００による画像復元手順を説明するフローチャートである。

受信部２１０、３１０は、画像送信装置１００から送信された画像データを伝送路で受信する（Ｓ３０）。

第３信号処理部２２０、ＳＤＩ入力キャプチャボード３２２ａ〜３２２ｄは、受信された入力画像を書き込み部２３２、メモリインタフェース３２３に適したフォーマットに変換して書き込み部２３２、メモリインタフェース３２３に供給する（Ｓ３２）。

書き込み部２３２、メモリインタフェース３２３は、入力画像を同期信号Ｂにしたがってメモリ２４０、３２４に書き込む（Ｓ３４）。この同期信号Ｂは、画像送信装置１００がメモリ４０から出力画像を読み出す際の出力側の同期信号Ｂと同じものが利用できる。

読み出し部２３４、画像フォーマット変換部３２６は、同期信号Ａにしたがってメモリ２４０、メモリ３２４から出力信号を読み出す（Ｓ３６）。この同期信号Ａは、画像送信装置１００が入力画像をメモリ４０に書き込む際の入力側の同期信号Ａと同じものが利用できる。

読み出し部２３４、画像フォーマット変換部３２６は、必要に応じて読み出された出力画像のフォーマット変更を行う（Ｓ３８）。

出力画像はそのままモニタ３３０に表示するか、圧縮符号化して動画ストリームとしてＳＤカード２５０などに保存する（Ｓ４０）。

上記の実施の形態では、３Ｋ×３Ｋの入力画像を４つの２Ｋ×１Ｋ（横２０４８画素、縦１０８０画素）の出力画像に変換し、４チャンネルの３Ｇ−ＳＤＩで伝送する方法を説明したが、これは一例であって、入力画像および出力画像のサイズ、出力画像の分割数、伝送路の動作速度および本数などはこれ以外にもありうる。４Ｋ×２Ｋを１チャンネルで伝送可能な伝送路の場合、３Ｋ×３Ｋ（横２９６０画素、縦２９６０画素）の入力画像を４Ｋ×２Ｋ（横４０９６画素、縦１０８０画素）の出力画像に変換し、１チャンネルの伝送路で伝送してもよい。また、３Ｋ×３Ｋ（２９６０×２９６０画素）の入力画像を４Ｋ×１Ｋ（横４０９６画素、縦１０８０画素）の上半分出力画像および下半分出力画像に変換し、上半分出力画像および下半分出力画像を合成して最終的な４Ｋ×２Ｋ（横４０９６画素、縦２１６０画素）の出力画像として、１チャンネルの伝送路で伝送してもよい。入力画像のサイズを横Ｋ画素、縦Ｌ画素、出力画像のサイズを横Ｍ画素、縦Ｎ画素とした場合、スケーリングをしないために、出力画像の画素数は入力画像の画素数以上である、すなわちＫ×Ｌ≦Ｍ×Ｎであることが前提となる。垂直画素数についてＬ＞Ｎであるか、または水平画素数についてＫ＞Ｍである場合、入出力間で水平同期信号または垂直同期信号を変換して画像サイズの変換が必要になり、本実施の形態の画像変換方法を適用して、画質を劣化させずに出力画像の伝送フォーマットに変換することができる。また、読み出し部３４で、出力画像の水平画素数単位で画素データを前記メモリから読み出す際、４分割以外の数で分割してもよい。分割数をＰとした場合、Ｐ分割して出力先を切り替えることにより、Ｐ分割された画像データを出力し、送信部は、Ｐ分割された画像データをＰ本の伝送路に伝送することができる。

以上説明したように、実施の形態に係る画像送信装置１００によれば、入力画像の解像度を保ったまま、所定の伝送路に適したサイズの出力画像に変換するため、画像受信装置２００、３００において元の画像に復元して表示したり、保存することができ、画質の劣化が生じない。また、高画質の映像を既存の伝送路を用いて伝送するため、開発コストを削減することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

なお、実施の形態で説明した各装置の機能構成はハードウェア資源またはソフトウェア資源により、あるいはハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

１０ 撮像部、 ２０ 第１信号処理部、 ３０ 変換処理部、 ３２ 書き込み部、 ３４ 読み出し部、 ４０ メモリ、 ５０ 第２信号処理部、 ６０ 送信部、 １００ 画像送信装置、 ２００ 画像受信装置、 ２１０ 受信部、 ２２０ 第３信号処理部、 ２３０ 変換処理部、 ２３２ 書き込み部、 ２３４ 読み出し部、 ２３６ ストリーム化部、 ２３８ ＳＤカードインタフェース、 ２４０ メモリ、 ２５０ ＳＤカード、 ３００ 画像受信装置、 ３１０ 受信部、 ３２０ コンピュータ、 ３２２ａ、３２２ｂ、３２２ｃ、３２２ｄ ＳＤＩ入力キャプチャボード、 ３２３ メモリインタフェース、 ３２４ メモリ、 ３２６ 画像フォーマット変換部、 ３２８ グラフィックボード、 ３３０ モニタ。

Claims (10)

1. 入力画像の水平画素数単位で画素データをメモリに書き込む書き込み部と、
   前記メモリに書き込まれた画像を読み出す際、出力画像の水平画素数単位で画素データを前記メモリから読み出す読み出し部と、
   読み出された出力画像を伝送路に伝送する送信部とを含み、
   前記入力画像の水平画素数と前記出力画像の水平画素数は異なる
   ことを特徴とする画像送信装置。
2. 前記書き込み部は、前記入力画像の水平画素数に合った第１水平同期信号にしたがって前記入力画像の水平画素数単位で画素データをメモリに書き込み、
   前記読み出し部は、前記メモリに書き込まれた画像を読み出す際、前記出力画像の水平画素数に合った第２水平同期信号にしたがって前記出力画像の水平画素数単位で画素データを前記メモリから読み出し、
   前記第１水平同期信号と前記第２水平同期信号のクロック周波数は異なる
   ことを特徴とする請求項１に記載の画像送信装置。
3. 前記読み出し部は、前記出力画像の水平画素数分の単位で画素データを前記メモリから読み出す際、Ｐ（Ｐは自然数）分割して出力先を切り替えることにより、Ｐ分割された画像データを出力し、
   前記送信部は、前記Ｐ分割された画像データをＰ本の伝送路に伝送することを特徴とする請求項１または２に記載の画像送信装置。
4. 前記読み出し部は、前記出力画像の水平画素数単位で画素データを前記メモリから読み出す際、水平方向、垂直方向にそれぞれ２分割して出力先を切り替えることにより、４分割された画像データを出力し、
   前記送信部は、前記４分割された画像データを４本の伝送路に伝送することを特徴とする請求項１または２に記載の画像送信装置。
5. 前記入力画像の入力サイズは水平画素数Ｋおよび垂直画素数Ｌであり、前記出力画像の出力サイズは水平画素数Ｍおよび垂直画素数Ｎであり、総画素数についてＫ×Ｌ≦Ｍ×Ｎであり、垂直画素数についてＬ＞Ｎであるか、または水平画素数についてＫ＞Ｍであることを特徴とする請求項１から４のいずれかに記載の画像送信装置。
6. 前記書き込み部は、前記入力画像の水平画素数単位で画素データを前記メモリに書き込む際に、前記出力画像の出力サイズに満たない残りの画素位置には画像としては無効となるデータを埋めることを特徴とする請求項１から５のいずれかに記載の画像送信装置。
7. 前記読み出し部は、前記出力画像の水平画素数単位で画素データを前記メモリから読み出した後、前記出力画像の出力サイズに満たない残りの画素位置には画像としては無効となるデータを埋めることを特徴とする請求項１から５のいずれかに記載の画像送信装置。
8. 伝送路から入力画像を受信する受信部と、
   前記入力画像の水平画素数に合った第１水平同期信号にしたがって前記入力画像の水平画素数単位で画素データをメモリに書き込む書き込み部と、
   前記メモリに書き込まれた画像を読み出す際、出力画像の水平画素数に合った第２水平同期信号にしたがって前記出力画像の水平画素数単位で画素データを前記メモリから読み出し、読み出された画像を画像処理する読み出し部と、
   読み出された出力画像を表示または保存するために出力する出力部とを含むことを特徴とする画像受信装置。
9. 入力画像の水平画素数単位で画素データをメモリに書き込むステップと、
   前記メモリに書き込まれた画像を読み出す際、出力画像の水平画素数単位で画素データを前記メモリから読み出すステップと、
   読み出された前記出力画像を伝送路に伝送するステップとを含み、
   前記入力画像の水平画素数と前記出力画像の水平画素数は異なることを特徴とする画像送信方法。
10. 入力画像の水平画素数単位で画素データをメモリに書き込むステップと、
    前記メモリに書き込まれた画像を読み出す際、出力画像の水平画素数単位で画素データを前記メモリから読み出すステップと、
    読み出された前記出力画像を伝送路に伝送するステップとをコンピュータに実行させ、
    前記入力画像の水平画素数と前記出力画像の水平画素数は異なることを特徴とする画像送信プログラム。

Images