JP2018011126A - 画像伝送装置、画像伝送方法、及びプログラム - Google Patents

画像伝送装置、画像伝送方法、及びプログラム Download PDF

Info

Publication number
JP2018011126A
JP2018011126A JP2016136950A JP2016136950A JP2018011126A JP 2018011126 A JP2018011126 A JP 2018011126A JP 2016136950 A JP2016136950 A JP 2016136950A JP 2016136950 A JP2016136950 A JP 2016136950A JP 2018011126 A JP2018011126 A JP 2018011126A
Authority
JP
Japan
Prior art keywords
data
image
area
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016136950A
Other languages
English (en)
Inventor
啓行 長谷川
Hiroyuki Hasegawa
啓行 長谷川
徳朗 西田
Tokuaki Nishida
徳朗 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016136950A priority Critical patent/JP2018011126A/ja
Publication of JP2018011126A publication Critical patent/JP2018011126A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】所定のフォーマットで伝送できるサイズより大きいサイズの画像データを伝送可能にすることを課題とする。【解決手段】信号切り出し部(103)は、1フレームの画素数が所定のフォーマット(SDI)の規格で伝送可能な画素数よりも大きい画素数の画像データを、所定のフォーマットで伝送可能な画素数の第1の画像領域と、第1の画像領域を除いた第2の画像領域と、に切り分ける。マルチプレクサ(104)及び外部I/F(105)は、SDIに準拠した第1の伝送路で第1の画像領域のデータを伝送し、SDIに準拠した第2の伝送路で第2の画像領域のデータを伝送する。【選択図】図1

Description

本発明は、画像データを伝送する画像伝送装置、画像伝送方法、及びプログラムに関する。
従来、ベイヤー(Bayer)構造の画素配列を有する撮像素子を用いた撮像装置が一般に知られている。このような撮像素子は、色フィルタを介して、画素を構成する光電変換素子に被写体からの像光を取り込み、像光の強さに応じた画像信号を出力する。そして、後段の処理部が画像信号に所定の処理を施すことによって、ビューファインダや外部の表示装置に画像が表示される。撮像素子には、一般にR(赤),G(緑),B(青)の各色信号をそれぞれ出力可能なR,G,B画素が所定のパターンで配置されている。
また特許文献1には、ベイヤー配列のRAWデータをSMPTE(Society of Motion Picture and Television Enginners)で規格化されている3G−SDIにマッピングして出力する装置が開示されている。3G−SDIは、SDI(Serial Digital Intergace)の規格の一つであり、1本のケーブルにより3Gb/s(ビット/秒)のデータ伝送を可能とする規格である。
特開2015−19182号公報
しかしながら、前述した3G−SDIのような所定のフォーマットで画像データを伝送する場合には、そのフォーマットで規定されている画像サイズまでのデータしか伝送することができない。例えば3G−SDIの場合には、4K解像度(水平4096画素×垂直2160画素)までのデータしか伝送することができない。このように、従来の技術では、所定のフォーマットで伝送できる画素数(画面サイズ)よりも例えば大きい画素数の画像データを伝送することができないという問題点がある。
そこで、本発明は、所定のフォーマットで規定された画素数より大きい画素数の画像データを伝送可能にすることを目的とする。
本発明は、1フレームの画素数が所定のフォーマットで伝送可能な画素数よりも大きい画素数の画像データを、所定のフォーマットで伝送可能な画素数の第1の画像領域と、第1の画像領域を除いた第2の画像領域と、に切り分ける切り出し手段と、所定のフォーマットに準拠した第1の伝送路で第1の画像領域のデータを伝送し、所定のフォーマットに準拠した第2の伝送路で第2の画像領域のデータを伝送する伝送手段と、を有することを特徴とする。
本発明によれば、所定のフォーマットで規定された画素数より大きい画素数の画像データを伝送可能となる。
本実施形態の撮像装置の概略構成を示す図である。 ベイヤー構造の撮像素子の画素配列を模式的に示す図である。 撮像素子の画素領域における画素配置の構成を模式的に示す図である。 各色別のプレーンの画像データのデータ配列構成を概念的に示す図である。 信号切り出し処理の説明に用いる図である。 4KRAW有効画素エリアのデータ配列構成を概念的に示す図である。 上方余剰画素のデータ配列構成を概念的に示す図である。 左方余剰画素のデータ配列構成を概念的に示す図である。 右方余剰画素のデータ配列構成を概念的に示す図である。 下方余剰画素のデータ配列構成を概念的に示す図である。 各データストリームへの画素データの配分構成の説明図である。 画素データが多重されたデータストリームの説明図である。 周辺画素エリアの画素データの配分構成の説明図である。 4KRAWの画像データが多重されたデータ構造を示す図である。 画素データが多重された1ライン目のデータ構造を示す図である。 画素データが多重された2ライン目のデータ構造を示す図である。 画素データが多重された3ライン目のデータ構造を示す図である。 余剰画素のデータが多重されたデータ構造を示す図である。 4フレームの余剰画素のデータが多重されたデータ構造を示す図である。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。本実施形態では、本発明に係る画像伝送装置の一適用例として、撮像装置を挙げているが、例えば携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等にも適用可能である。
<第1の実施形態>
図1は、本実施形態の撮像装置100の概略構成例を示す図である。なお、本実施形態において、それぞれ説明される各機能ブロックは必ずしも個別のハードウェアである必要はなく、例えば幾つかの機能ブロックの機能は、1つのハードウェアにより実行されてもよい。また、幾つかのハードウェアの連係動作により1つの機能ブロックの機能、又は、複数の機能ブロックの機能が実現されてもよい。また、各機能ブロックの機能は、例えばCPUがメモリ上に展開したコンピュータプログラムにより実行してもよい。
本実施形態の撮像装置100は、いわゆるベイヤー構造の画像データを、SDI(Serial Digital Intergace)の規格の一つである3G−SDI規格に従って送信する機能を備えている。したがって、本実施形態の撮像装置100は、撮像装置であるとともに画像データの伝送装置でもある。また、本実施形態の撮像装置100は、ベイヤー構造の画像データをSDI規格に従って送信する際に、SDI規格で伝送可能な所定の画素数(画像サイズ)よりも大きい画素数の撮像画像を、3G−SDI規格の伝送路を利用して伝送可能とする機能を有している。第1の実施形態において、撮像画像の画素数は水平方向の画素数が4528画素、垂直方向の画素数が2392となされている。詳細については後述するが、第1の実施形態では、その撮像画像を伝送する際には、3G−SDIの伝送路を例えば2本使用して伝送する。なお、伝送する際のフレームレートは、30fps(フレーム/秒)とする。もちろんこれらフレームレートや画素数、伝送路の本数などは一例である。
図1において、撮像部101は、撮像レンズ、シャッター、撮像素子、A/D変換器などを有して構成される。撮像素子は、CCDセンサやCMOSセンサなどであり、撮像レンズにより撮像面上に形成された光学像を電気信号に変換し、A/D変換によりデジタル画像データとして出力する。撮像素子は、図2に示すようなR(赤),Gr(緑),Gb(緑),B(青)の各フィルタが画素毎に配列されたベイヤー構造のカラーフィルタを備えている。
信号処理部102は、撮像部101から出力されたベイヤー構造の画像データを、R,Gr,Gb,Bの四つの色別の画素プレーンのデータに分け、それら四つの画素プレーンの画像データに対して種々の補正処理を行う。信号処理部102による補正処理後のR,Gr,Gb,Bの四つの画素プレーンの画像データは、メモリ109に送られて記憶される。
信号切り出し部103は、メモリ109に記憶されている各色別の画素プレーンを、3G−SDIの帯域で伝送できる画像サイズの画像とそれ以外の画像とに切り分けるようにして画像データを読み出す。信号切り出し部103における画像データの切り出し処理の詳細については後述する。信号切り出し部103によりメモリ109から読み出された画像データは、マルチプレクサ104に送られる。
マルチプレクサ104は、信号切り出し部103によりメモリ109から読み出された画像データを、3G−SDIの伝送路にマッピングして外部I/F105に送る。マルチプレクサ104におけるマッピング処理の詳細については後述する。外部I/F105は、3G−SDIの規格に従って画像データを外部に伝送する。
制御部106はCPUを備え、フラッシュメモリ108に記憶された制御用ソフトウェアに従って撮像装置100の各部を制御する。操作部107は、ユーザが各種操作の指示を入力するための操作子を有する。操作部107の操作子は、例えば電源ボタン、記録開始と停止の指示ボタン、メニュー表示ボタン、モード切り替えボタン、決定ボタン等のボタン類からなる。また、操作部107の操作子には、ボタン類の他、スイッチやキー、カーソルキー、タッチパネル、ポインティングデバイス、ダイヤル等が含まれていてもよい。また、操作部107の操作子は、表示部111に表示されるグラフィックユーザインターフェース(GUI)上の種々の機能アイコンとして実現されていてもよい。この場合、ユーザは、例えばタッチパネルやポインティングデバイス、カーソルキーなどの操作を介して、これらのGUI上の機能アイコンの選択や操作を行えることになる。操作部107は、これらの各種操作子がユーザにより操作されると、その操作信号を制御部106に送る。
フラッシュメモリ108は、電気的に消去・記録可能な不揮発性のメモリであり、制御部106を動作させるために必要なプログラムや撮像装置100固有の調整データ等が予め書き込まれている。メモリ109は、DRAM等の揮発性メモリから構成され、伝送される画像データや管理情報、或いは、制御部106の制御のために必用な各種情報を記憶する。
表示制御部110は、撮像部101より得られたベイヤー構造の画像データに対し、ディベイヤー(Debayer)処理等の所定の処理を施して、表示用の画像データを生成し、その表示用画像データを表示部111に送る。表示部111は、例えば液晶表示デバイス、又は有機EL表示デバイスなどであり、表示制御部110の制御により画像やメニュー画面、その他必用な情報等を表示する。
以上説明した各構成要素は、それら各構成要素間の制御信号やデータ信号のための伝送路である内部バス112により相互に接続されている。
次に、図3と図4を用いて、撮像部101の画素配置とメモリ109に記憶される色別の画素プレーンを説明する。
本実施形態において、撮像部101の画素配置は、例えば図3に示すように、有効画素エリア301とその周辺画素エリア302とから構成される。この画素配列の全体エリア300から1回に取得可能な画素データ群からなる1フレームの画像は、いわゆるRAW画像であり、以下、RAWフレームと定義する。RAWフレームは、水平方向の画素数が4528画素(4512+8+8画素)、垂直方向の画素数は2392(2376+8+8画素)であり、ベイヤー構造の画素配列となされている。以下、図3に示したRAWフレームを4.5KRAWフレームと呼ぶ。この4.5KRAWフレームからR,Gr,Gb,Bの各色別に各画素を集めた画素配列の画像データを、図4(a)〜図4(d)に示す。図4(a)はRの各画素を集めた画素配列の画像データ、以下同様に、図4(b)はGr、図4(c)はGb、図4(d)はBの各画素を集めた画素配列の画像データを示している。以下、Rの各画素からなる画像データをRのプレーンと呼び、Gbの各画素からなる画像データをGbのプレーン、Grの各画素からなる画像データをGrのプレーン、Bの各画素からなる画像データをBのプレーンと呼ぶ。4.5KRAWフレームから生成されるR,Gr,Gb,Bの各プレーンは、それぞれ水平方向の画素数が2264画素、垂直方向の画素数が1196画素である。信号処理部102は、制御部106による制御の下、撮像部101から入力されたベイヤー構造の画像データを、図4(a)〜図4(d)に示す4.5KRAWフレームのR,Gr,Gb,Bの各プレーン別の画像データに分けてメモリ109に記憶させる。
次に、図5を用いて、信号切り出し部103によるメモリ109からの画像データ読み出し処理(画像データの切り出し処理)について説明する。
図5は、図4(a)〜図4(d)に示した4.5KRAWフレームのR,Gr,Gb,Bの各色別のプレーンのうち、何れか一つのプレーン500のみを表している。図5に示すように、メモリ109から読み出されるR,Gr,Gb,Bの各プレーン500は、それぞれ水平方向の画素数が2264画素、垂直方向の画素数が1196画素となっている。
ここで、3G−SDIの規格で定められた有効映像データの画素数は2048×1080画素であり、信号切り出し部103は、図5に示したプレーン500から、3G−SDI規格で伝送することができる画素数(サイズ)の画像領域を切り出す。以下、3G−SDI規格で伝送することができるサイズのRAWデータの画像領域を「4KRAW」の領域と呼ぶ。すなわち、信号切り出し部103は、図5のプレーン500の中央の4KRAWの画像領域を有効画素エリア510として切り出す。また、本実施形態では、図5のプレーン500から4KRAWの有効画素エリア510を切り出して残った画像領域を、余剰画素エリア(521〜524)と定義する。
より詳細に説明すると、信号切り出し部103は、先ず、図5に示したプレーン500から、始点の(X,Y)座標が(99,49)で、終点の(X,Y)座標が(2163,1145)である矩形エリア520を切り出す。ここで、図6(a)〜図6(d)は、R,Gr,Gb,Bの各別のプレーン500からそれぞれ切り出された矩形エリア520の中で、有効画素エリア510にマッピングされる各画素データを示している。なお、図6(a)はR、図6(b)はGr、図6(c)はGb、図6(d)はBの各プレーンから、それぞれ切り出された矩形エリア(520)の中で有効画素エリア(510)にマッピングされる画素データを表している。
また、図5に示す矩形エリア520のうち有効画素エリア510の周辺画素領域(周辺画素エリア512〜514)の画素データは、アシンラリ領域にマッピングされる。以下、有効画素エリア510に対して、左方側の周辺画素領域を左方周辺画素エリア512(L1,L2,L3)とし、右方側の周辺画素領域を右方周辺画素エリア513(R1,R2,R3)とする。また、有効画素エリア510に対して、上方側の周辺画素領域を上方周辺画素エリア511、下方側の周辺画素領域を下方周辺画素エリア514とする。なお、各周辺画素エリア512〜514の画素データは、受信側において現像処理が行われる際に、有効画素エリア510の端の画素も正確に現像するために使用される。すなわち、受信側では、ベイヤー構造のR,Gr,Gb,Bの画像データを輝度と色差の画像データに変換する処理等が行われ、この処理の際には有効画素エリア510の外側の周辺画素のデータが必用になる。このため、それら周辺画素エリア511〜514のデータも伝送される。
さらに、信号切り出し部103は、図5のプレーン500から4KRAWの有効画素エリア510を切り出して残った余剰画素エリアについても、図5に示すように、第1の領域〜第4の領域のような四つの領域(521〜524)に分割して切り出す。
余剰画素エリアを分割した四つの領域のうち、第1の領域は、始点の(X,Y)座標が(108,0)で、終点の(X,Y)座標が(2155,57)の矩形領域であって、有効画素エリア510に対して上方側の上方余剰画素エリア521として切り出される。図7(a)〜図7(d)は、R,Gr,Gb,Bの各色別のプレーン500から切り出された上方余剰画素エリアの各画素データを示している。なお、図7(a)はR、図7(b)はGr、図7(c)はGb、図7(d)はBの各プレーンから、それぞれ切り出された上方余剰画素エリア521の各画素データを表している。
第2の領域は、始点の(X,Y)座標が(0,0)であり、終点の(X,Y)座標が(107,1195)の矩形領域であって、有効画素エリア510に対して左方側の左方余剰画素エリア522として切り出される。図8(a)〜図8(d)は、R,Gr,Gb,Bの各色別のプレーン500から切り出された左方余剰画素エリア522の各画素データを示している。なお、図8(a)はR、図8(b)はGr、図8(c)はGb、図8(d)はBの各プレーンから、それぞれ切り出された左方余剰画素エリア522の各画素データを表している。
第3の領域は、始点の(X,Y)座標が(2156,0)であり、終点の(X,Y)座標が(2263,1195)の矩形領域であって、有効画素エリア510に対して右方側の右方余剰画素エリア523として切り出される。図9(a)〜図9(d)は、R,Gr,Gb,Bの各色別のプレーン500から切り出された右方余剰画素エリア523の各画素データを示している。なお、図9(a)はR、図9(b)はGr、図9(c)はGb、図9(d)はBの各プレーンから、それぞれ切り出された右方余剰画素エリア523の各画素データを表している。
第4の領域は、始点の(X,Y)座標が(108,1137)であり、終点の(X,Y)座標が(2155,1195)の矩形領域であって、有効画素エリア510に対して下方側の下方余剰画素エリア524として切り出される。図10(a)〜図10(d)は、R,Gr,Gb,Bの各色別のプレーン500から切り出された下方余剰画素エリア524の各画素データを示している。なお、図10(a)はR、図10(b)はGr、図10(c)はGb、図10(d)はBの各プレーンから、それぞれ切り出された下方余剰画素エリア524の各画素データを表している。
前述の図5に示したように、4KRAWの有効画素エリア510に対する左方周辺画素エリア512(L1,L2,L3)は、左方余剰画素エリア522と重複して切り出される。同様に、上方周辺画素エリア511は上方余剰画素エリア521と重複し、右方周辺画素エリア513(R1,R2,R3)は右方余剰画素エリア523と重複し、下方周辺画素エリア514は下方余剰画素エリア524と重複して切り出される。なお、図5の例では、各周辺画素エリア(511〜514)は、それぞれ8画素幅又は8ライン幅で切り出される例を挙げたが、切り出し幅はこの例には限定されず、この例より多くても、逆に少なくてもよい。また、各余剰画素エリア(521〜524)と各周辺画素エリア(511〜514)は、それぞれ重複させずに切り出されてもよい。
次に、図11〜図13を用いて、マルチプレクサ104で行われるマッピング処理について説明する。
本実施形態では、動画データをSDI規格に従って伝送する。具体的には、SMPTE ST 425(3G−SDI)のレベルBに準拠し、SMPTE ST 372(Dual Link)のR'G'B'+A 10ビットの多重化構造を適用して各画素データを配分する。また、画素のサンプルフォーマットは、SMPTE ST 2048−2で規定された、2048×1080/30Pに準拠する。これらはSDI規格に準じているため、その詳細な説明は省略する。
図11は、前述の規格に従って有効映像期間(デジタルアクティブライン領域)に多重される画素データの各チャネルへの配分構成を示しており、マルチプレクサ104は、LinkA,Bの各データストリーム1,2を、この配分構成に従って生成する。一例として、Gbプレーンの各画素を左から右へ順にGb(1)〜Gb(2048)で表した場合、それらGb(1)〜Gb(2048)の画素データが、その順番でLinkAのデータストリーム1のサンプル番号0〜2047に配分される。これにより、LinkAのデータストリーム1が生成されることになる。同様に、例えば、Grプレーンの各画素を順にGr(1)〜Gr(2048)で表した場合、それらGr(1)〜Gr(2048)の画素データが、その順番でLinkBのデータストリーム1のサンプル番号0〜2047に配分されて多重される。これにより、LinkAのデータストリーム1が生成されることになる。一方、例えばBプレーンとRプレーンの各画素データは、一対のGb,Grと合わせて一つの画素色を決めるB及びRの一組の画素データ毎に、それぞれLinkA,Bの各データストリーム1,2に配分される。例えば、Bプレーンの各画素を順にB(1)〜B(2048)、Rプレーンの各画素を順にR(1)〜R(2048)で表すとする。この場合、B(1),R(1),B(3),R(3),・・・,B(2047),R(2047)の各画素データが、その順番にLinkAのデータストリーム2のサンプル番号0〜2047に配分されて多重される。これにより、LinkAのデータストリーム2が生成されることになる。同様に、B(2),R(2),B(4),R(4),・・・,B(2048),R(2048)の各画素データが、その順番でLinkBのデータストリーム2のサンプル番号0〜2047に配分されて多重される。これにより、LinkBのデータストリーム2が生成されることになる。
さらに、マルチプレクサ104は、SDIの規格に準じた映像信号の区切り位置を認識するための識別子SAV/EAVを生成する。また、マルチプレクサ104は、ライン番号の管理用のデータLN(Line Number)及び伝送エラーチェック用のデータCRCC(Cycle Redundancy Check Code)を生成する。これらもSDIの規格に準じているためその詳細な説明は省略する。
図12には、マルチプレクサ104が、各色のプレーンから切り出された4KRAWの有効画素エリア510の1ラインの画素データを、図11の配分構成に従って、その1ライン分に相当するLinkA,Bの各データストリーム1,2に多重した結果を示す。例えば、図12のLinkAのデータストリーム1のGb(109)の"109"の番号は、Gbプレーンの4KRAWの有効画素エリア510の左端の画素データから右方向への順番を表している。図12のように、マルチプレクサ104は、Gbプレーンの有効画素エリア510における1ラインのGb(109)〜Gb(2156)の各画素データを、LinkAのデータストリーム1のサンプル番号0〜2047にマッピングして多重する。以下同様に、Grプレーンの有効画素エリア510における1ラインのGr(109)〜Gr(2156)の各画素データは、LinkBのデータストリーム1のサンプル番号0〜2047にマッピングされて多重される。RとBのプレーンのB(109),R(109),B(111),R(111),・・・,B(2155),R(2155)の各画素データは、LinkAのデータストリーム2のサンプル番号0〜2047にマッピングされて多重される。B(110),R(110),B(112),R(112),・・・,B(2156),R(2156)の各画素データは、LinkBのデータストリーム2のサンプル番号0〜2047にマッピングされて多重される。
また、本実施形態において、マルチプレクサ104は、前述した各周辺画素エリア511〜514の各画素データについては、図13のデータテーブルに示した配分構成に従って配分する。すなわち、各周辺画素エリア511〜514の周辺画素データは、詳細には、図13に示すデータテーブルの多重位置の情報に従って、ライン位置及びサンプル位置が特定されて、図14に示すように水平及び垂直のブランキング領域に多重されて伝送される。図13に示すデータテーブルは、撮像素子上における周辺画素の位置と、伝送する信号への多重位置との対応関係を表すテーブルであり、多重位置は、伝送開始ライン番号、ライン数、伝送開始サンプル番号、サンプル数により特定される。一例として、上方周辺画素エリア511の各画素データは、伝送開始ライン番号"38"、ライン数"4"、伝送開始サンプル番号"0"、サンプル数"2048"で特定される位置(図14の垂直ブランキング領域内の位置)に多重される。同様に、下方周辺画素エリア514の各画素データは、伝送開始ライン番号"33"、ライン数"4"、伝送開始サンプル番号"0"、サンプル数"2048"で特定される位置(図14の垂直ブランキング領域内の位置)に多重される。左方周辺画素エリア512のうちL1領域に含まれる各画素データは、伝送開始ライン番号"38"、ライン数"4"、伝送開始サンプル番号"2192"、サンプル数"4"で特定される位置(図14の水平ブランキング領域内の位置)に多重される。以下、左方周辺画素エリア512のL2,L3領域、右方周辺画素エリア513のR1,R2,R3領域の各データについても同様に、図13のデータテーブルに基づいて、図14の水平ブランキング領域内の位置の特定と多重が行われる。
図14は、前述のようにして4KRAWの有効画素エリア510と周辺画素エリア511〜514の各画素データがマッピングされて多重された、1フレーム分に相当するデータストリームによるデータ構成を示している。この図14のデータ構造に示すように、4KRAWの有効画素エリア510の各画素データ1410は、デジタルアクティブライン領域に配分されて多重される。また、上方周辺画素エリア511の各画素データ1411は、垂直ブランキング領域に配分されて多重され、同様に、下方周辺画素エリア514の各画素データ1414は垂直ブランキング領域に配分されて多重される。また、左方周辺画素エリア512(L1,L2,L3)の各画素データ1412は水平ブランキング領域に配分されて多重され、同様に、右方周辺画素エリア513(R1,R2,R3)の各画素データ1413は水平ブランキング領域に配分されて多重される。
また、マルチプレクサ104は、前述した上方余剰画素エリア521(第1の領域)と下方余剰画素エリア524(第4の領域)の各画素データについては、4KRAWの有効画素エリア510の各画素データの場合と同様にしてデータストリームに配分される。すなわち、上方余剰画素エリア521と下方余剰画素エリア524は、水平方向の画素数が4KRAWの有効画素エリア510と同画素数であるため、図12で説明した有効画素エリア510へのマッピングの場合と同様のマッピングが行われる。
一方、左方余剰画素エリア522と右方余剰画素エリア523の画素データについては、マルチプレクサ104は、前述した図11の配分構成に従って、3ライン分に相当するデータストリームに多重する。図15〜図17は、各色のプレーンから例えば左方余剰画素エリア522として切り出された各画素データのうち、例えば72ライン分の画素データを、図11の配分構成に従って3ライン分に相当するデータストリームに多重した結果を示している。なお、それら3ライン分に相当する12本のデータストリームのうち、図15は、1ライン目に相当するLinkA,Bの各データストリーム1,2の4本のデータストリームへの多重結果を示している。同様に、図16は、2ライン目に相当する4本のデータストリームへの多重結果を示し、図17は、3ライン目に相当する4本のデータストリームへの多重結果を示している。なお、例えば図15のLinkAのデータストリーム1のGb(1,2)は、Gbプレーンから切り出された左方余剰画素エリア522の図8(c)に示した各画素データのうち、左から1番目で上から2番の画素データに対応する。
以下、R,Gr,Gb,Bの各プレーンの例えば左方余剰画素エリア522の各画素データをデータストリームに配分して多重する例について、図15〜図17を参照しながら説明する。
図15に示すように、マルチプレクサ104は、各プレーンの左方余剰画素エリア522の1ライン目の108個の画素データを、LinkA,Bの各データストリーム1,2のサンプル番号0〜107にマッピングして多重する。具体的には、左方余剰画素エリア522のGb(1,1),Gb(2,1),・・・,Gb(108,1)の108個の画素データは、LinkAのデータストリーム1の1ライン目のサンプル番号0〜107にマッピングされて多重される。以下同様に、左方余剰画素エリア522のGr(1,1),Gr(2,1),・・・,Gr(108,1)の108個の画素データは、LinkBのデータストリーム1のサンプル番号0〜107にマッピングされて多重される。RとBの左方余剰画素エリア522のB(1,1),R(1,1),B(3,1),R(3,1),・・・,B(107,1),R(107,1)の各画素データは、LinkAの各データストリーム2のサンプル番号0〜107にマッピングされて多重される。RとBの左方余剰画素エリア522のB(2,1),R(2,1),B(4,1),R(4,1),・・・,B(108,1),R(108,1)の各画データは、LinkBの各データストリーム2のサンプル番号0〜107にマッピングされて多重される。
また、マルチプレクサ104は、各プレーンの左方余剰画素エリア522の2ライン目の108個の画素を、LinkA,Bの各データストリーム1,2のサンプル番号108〜215にマッピングして多重する。具体的には、左方余剰画素エリア522のGb(1,2),Gb(2,2),・・・,Gb(108,2)の各画素データは、LinkAのデータストリーム1のサンプル番号108〜215にマッピングされて多重される。以下同様に、左方余剰画素エリア522のGr(1,2),Gr(2,2),・・・,Gr(108,2)の各画素データは、LinkBのデータストリーム1のサンプル番号108〜215にマッピングされて多重される。RとBの左方余剰画素エリア522のB(1,2),R(1,2),・・・,B(107,2),R(107,2)の各画素データは、LinkAの各データストリーム2のサンプル番号108〜215にマッピングされて多重される。B(2,2),R(2,2),・・・,B(108,2),R(108,2)の各画データは、LinkBの各データストリーム2のサンプル番号108〜215にマッピングされて多重される。
以下、前述同様に、マルチプレクサ104は、左方余剰画素エリア522の3ライン目〜17ライン目の各108個の画素データを、順次、LinkA,Bの各データストリーム1,2のサンプル番号216〜1835にマッピングして多重する。
また、マルチプレクサ104は、左方余剰画素エリア522の18ライン目については、36個の画素データを、LinkA,Bの各データストリーム1,2のサンプル番号1836〜1871にマッピングして多重する。例えばマルチプレクサ104は、左方余剰画素エリア522のGb(1,18),Gb(2,18),・・・,Gb(108,18)の各画素データを、LinkAのデータストリーム1の1ライン目のサンプル番号1836〜1871にマッピングして多重する。以下同様に、マルチプレクサ104は、Gr、B、Rの各画素データについても、図15に示すように各画素データをマッピングして多重する。ここで、LinkA,Bの各データストリーム1,2の残りのサンプル番号1872〜2024については、黒データを重畳する。具体的には、例えば8ビットによる256色で画素色が表される場合、マルチプレクサ104は、サンプル番号1872〜2024に対し、例えばR,Gr,Gb,Bの各色につき"040"のデータを重畳する。
次に、マルチプレクサ104は、左方余剰画素エリア522の18ライン目の残りの72個の画素データを、図16に示すように、2ライン目に相当するLinkA,Bの各データストリーム1,2のサンプル番号0〜71にマッピングして多重する。図16の例において、各画素データの具体的な個々のマッピング等は、図15と同様に行われるため、その詳細な説明は省略する。さらに、マルチプレクサ104は、左方余剰画素エリア522の19ライン目の次の108個の画素データを、図16に示すように、LinkA,Bの各データストリーム1,2のサンプル番号72〜179にマッピングして多重する。以下同様に、左方余剰画素エリア522の20ライン目〜34ライン目の各108個の画素データは、順次、データストリーム1,2のサンプル番号180〜1799にマッピングされて多重される。左方余剰画素エリア522の35ライン目の72個の画素データは、データストリーム1,2のサンプル番号1800〜1871にマッピングされて多重される。そして、データストリーム1,2の残りのサンプル番号には、前述同様の黒データが重畳される。
次に、左方余剰画素エリア522の35ライン目の残りの36個の画像データは、図17に示すように、3ライン目に相当するLinkA,Bのデータストリーム1,2のサンプル番号0〜35にマッピングされて多重される。また、左方余剰画素エリア522の36ライン目の108個の画素データは、データストリーム1,2のサンプル番号36〜143にマッピングされて多重される。以下、左方余剰画素エリア522の37ライン目〜52ライン目の各108個の画素データは、順次、データストリーム1,2のサンプル番号144〜1871にマッピングされて多重される。データストリーム1,2の残りのサンプル番号には、前述同様の黒データが重畳される。また、左方余剰画素エリア522の53ライン目〜1196ライン目についても、52ライン毎に、前述同様にして、データストリーム1,2にマッピングされて多重される。図17の例においても、各画素データの具体的な個々のマッピング等は、図15と同様に行われるため、その詳細な説明は省略する。
詳細な説明は省略するが、右方余剰画素エリア523についても、左方余剰画素エリア522の場合と同様のマッピングが行われる。
図18は、前述のように上方余剰画素エリア521(第1の領域)〜下方余剰画素エリア524(第4の領域)の各画素データがマッピングされて多重された、1フレーム分に相当するデータストリームによるデータ構造を示している。この図18に示すように、上方余剰画素エリア521(第1の領域)の各画素データは、デジタルアクティブライン領域の1〜58ラインに配分されて多重される。また、左方余剰画素エリア522(第2の領域)の各画素データは、デジタルアクティブライン領域の59〜127ラインに配分されて多重される。さらに、右方余剰画素エリア523(第3の領域)の各画素データは、デジタルアクティブライン領域の128〜196ラインに配分されて多重される。下方余剰画素エリア524(第4の領域)の各画素データは、デジタルアクティブライン領域の197〜255ラインに配分されて多重される。
前述したように、本実施形態では、信号切り出し部103は、4.5KRAWフレームの画像データを、図5に示したように、4KRAWの有効画素エリア510及びその周辺画素エリア511〜514と、四つの余剰画素エリア521〜524に分けている。また、マルチプレクサ104は、4KRAWの有効画素エリア510とその周辺画素エリア511〜514の各画素データを、図11〜図14で説明したように、それぞれLinkA,Bの各データストリーム1,2に配分して多重している。さらに、マルチプレクサ104は、四つの余剰画素エリア521〜524の各画素データを、図15〜図18で説明したように、それぞれLinkA,Bの各データストリーム1,2に配分して多重している。
そして、マルチプレクサ104は、各画素データが多重されたLinkA,Bのデータストリーム1,2(4本のデータストリーム)を、SMPTE ST 425(3G−SDI)に準拠して、ワード単位で交互に多重化して単一のデータストリームとする。すなわち、マルチプレクサ104は、4KRAWの有効画素エリア510とその周辺画素エリア511〜514の各画素データが多重されたLinkA,Bのデータストリーム1,2を多重化することで、一つの伝送路に送信されるデータストリームを生成する。また、マルチプレクサ104は、四つの余剰画素エリア521〜524の各画素データが多重されたLinkA,Bのデータストリーム1,2を多重化することで、一つの伝送路に送信されるデータストリームを生成する。
このように、本実施形態では、4.5KRAWフレームの画像データを、4KRAWフレームの画像及びその周辺画素と、4KRAWの画像以外の四つの余剰画素とに分けて、それらを3G−SDIの二本の伝送路を利用して伝送するようになされている。なお、本実施形態では、二本の伝送路を利用する例を挙げたが、3本以上の伝送路を利用してもよい。
以上、説明したように、第1の実施形態の撮像装置100は、4.5KRAWフレームの画像データを、4KRAWフレームの画像データと少なくとも四つの余剰画素とに分け、それらを3G−SDIの伝送路を複数本利用して伝送するようになされている。したがって、第1の実施形態の撮像装置100によれば、例えば毎秒30フレームの4.5RAWフレームの画素データを、3G−SDIに準拠した形で伝送することが可能である。
<第2の実施形態>
以下、第2の実施形態について説明する。第2の実施形態の撮像装置100は、前述した図1と同様の構成により実現されるため、具体的な構成の図示と説明は省略する。
第2の実施形態の撮像装置100は、ベイヤー構造の画像データをSDI規格に従って送信する際に、前述同様に、有効画素エリア及びその周辺画素エリアを含む画像データと、余剰画素エリアの画像データとに分けて伝送可能としている。また、第2の実施形態の撮像装置100も前述同様に、撮像装置であるとともに画像データの伝送装置でもある。ここで、第2の実施形態の場合、伝送の際のフレームレートは120fpsとし、伝送する画像データの画素数は、水平方向の画素数が4528画素、垂直方向の画素数が2392であるとする。120fpsは、第1の実施形態で例示した30fpsの4倍、言い換えると第2の実施形態は4フレーム分の4.5KRAWフレームを同時に伝送可能とする例である。以下、第2の実施形態では、3G−SDIの伝送路を例えば5本分使用して4フレーム分の4.5KRAWフレームを同時に伝送する場合を例に挙げて説明するが、本発明はこの例に限定されるものではない。第2の実施形態の場合は、前述した第1の実施形態に対し、マルチプレクサ104で行われる処理が異なる。以下、第2の実施形態におけるマルチプレクサ104の処理について説明する。
第2の実施形態の場合、マルチプレクサ104は、同時に4フレーム分の4.5KRAWフレームを読み出し、3G−SDIの5本の伝送路にマッピングする。各4.5KRAWフレームは、第1の実施形態と同様に、信号切り出し部103により、図5に示したように、4KRAWの有効画素エリア510及び周辺画素エリア511〜512と、余剰画素エリア521〜524とに分けられて切り出される。
切り出された4KRAWの有効画素エリア510及び周辺画素エリア511〜512の各画素データは、第1の実施形態と同様に、図11〜図14で説明したようにデータストリームにマッピングされる。各4.5KRAWフレームから切り出された第1の領域〜第4の領域である四つの余剰画素エリア521〜524の各画素データは、第1の実施形態と同様に、図15〜図18で説明したようにデータストリームにマッピングされる。
図19は、第2の実施形態において、各4.5KRAWフレームから切り出した余剰画素エリア521〜524がマッピングされて多重された、1フレーム分に相当するデータストリームによるデータ構成を示している。第2の実施形態の場合、マルチプレクサ104は、図19に示すように、4.5KRAWの4フレームのうち、第1フレームの上方余剰画素エリア521(第1の領域)の画素データについては、デジタルアクティブライン領域の1〜58ラインに多重する。また、マルチプレクサ104は、第1フレームの左方余剰画素エリア522(第2の領域)の画素データについては、デジタルアクティブライン領域の59〜127ラインに多重する。以下同様に、マルチプレクサ104は、第1フレームの右方余剰画素エリア523(第4の領域)の画素データを128〜196ラインに、下方余剰画素エリア524(第4の領域)の画素データを197〜254ラインに多重する。
また、マルチプレクサ104は、4.5KRAWの4フレームのうち、第2フレームの上方余剰画素エリア521の画素データについては、デジタルアクティブライン領域の255〜312ラインに多重する。また、マルチプレクサ104は、第2フレームの左方余剰画素エリア522の画素データについては、デジタルアクティブライン領域の313〜381ラインに多重する。以下同様に、マルチプレクサ104は、第2フレームの右方余剰画素エリア523の画素データを382〜450ラインに、下方余剰画素エリア524の画素データを451〜508ラインに多重する。
第3フレームについても同様に、マルチプレクサ104は、上方余剰画素エリア521の画素データを509〜566ラインに、左方余剰画素エリア522の画素データを567〜635ラインに多重する。また、マルチプレクサ104は、右方余剰画素エリア523の画素データを636〜704ラインに、下方余剰画素エリア524の画素データを705〜762ラインに多重する。
第4のフレームについても同様に、マルチプレクサ104は、上方余剰画素エリア521の画素データを763〜820ラインに、左方余剰画素エリア522の画素データを821〜889ラインに多重する。また、マルチプレクサ104は、第4のフレームの右方余剰画素エリア523の画素データを890〜958ラインに、下方余剰画素エリア524の画素データを959〜1016ラインに多重する。
前述したように、第2の実施形態の撮像装置100は、4.5KRAWの4フレーム分の画像データを、それぞれフレーム毎に、4KRAWの有効画素エリア510及び周辺画素エリア511〜512と、余剰画素エリア521〜524とに分けている。そして、各フレームの4KRAWの有効画素エリア510及び周辺画素エリア511〜512の画素データから、フレーム毎にそれぞれ一つの伝送路に送信されるデータストリームを生成している。すなわち、各フレームの4KRAWの有効画素エリア510及び周辺画素エリア511〜512の画素データは、それら各フレームにつき1本の伝送路(計4本の伝送路)により伝送される。一方、各フレームの余剰画素エリア521〜524の画素データは、4フレーム分を纏めて1本の伝送路により伝送される。このように、第2の実施形態の場合、4フレーム分の4.5KRAWの画像データを、合計5本の伝送路を利用して伝送可能となされている。
以上、説明したように、第2の実施形態の撮像装置100は、4フレーム分の4.5KRAWの画像データを、3G−SDIの5本の伝送路を利用して伝送するようになされている。すなわち、第2の実施形態の撮像装置100によれば、例えば120fpsのフレームレートの4.5KRAWフレームの画素データを、3G−SDIに準拠した形で伝送することが可能である。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
100 撮像装置、101 撮像部、102 信号処理部、103 信号切り出し部、104 マルチプレクサ、105 外部I/F、106 制御部、107 操作部、108 フラッシュメモリ、109 メモリ、110 表示制御部、111 表示部、112 内部バス

Claims (12)

  1. 1フレームの画素数が所定のフォーマットで伝送可能な画素数よりも大きい画素数の画像データを、前記所定のフォーマットで伝送可能な画素数の第1の画像領域と、前記第1の画像領域を除いた第2の画像領域と、に切り分ける切り出し手段と、
    前記所定のフォーマットに準拠した第1の伝送路で前記第1の画像領域のデータを伝送し、前記所定のフォーマットに準拠した第2の伝送路で前記第2の画像領域のデータを伝送する伝送手段と、
    を有することを特徴とする画像伝送装置。
  2. 前記切り出し手段は、複数のフレームごとに、前記第1の画像領域と前記第2の画像領域への切り分けを行い、
    前記伝送手段は、
    前記複数のフレームから切り分けられた前記第1の画像領域のデータを、前記フレームの数と同じ数の前記第1の伝送路により同時に伝送し、
    前記複数のフレームから切り分けられた前記第2の画像領域のデータを纏めて一つの前記第2の伝送路で伝送することを特徴とする請求項1に記載の画像伝送装置。
  3. 前記切り出し手段は、1フレームの前記画像データの中央の画像領域を、前記第1の画像領域として切り出すことを特徴とする請求項1又は2に記載の画像伝送装置。
  4. 前記切り出し手段は、1フレームの前記画像データの中央の前記第1の画像領域に対して、上方側の第1の領域と、左方側の第2の領域と、右方側の第3の領域と、下方側の第4の領域とを、前記第2の画像領域として切り出すことを特徴とする請求項3に記載の画像伝送装置。
  5. 前記切り出し手段は、前記第1の領域の水平方向の画素数と前記第4の領域の水平方向の画素数とを、それぞれ前記第1の画像領域の水平方向の画素数と同画素数として切り出すことを特徴とする請求項4に記載の画像伝送装置。
  6. 前記所定のフォーマットは、SDI(Serial Digital Intergace)規格であることを特徴とする請求項1乃至5の何れか1項に記載の画像伝送装置。
  7. 前記伝送手段は、
    前記第1の画像領域のデータを、前記SDIのデータストリームのアクティブライン領域に配分して前記第1の伝送路で伝送し、
    前記第2の画像領域のデータを、前記SDIのデータストリームのアクティブライン領域に配分して前記第2の伝送路で伝送することを特徴とする請求項6に記載の画像伝送装置。
  8. 前記伝送手段は、
    前記第2の画像領域のデータを前記データストリームに配分する際に、前記データストリームのなかで前記第2の画像領域のデータが配分されない領域には黒データを配分することを特徴とする請求項7に記載の画像伝送装置。
  9. 前記切り出し手段は、
    前記第1の画像領域の周辺の画素領域のデータを、前記SDIのデータストリームのブランキング領域に配分して前記第1の伝送路で伝送することを特徴とする請求項6乃至8の何れか1項に記載の画像伝送装置。
  10. 前記フレームの画像は、ベイヤー構造の撮像素子により取得されたRAW画像であることを特徴とする請求項1乃至9の何れか1項に記載の画像伝送装置。
  11. 1フレームの画素数が所定のフォーマットで伝送可能な画素数よりも大きい画素数の画像データを、前記所定のフォーマットで伝送可能な画素数の第1の画像領域と、前記第1の画像領域を除いた第2の画像領域と、に切り分けるステップと、
    前記所定のフォーマットに準拠した第1の伝送路で前記第1の画像領域のデータを伝送し、前記所定のフォーマットに準拠した第2の伝送路で前記第2の画像領域のデータを伝送するステップと、
    を有することを特徴とする画像伝送装置の画像伝送方法。
  12. コンピュータを、請求項1乃至10の何れか1項に記載の画像伝送装置の各手段として機能させるためのプログラム。
JP2016136950A 2016-07-11 2016-07-11 画像伝送装置、画像伝送方法、及びプログラム Pending JP2018011126A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016136950A JP2018011126A (ja) 2016-07-11 2016-07-11 画像伝送装置、画像伝送方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016136950A JP2018011126A (ja) 2016-07-11 2016-07-11 画像伝送装置、画像伝送方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2018011126A true JP2018011126A (ja) 2018-01-18

Family

ID=60994405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016136950A Pending JP2018011126A (ja) 2016-07-11 2016-07-11 画像伝送装置、画像伝送方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2018011126A (ja)

Similar Documents

Publication Publication Date Title
CN111263208B (zh) 一种画面合成方法、装置、电子设备及存储介质
US10916036B2 (en) Method and system of generating multi-exposure camera statistics for image processing
JP6032919B2 (ja) 画像処理装置
US20160065865A1 (en) Imaging device and imaging system
EP3439283A1 (en) Image pickup device, image processing device, and electronic apparatus
JP2009147489A (ja) 固体撮像素子及びそれを用いた撮像装置
KR20200014691A (ko) 촬상장치, 제어방법, 기록 매체, 및 정보처리장치
US20180077434A1 (en) Video transmission apparatus, video reception apparatus, video transmission method, and video transmission system
JP6953244B2 (ja) 画像伝送装置およびその制御方法
CN102215410A (zh) 信号处理器件、信号处理方法、显示器件和程序产品
JP4632721B2 (ja) 処理装置及びガンマ値調整プログラム
US20140022458A1 (en) Video signal processing apparatus and video signal processing method
CN107545556B (zh) 一种信号灯图像的处理方法和系统
US20130057712A1 (en) Signal transmitting device, signal transmitting method, signal receiving device, signal receiving method and signal transmitting system
JP2018011126A (ja) 画像伝送装置、画像伝送方法、及びプログラム
CN116630174A (zh) 一种多视频全景拼接的色差矫正方法、系统、电子设备
WO2012143596A1 (en) Detection of graphics added to a video signal
EP4068756A1 (en) Imaging device, information processing method, and program
KR20160114374A (ko) 채널간 상관관계 기반 컬러 필터 어레이 보간 방법
CN114125319A (zh) 图像传感器、摄像模组、图像处理方法、装置和电子设备
JP2018129700A (ja) 信号処理システム、信号生成装置、出力装置、信号生成方法、出力方法、信号生成プログラム、及び出力プログラム
JPH11112949A (ja) データ多重送信器、データ多重受信器、およびそれらを用いたデータ多重送受信システム
JP2017199990A (ja) 画像処理装置
JP2008250366A (ja) 人物抽出方法、その装置、そのプログラム、および、そのプログラムを記録した記録媒体
CN105472324B (zh) 视频显示方法和装置