JP2023163310A - 送信装置、送信方法、受信装置、受信方法、プログラム、および伝送システム - Google Patents

Abstract

【課題】機能安全やセキュリティの実現に用いられる情報をフレーム単位のデータ毎に付加して出力できるようにする。
【解決手段】本技術の一実施形態に係る送信装置は、セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかを、センサが出力するフレーム単位の出力データに付加することによってフレームデータを生成し、フレームデータを構成する各ラインのデータを各パケットに格納し、送信する。本技術は、本技術は、SLVS-EC規格の通信を行う装置に適用することができる。
【選択図】図５

Description

本技術は、特に、機能安全やセキュリティの実現に用いられる情報をフレーム単位のデータ毎に付加して出力できるようにした送信装置、送信方法、受信装置、受信方法、プログラム、および伝送システムに関する。

イメージセンサの通信IFの規格としてSLVS-EC(Scalable Low Voltage Signaling-Embedded Clock)がある。SLVS-ECの伝送方式は、送信側においてクロックを重畳した形でデータを送信し、受信側においてクロックを再生してデータを復調・復号する方式である。

SLVS-ECのデータ伝送は、例えば、イメージセンサと、HostとなるDSPとの間のデータ伝送に用いられる。

特表２０２０－５３３９２４号公報

イメージセンサ－Host間のデータ伝送においても、通常のデバイス間のデータ伝送などと同様に機能安全やセキュリティに関する対策が求められる。

本技術はこのような状況に鑑みてなされたものであり、機能安全やセキュリティの実現に用いられる情報をフレーム単位のデータ毎に付加して出力できるようにするものである。

本技術の第１の側面の送信装置は、セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかを、センサが出力するフレーム単位の出力データに付加することによってフレームデータを生成する生成部と、前記フレームデータを構成する各ラインのデータを各パケットに格納し、送信する信号処理部とを備える。

本技術の第２の側面の受信装置は、セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかが、センサが出力するフレーム単位の出力データに付加されたフレームデータを構成する各ラインのデータを格納したパケットを受信する信号処理部と、セキュリティを実現する処理を前記セキュリティ情報に基づいて行い、機能安全を実現する処理を前記機能安全情報に基づいて行う情報処理部とを備える。

本技術の第１の側面においては、セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかが、センサが出力するフレーム単位の出力データに付加されることによってフレームデータが生成され、フレームデータを構成する各ラインのデータが各パケットに格納され、送信される。

本技術の第２の側面においては、セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかが、センサが出力するフレーム単位の出力データに付加されたフレームデータを構成する各ラインのデータを格納したパケットが受信され、セキュリティを実現する処理がセキュリティ情報に基づいて行われ、機能安全を実現する処理が機能安全情報に基づいて行われる。

本技術の一実施形態に係る伝送システムの構成例を示す図である。 送信部と受信部の構成例を示すブロック図である。 各フレームの画像データの伝送に用いられるフォーマットの例を示す図である。 パケットのデータ構造を示す図である。 本技術の一実施形態に係るフレームフォーマットの例を示す図である。 各情報の内容の例を示す図である。 MAC値を用いた認証の例を示す図である。 画像データの暗号化と復号の例を示す図である。 各情報の送信に用いられるパケットの例を示す図である。 他のフレームフォーマットの例を示す図である。 アプリケーションレイヤ処理部の機能構成例を示すブロック図である。 ヘッダ情報を構成する各ビットの割り当ての例を示す図である。 ヘッダ情報を構成する各ビットの割り当ての例を示す図である。 Safety InfoとSecurity Infoの値の例を示す図である。 ヘッダ情報の値の例を示す図である。 イメージセンサの処理について説明するフローチャートである。 DSPの処理について説明するフローチャートである。 フレームフォーマットの第１の変形例を示す図である。 フレームフォーマットの第２の変形例を示す図である。 フレームフォーマットの第３の変形例を示す図である。 アプリケーションレイヤ処理部の機能構成例を示すブロック図である。 フレームフォーマットの第４の変形例を示す図である。 送信部と受信部の構成例を示す図である。 ペイロードデータの例を示す図である。 ペイロードデータの他の例を示す図である。 パリティが挿入されたペイロードデータの例を示す図である。 ペイロードデータにヘッダを付加した状態を示す図である。 ペイロードデータにヘッダとフッタを付加した状態を示す図である。 パリティが挿入されたペイロードデータにヘッダを付加した状態を示す図である。 パケットデータの割り当ての例を示す図である。 制御コードの例を示す図である。 制御コード挿入後のパケットデータの例を示す図である。 Data Skewの補正の例を示す図である。 MAC演算の対象範囲の例を示す図である。 CRC演算の対象範囲の例を示す図である。 MAC演算とCRC演算の対象範囲の例を示す図である。 アプリケーションレイヤ処理部の構成例を示すブロック図である。 DT領域の値の例を示す図である。 DT領域の値の他の例を示す図である。 SLVS／SubLVDSのデータの伝送タイミングの例を示す図である。 イメージセンサの構成例を示すブロック図である。 長畜画像と短畜画像の伝送に用いられるヘッダ情報の例を示す図である。 コンピュータの構成例を示すブロック図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．SLVS-ECの伝送システム
２．機能安全情報・セキュリティ情報の伝送
３．フレームフォーマットのバリエーションの例
４．SLVS-ECについて
５．適用例

＜＜SLVS-ECの伝送システム＞＞
＜伝送システムの構成＞
図１は、本技術の一実施形態に係る伝送システムの構成例を示す図である。

図１の伝送システム１は、イメージセンサ１１とDSP１２から構成される。イメージセンサ１１とDSP１２は、カメラやスマートフォンなどの、撮像機能を有する同じ装置内に設けられる。イメージセンサ１１には撮像部２１と送信部２２が設けられ、DSP１２には受信部３１と画像処理部３２が設けられる。

イメージセンサ１１の撮像部２１は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子より構成され、レンズを介して受光した光の光電変換を行う。撮像部２１は、光電変換によって得られた信号のA/D変換などを行い、１フレームの画像を構成する画素データを、例えば１画素のデータずつ送信部２２に順に出力する。

送信部２２は、撮像部２１から供給された各画素のデータを複数の伝送路に割り当て、複数の伝送路を介して並列にDSP１２に送信する。図１の例においては、８本の伝送路を用いて画素データの伝送が行われている。イメージセンサ１１とDSP１２の間の伝送路は有線の伝送路であってもよいし、無線の伝送路であってもよい。以下、適宜、イメージセンサ１１とDSP１２の間の伝送路をレーン（Lane）という。

DSP１２の受信部３１は、８本のレーンを介して送信部２２から伝送されてきた画素データを受信し、各画素のデータを画像処理部３２に順に出力する。

画像処理部３２は、受信部３１から供給された画素データに基づいて１フレームの画像を生成し、生成した画像を用いて各種の画像処理を行う。

イメージセンサ１１からDSP１２に伝送される画像データは、例えばRAWデータである。画像処理部３２においては、画像データの圧縮、画像の表示、記録媒体に対する画像データの記録などの各種の処理が行われる。RAWデータ以外に、JPEGデータや、画素データ以外の付加データがイメージセンサ１１からDSP１２に対して伝送されるようにしてもよい。

以上のように、伝送システム１のイメージセンサ１１に設けられる送信部２２と、Host側の情報処理部となるDSP１２に設けられる受信部３１との間では、複数のレーンを用いたデータの送受信が行われる。

送信部２２と受信部３１の組が複数設けられるようにすることも可能である。この場合、複数のレーンを用いたデータの送受信が、それぞれの送信部２２と受信部３１の組の間で行われる。

送信部２２と受信部３１の間のデータの送受信は、例えば、通信IFの規格であるSLVS-ECに従って行われる。

SLVS-ECにおいては、信号処理の内容に応じて、アプリケーションレイヤ（Application Layer）、リンクレイヤ（LINK Layer）、および物理レイヤ（PHY Layer）が定義されている。各レイヤの信号処理が、送信側（Tx）である送信部２２と、受信側（Rx）である受信部３１のそれぞれにおいて行われる。

詳細については後述するが、リンクレイヤにおいては、基本的に、以下の機能を実現するための信号処理が行われる。
１．ピクセルデータ－バイトデータ変換
２．ペイロードデータのエラー訂正
３．パケットデータと補助データの伝送
４．パケットフッタを用いた、ペイロードデータのエラー訂正
５．レーンマネジメント
６．パケット生成のためのプロトコルマネジメント

一方、物理レイヤにおいては、基本的に、以下の機能を実現するための信号処理が行われる。
１．制御コードの生成と抽出
２．バンド幅の制御
３．レーン間のskewの制御
４．シンボルの配置
５．ビット同期のためのシンボルコーディング
６．SERDES(SERializer/DESerializer)
７．クロックの生成と再生
８．SLVS(Scalable Low Voltage Signaling)信号の伝送

図２は、送信部２２と受信部３１の構成例を示すブロック図である。

図２に示すように、送信部２２は、アプリケーションレイヤ処理部４１、リンクレイヤ信号処理部４２、および物理レイヤ信号処理部４３により構成される。送信部２２は、送信側のリンクレイヤの信号処理を行う信号処理部と、送信側の物理レイヤの信号処理を行う信号処理部をそれぞれ有する。

アプリケーションレイヤ処理部４１は、イメージセンサ１１から出力された画素データを取得し、伝送対象となる出力データに対してアプリケーションレイヤの処理を行う。アプリケーションレイヤ処理部４１においては、各フレームの画像データを出力データとしてアプリケーションレイヤの処理が施される。アプリケーションレイヤの処理により、所定のフォーマットを有するフレームデータが生成される。アプリケーションレイヤ処理部４１は、フレームデータを構成するデータをリンクレイヤ信号処理部４２に出力する。

リンクレイヤ信号処理部４２は、アプリケーションレイヤ処理部４１から供給されたデータに対してリンクレイヤの信号処理を施す。リンクレイヤ信号処理部４２においては、上述した処理の他に、フレームデータを格納するパケットの生成と、パケットのデータを複数のレーンに分配する処理が少なくとも行われる。リンクレイヤ信号処理部４２からは、フレームデータを構成するデータを格納したパケットが出力される。

物理レイヤ信号処理部４３は、リンクレイヤ信号処理部４２から供給されたパケットに対して物理レイヤの信号処理を施す。物理レイヤ信号処理部４３においては、各レーンに分配されたパケットに対して制御コードを挿入する処理を含む処理がレーン毎に並列に行われる。物理レイヤ信号処理部４３からは、各レーンのデータストリームが出力され、受信部３１に対して送信される。

一方、受信部３１は、物理レイヤ信号処理部５１、リンクレイヤ信号処理部５２、およびアプリケーションレイヤ処理部５３により構成される。受信部３１は、受信側の物理レイヤの信号処理を行う信号処理部と、受信側のリンクレイヤの信号処理を行う信号処理部をそれぞれ有する。

物理レイヤ信号処理部５１は、送信部２２の物理レイヤ信号処理部４３から送信されてきたデータストリームを受信し、受信したデータストリームに対して物理レイヤの信号処理を施す。物理レイヤ信号処理部５１においては、上述した処理の他に、シンボルの同期処理と制御コードの除去とを含む処理がレーン毎に並列に行われる。物理レイヤ信号処理部５１からは、フレームデータを構成するデータを格納したパケットからなるデータストリームが複数のレーンを用いて出力される。

リンクレイヤ信号処理部５２は、物理レイヤ信号処理部５１から供給された各レーンのデータストリームに対してリンクレイヤの信号処理を施す。リンクレイヤ信号処理部５２においては、複数のレーンのデータストリームを一系統のデータに統合する処理と、データストリームを構成するパケットを取得する処理が少なくとも行われる。リンクレイヤ信号処理部５２からは、パケットから抽出されたデータが出力される。

アプリケーションレイヤ処理部５３は、リンクレイヤ信号処理部５２から供給されたデータにより構成されるフレームデータに対してアプリケーションレイヤの処理を行う。アプリケーションレイヤの処理として、機能安全（Function safety）の実現、セキュリティの実現のための処理が行われる。アプリケーションレイヤ処理部５３は、アプリケーションレイヤの処理後の出力データを後段の画像処理部３２に出力する。受信側においてアプリケーションレイヤの処理を行うために送信側において行われるアプリケーションレイヤの処理も、機能安全（Function safety）の実現、セキュリティの実現のための処理となる。

＜SLVS-ECのフレームフォーマット＞
図３は、各フレームの画像データの伝送に用いられるフォーマットの例を示す図である。

有効画素領域Ａ１は、撮像部２１により撮像された１フレームの画像の有効画素の領域である。有効画素領域Ａ１の左側にはマージン領域Ａ２が設定される。

有効画素領域Ａ１の上側には前ダミー領域Ａ３が設定される。図３の例においては、前ダミー領域Ａ３にEmbedded Dataが挿入されている。Embedded Dataは、シャッタスピード、絞り値、ゲインなどの、撮像部２１による撮像に関する設定値の情報などが含まれる。Contents, format, data size等がEmbedded Dataとして含まれるようにしてもよい。

有効画素領域Ａ１の下側には後ダミー領域Ａ４が設定される。後ダミー領域Ａ４にEmbedded Dataが挿入されることもある。

有効画素領域Ａ１、マージン領域Ａ２、前ダミー領域Ａ３、および後ダミー領域Ａ４から画像データ領域Ａ１１が構成される。

画像データ領域Ａ１１を構成する各ラインの前にはヘッダが付加され、ヘッダの前にはStart Codeが付加される。また、画像データ領域Ａ１１を構成する各ラインの後ろにはフッタがオプションで付加され、フッタの後ろにはEnd Codeなどの制御コードが付加される。フッタが付加されない場合、画像データ領域Ａ１１を構成する各ラインの後ろにEnd Codeなどの制御コードが付加される。

撮像部２１により撮像された１フレームの画像毎に、図３に示すフォーマットのフレームデータを用いてデータ伝送が行われる。

図３の上側の帯は、下側に示すフレームデータの伝送に用いられるパケットの構造を示す。水平方向のデータの並びをラインとすると、パケットのペイロードには、画像データ領域Ａ１１の１ラインを構成するデータが格納される。１フレームのフレームデータ全体の伝送は、画像データ領域Ａ１１の垂直方向の画素数以上の数のパケットを用いて行われる。また、１フレームのフレームデータ全体の伝送は、例えば上のラインに配置されたデータから順に、ライン単位のデータを格納したパケットを送信することによって行われる。

１ライン分のデータが格納されたペイロードにヘッダとフッタが付加されることによって１パケットが構成される。各パケットには、制御コードであるStart CodeとEnd Codeが少なくとも付加される。

図４は、パケットのデータ構造を拡大して示す図である。

１パケット全体は、ヘッダと、フレームデータを構成する１ライン分のデータであるペイロードデータから構成される。

ヘッダには、Frame Start, Frame End, Line Valid, Line Number, ECCなどの、ペイロードに格納されているデータの付加的な情報が含まれる。図４の例においては、ヘッダ情報として、Frame Start, Frame End, Line Valid, Line Numberが示されている。

Frame Startは、フレームの先頭を示す１ビットの情報である。フレームデータの１ライン目のデータの伝送に用いられるパケットのヘッダのFrame Startには１の値が設定され、他のラインのデータの伝送に用いられるパケットのヘッダのFrame Startには０の値が設定される。

Frame Endは、フレームの終端を示す１ビットの情報である。フレームデータの終端ラインのデータを含むパケットのヘッダのFrame Endには１の値が設定され、他のラインのデータの伝送に用いられるパケットのヘッダのFrame Endには０の値が設定される。

Frame StartとFrame Endが、フレームに関する情報であるフレーム情報となる。

Line Validは、パケットに格納されているデータのラインが有効画素のラインであるのか否かを表す１ビットの情報である。有効画素領域Ａ１内のラインの画素データの伝送に用いられるパケットのヘッダのLine Validには１の値が設定され、他のラインのデータの伝送に用いられるパケットのヘッダのLine Validには０の値が設定される。

Line Numberは、パケットに格納されているデータが配置されたラインのライン番号を表す１３ビットの情報である。

Line ValidとLine Numberが、ラインに関する情報であるライン情報となる。

後述するように、機能安全情報、セキュリティ情報がパケットに含まれているか否かを示すフラグなどの情報もヘッダ情報に含まれる。

ヘッダ情報に続けて配置されるHeader ECCには、６バイトのヘッダ情報に基づいて計算された２バイトの誤り検出符号であるCRC(Cyclic Redundancy Check)符号が含まれる。また、Header ECCには、CRC符号に続けて、ヘッダ情報とCRC符号の組である８バイトの情報と同じ情報が２つ含まれる。

＜＜機能安全情報・セキュリティ情報の伝送＞＞
＜フレームフォーマット＞
図５は、本技術の一実施形態に係るフレームフォーマットの例を示す図である。

図５に示すフレームフォーマットは、セキュリティ関連情報、機能安全関連情報、および、EBD(Embedded Data)が、１フレーム分の画像データ（RAWデータ）の前の各ラインに配置されることによって構成される。セキュリティ関連情報が配置されたラインの次のラインに機能安全関連情報が配置され、機能安全関連情報が配置されたラインの次のラインにEBDが配置される。EBDが配置されたラインの後に、複数のラインのデータとなる、１フレーム分の画像データが配置される。

また、図５に示すフレームフォーマットは、出力データ機能安全情報と出力データセキュリティ情報が、１フレーム分の画像データの後の各ラインに配置されることによって構成される。出力データ機能安全情報が配置されたラインの次のラインに出力データセキュリティ情報が配置される。

フレームフォーマットの先頭と終端には、それぞれFS(Frame Start)のラインとFE(Frame End)のラインが配置される。Frame Startのラインは、パケットヘッダのFrame Startに１の値が設定されるデータのラインである。また、Frame Endのラインは、パケットヘッダのFrame Endに１の値が設定されるデータのラインである。

セキュリティ関連情報、機能安全関連情報、EBD、出力データセキュリティ情報、出力データ機能安全情報のそれぞれの情報が配置されるラインとして１ラインが設定されるようにしてもよいし、複数のラインが設定されるようにしてもよい。

図５の各ラインの左端には、各ラインのデータに付加されるパケットヘッダ（PH）が示されている。なお、図５においては、図３を参照して説明したマージン領域などの図示が省略されている。

セキュリティ関連情報は、イメージセンサ１１のセキュリティの実現に用いられる情報である。イメージセンサ１１とDSP１２の間の通信のセキュリティの実現に用いられる情報もセキュリティ関連情報に含まれる。イメージセンサ１１に対する攻撃などの、悪意のある行為に関する情報がセキュリティ関連情報に含まれる。

図６に示すように、セキュリティ関連情報には以下の情報が含まれる。
・レジスタ通信のセキュリティエラー／ワーニングの情報
・センサ内部への攻撃を検出したことを示す情報
・セキュリティエラー／ワーニング解析のための情報
・内部ステート情報
・動作モード関連情報
・レジスタ通信が発生したことを通知するための情報
・フレームカウンタ
・１フレームのデータサイズの情報

レジスタ通信のセキュリティエラー／ワーニングの情報は、イメージセンサ１１とDSP１２の間で行われるレジスタ通信のセキュリティに障害（エラー／ワーニング）があることがイメージセンサ１１側で検出された場合に、そのことをDSP１２側に通知する情報として用いられる。イメージセンサ１１とDSP１２の間では、レーンを介したデータ伝送の他に、所定の信号線を介したレジスタ通信が行われる。

センサ内部への攻撃を検出したことを示す情報は、イメージセンサ１１に対する攻撃があったことがイメージセンサ１１側で検出された場合に、そのことをDSP１２側に通知する情報として用いられる。

セキュリティエラー／ワーニング解析のための情報は、障害の発生回数などの情報である。DSP１２においては、障害の発生回数などの情報に基づいて、セキュリティエラー、ワーニングの解析が行われる。

内部ステート情報は、イメージセンサ１１の状態を示す情報である。セキュリティ動作のオン／オフなどが内部ステート情報により表される。

セキュリティ動作がオンである場合、イメージセンサ１１が送信するフレームデータには、セキュリティ関連情報と出力データセキュリティ情報がイメージセンサ１１のアプリケーションレイヤ処理部４１による処理によって含められる。また、セキュリティ動作がオンである場合、DSP１２のアプリケーションレイヤ処理部５３においては、セキュリティ関連情報と出力データセキュリティ情報を用いて、セキュリティを実現するための処理が行われる。

動作モード関連情報は、画素データの読み出し方、画角などの、イメージセンサ１１の動作モードを示す情報である。

レジスタ通信が発生したことを通知するための情報は、通信の発生回数をカウントするカウンタ値である。

フレームカウンタは、フレームの数のカウンタ値である。

１フレームのデータサイズの情報は、１つのフレームデータのデータサイズの情報である。

図５の説明に戻り、機能安全関連情報は、イメージセンサ１１の機能安全の実現に用いられる情報である。機能安全は、イメージセンサ１１の機能として許容不可能なリスクが存在しない状態を達成することを意味する。イメージセンサ１１とDSP１２の間の通信の機能安全の実現に用いられる情報も機能安全関連情報に含まれる。

図６に示すように、機能安全関連情報には以下の情報が含まれる。
・レジスタ通信の機能安全エラー／ワーニングの情報
・センサ内部の故障の情報
・センサのイレギュラー動作を検出したことを示す情報
・機能安全エラー／ワーニング解析のための情報
・内部ステート情報
・動作モード関連情報
・レジスタ通信が発生したことを通知するための情報
・フレームカウンタ
・１フレームのデータサイズの情報

破線で囲んで示すように、内部ステート情報、動作モード関連情報、レジスタ通信が発生したことを通知するための情報、フレームカウンタ、および１フレームのデータサイズの情報は、セキュリティ関連情報と機能安全関連情報に共通に含まれる情報となる。重複する説明については適宜省略する。

レジスタ通信の機能安全エラー／ワーニングの情報は、イメージセンサ１１とDSP１２の間で行われるレジスタ通信の機能安全に障害があることがイメージセンサ１１側で検出された場合に、そのことをDSP１２側に通知する情報として用いられる。レジスタ通信をノイズによって正常に行うことができない場合などに、機能安全に障害があることが検出される。

センサ内部の故障の情報は、イメージセンサ１１の故障があった場合にそのことを示す情報である。

センサのイレギュラー動作を検出したことを示す情報は、イレギュラーな動作がイメージセンサ１１において行われた場合にそのことを示す情報である。

機能安全エラー／ワーニング解析のための情報は、故障やイレギュラーな動作の発生回数などの情報である。DSP１２においては、故障の発生回数などの情報に基づいて、機能安全エラー、ワーニングの解析が行われる。

機能安全関連情報の内部ステート情報により、機能安全動作のオン／オフなどが表される。

機能安全動作がオンである場合、イメージセンサ１１が送信するフレームデータには、機能安全関連情報と出力データ機能安全情報がイメージセンサ１１のアプリケーションレイヤ処理部４１による処理によって含められる。また、機能安全動作がオンである場合、DSP１２のアプリケーションレイヤ処理部５３においては、機能安全関連情報と出力データ機能安全情報を用いて、機能安全を実現するための処理が行われる。

出力データ機能安全情報は、出力データ（伝送対象となる画像データ）自体の機能安全の実現に用いられる情報である。例えば、出力データを用いた演算によって求められる誤り検出符号であるCRC値が出力データ機能安全情報に含まれる。CRC演算の演算モードを示す情報などの他の情報が出力データ機能安全情報に含まれるようにしてもよい。

出力データセキュリティ情報は、出力データ自体のセキュリティの実現に用いられる情報である。例えば、出力データを用いた演算によって求められる認証コードであるMAC(Message Authentication Code)値や、IV(Initialization Vector)情報が出力データセキュリティ情報に含まれる。MAC演算の演算モードを示す情報などの他の情報が出力データセキュリティ情報に含まれるようにしてもよい。

図７は、出力データセキュリティ情報を用いた処理の例を示す図である。

図７の左側はイメージセンサ１１のアプリケーションレイヤ処理部４１において行われる処理を示し、図７の右側はDSP１２のアプリケーションレイヤ処理部５３において行われる処理を示す。アプリケーションレイヤ処理部４１とアプリケーションレイヤ処理部５３には共通鍵Ｋが用意される。

図７の左側に示すように、アプリケーションレイヤ処理部４１においては、出力データとなるフレームＮの画像データに対して、共通鍵ＫとIV_Ｎ情報を用いたMAC演算が施され、MAC_Ｎ値が生成される。IV_Ｎ情報とMAC_Ｎ値は、フレームＮの画像データに出力データセキュリティ情報として付加され、DSP１２に対して送信される。

一方、図７の右側に示すように、アプリケーションレイヤ処理部５３においては、フレームＮの画像データに対して、共通鍵Ｋと、画像データに付加されていたIV_Ｎ情報を用いたMAC演算が施され、MAC_Ｎ値が生成される。矢印Ａ１に示すように、アプリケーションレイヤ処理部５３において生成されたMAC_Ｎ値と、画像データに付加されていたMAC_Ｎ値を比較する処理が、フレームＮの画像データのセキュリティを実現するための処理として行われる。

セキュリティを実現するための処理においては、両者のMAC_Ｎ値が一致する場合には、セキュリティが確保されている（データが改ざんされていない）ものとして判定され、両者のMAC_Ｎ値が異なる場合には、セキュリティが確保されていないものとして判定される。MAC値を各フレームの画像データに付加することにより、画像データの完全性を保証することが可能となる。

出力データ機能安全情報であるCRC値を用いた誤り検出の処理も同様にして行われる。CRC値の演算においては、IV情報は不要である。なお、MAC値を用いた処理も、アルゴリズムによってはIV情報が不要となる。MACの方式としてGMACを使用する場合はIV情報が必要になる。

図８は、出力データの暗号化と復号の例を示す図である。

図８の左側はイメージセンサ１１のアプリケーションレイヤ処理部４１において行われる処理を示し、図８の右側はDSP１２のアプリケーションレイヤ処理部５３において行われる処理を示す。アプリケーションレイヤ処理部４１とアプリケーションレイヤ処理部５３には共通鍵Ｋが用意される。

図８の左側に示すように、アプリケーションレイヤ処理部４１においては、出力データであるフレームＮの画像データに対して、共通鍵ＫとIV_Ｎ情報を用いた暗号化処理が施される。暗号化処理に用いられたIV_Ｎ情報は、暗号化処理によって得られたフレームＮの暗号データに付加され、DSP１２に対して送信される。

一方、図８の右側に示すように、アプリケーションレイヤ処理部５３においては、フレームＮの暗号データに対して、アプリケーションレイヤ処理部５３が有している共通鍵Ｋと、暗号データに付加されていたIV_Ｎ情報を用いた復号処理が施され、フレームＮの画像データが復号される。

各フレームの画像データ自体を暗号化することにより、出力データの機密性を保証することが可能となる。暗号データの改ざんを防ぐために、MAC演算がさらに行われるようにしてもよい。この場合、MAC値が付加された暗号データがDSP１２に対して送信される。

以下、適宜、セキュリティ関連情報と機能安全関連情報を区別する必要がない場合、まとめて関連情報という。また、出力データ機能安全情報と出力データセキュリティ情報を区別する必要がない場合、出力データに付加される情報という意味で、まとめて出力データ付加情報という。

さらに、セキュリティ関連情報と出力データセキュリティ情報の組をセキュリティ情報といい、機能安全関連情報と出力データ機能安全情報の組を機能安全情報という。

それぞれの情報は、図９のＡ乃至Ｄに示すようにライン単位で１つのパケットに格納され、イメージセンサ１１からDSP１２に対して伝送される。それぞれのパケットのパケットヘッダには、それぞれのパケットに格納されている情報の識別に用いられるフラグが設定される。

このように、図１の伝送システム１においては、出力データとなる各フレームの画像データに対して、CRC値やMAC値などの情報が付加される。イメージセンサ１１から送信されてきたフレームデータを受信したDSP１２は、セキュリティの実現や機能安全の実現をフレーム単位で行うことができる。

また、各フレームの画像データとともに伝送される関連情報と出力データ付加情報は、SLVS-ECの受信側における物理レイヤの処理とリンクレイヤの処理を経て、DSP１２のアプリケーションレイヤ処理部５３に供給される。DSP１２は、フレーム単位でのセキュリティの実現や機能安全の実現を、アプリケーションレイヤの処理として行うことができる。

図１０は、他のフレームフォーマットの例を示す図である。

図１０に示すように、１フレームの画像データの後のラインにEBDが配置されるようにしてもよい。図１０においては、１フレームの画像データの前のラインに配置されたEBDがEBD１とされ、１フレームの画像データの後のラインに配置されたEBDがEBD２とされている。

＜アプリケーションレイヤ処理部の構成＞
図１１は、アプリケーションレイヤ処理部の機能構成例を示すブロック図である。図１１には、主に、イメージセンサ１１の送信部２２を構成するアプリケーションレイヤ処理部４１と、DSP１２の受信部３１を構成するアプリケーションレイヤ処理部５３の構成が示されている。

・イメージセンサ側のアプリケーションレイヤ処理部の構成
イメージセンサ１１のアプリケーションレイヤ処理部４１は、関連情報生成部１０１、画像データ処理部１０２、EBD生成部１０３、および機能安全・セキュリティ付加情報生成部１０４により構成される。

関連情報生成部１０１は、関連情報を生成する。すなわち、関連情報生成部１０１は、セキュリティ動作がオンである場合、セキュリティ関連情報を生成し、機能安全動作がオンである場合、機能安全関連情報を生成する。セキュリティ動作のオン／オフ、機能安全動作のオン／オフは図示せぬ制御部により設定される。関連情報生成部１０１により生成された関連情報はリンクレイヤ信号処理部４２に供給される。

画像データ処理部１０２は、撮像部２１から出力された画素データに基づいて、出力データとなる画像データを取得する。画像データ処理部１０２は、出力データの暗号化を共通鍵などを用いて行い、暗号データをリンクレイヤ信号処理部４２に出力する。

EBD生成部１０３は、撮像に関する設定値の情報を取得し、EBDを生成する。撮像に関する設定値以外の情報がEBDに含まれることもある。EBD生成部１０３により生成されたEBDはリンクレイヤ信号処理部４２に供給される。

機能安全・セキュリティ付加情報生成部１０４は、出力データ付加情報を生成する。すなわち、機能安全・セキュリティ付加情報生成部１０４は、セキュリティ動作がオンである場合、出力データセキュリティ情報を生成し、機能安全動作がオンである場合、出力データ機能安全情報を生成する。図７を参照して説明したように、出力データセキュリティ情報と出力データ機能安全情報は、共通鍵などを用いた演算を出力データに対して行うことによって生成される。機能安全・セキュリティ付加情報生成部１０４により生成された出力データ付加情報はリンクレイヤ信号処理部４２に供給される。

このように、関連情報生成部１０１、画像データ処理部１０２、EBD生成部１０３、および機能安全・セキュリティ付加情報生成部１０４により構成されるイメージセンサ１１のアプリケーションレイヤ処理部４１は、図５を参照して説明したようなフォーマットを有するフレームデータを生成する生成部として機能する。

アプリケーションレイヤ処理部４１により生成されたフレームデータに対して、リンクレイヤの処理がリンクレイヤ信号処理部４２において施され、物理レイヤの処理が物理レイヤ信号処理部４３において施される。物理レイヤの処理によって得られたデータストリームが、吹き出しに示すようにDSP１２に対して送信される。

・ヘッダ情報の詳細
ここで、パケットヘッダに含まれるヘッダ情報の詳細について説明する。図４を参照して説明したように、パケットヘッダには、ヘッダ情報とヘッダのCRC値が含まれる。ヘッダ情報とヘッダのCRC値の１つの組は８バイトの情報である。

図１２および図１３は、ヘッダ情報を構成する各ビットの割り当ての例を示す図である。

図１２には、ヘッダ情報とヘッダのCRC値の１つの組を構成する６４ビットのうちの、最上位ビットであるビット[63]から、ビット[32]までの３２ビット（[63:32]）が示されている。

主な情報について説明すると、ビット[63]の１ビットにはFrame Startが割り当てられ、ビット[62]の１ビットにはFrame Endが割り当てられる。ビット[61]の１ビットにはLine Validが割り当てられ、ビット[60:48]の１３ビットにはLine Numberが割り当てられる。ビット[47]の１ビットにはEBD Lineが割り当てられ、ビット[42:40]の３ビットにはHeader Info Typeが割り当てられる。

EBD Lineは、パケットに格納されているデータが、EBDが配置されたラインのデータであるか否かを示すフラグである。例えば、EBD Lineの値が１であることは、当該EBD Lineを含むパケットヘッダが付加されたパケットにEBDが格納されていることを示す。また、EBD Lineの値が０であることは、当該EBD Lineを含むパケットヘッダが付加されたパケットにEBDが格納されていないことを示す。

ビット[42:40]のHeader Info Typeは、ビット[31:16]の内容を指定する情報である。

例えば、Header Info Typeの値が“000”または“001”である場合、図１３に示すように、ビット[17]の１ビットにはSafety Infoが割り当てられ、ビット[16]の１ビットにはSecurity Infoが割り当てられるなどのように、Header Info Typeの値によりビット[17]/ビット[16]の意味を変更してもよい。図１３のＡは、Header Info Typeの値が“000”である場合の割り当てを示し、図１３のＢは、Header Info Typeの値が“001”である場合の割り当てを示す。

Safety Infoは、パケットに格納されているデータが、機能安全情報が配置されたラインのデータであるか否かを示すフラグである。

Security Infoは、パケットに格納されているデータが、セキュリティ情報が配置されたラインのデータであるか否かを示すフラグである。

図１４は、Safety InfoとSecurity Infoの値の例を示す図である。

図１４の上段に示すように、Safety Infoの値が１であることは、当該Safety Infoを含むパケットヘッダが付加されたパケットに、機能安全関連情報と出力データ機能安全情報のうちの少なくともいずれかが格納されていることを示す。Safety Infoの値が０であることは、当該Safety Infoを含むパケットヘッダが付加されたパケットに、機能安全関連情報および出力データ機能安全情報が格納されていないことを示す。

一方、図１４の下段に示すように、Security Infoの値が１であることは、当該Security Infoを含むパケットヘッダが付加されたパケットに、セキュリティ関連情報と出力データセキュリティ情報のうちの少なくともいずれかが格納されていることを示す。Security Infoの値が０であることは、当該Security Infoを含むパケットヘッダが付加されたパケットに、セキュリティ関連情報および出力データセキュリティ情報が格納されていないことを示す。

図１５は、ヘッダ情報の値の例を示す図である。

セキュリティ関連情報が配置されたラインの右側に示すように、セキュリティ関連情報を格納するパケットに付加されるパケットヘッダのEBD Line（ビット[47]）、Safety Info（ビット[17]）、Security Info（ビット[16]）には、それぞれ、１，０，１の値が設定される。

機能安全関連情報が配置されたラインの右側に示すように、機能安全関連情報を格納するパケットに付加されるパケットヘッダのEBD Line、Safety Info、Security Infoには、それぞれ、１，１，０の値が設定される。

EBD１が配置されたラインの右側に示すように、EBD１を格納するパケットに付加されるパケットヘッダのEBD Line、Safety Info、Security Infoには、それぞれ、１，０，０の値が設定される。

このように、セキュリティ関連情報を格納したパケットと機能安全関連情報を格納したパケットには、EBD１を格納するパケットと同様に、EBD Lineの値として値１が設定されたパケットヘッダが付加される。受信側のDSP１２においては、セキュリティ関連情報と機能安全関連情報がEBDと同様の情報として処理されることになる。

EBD２が配置されたラインの右側に示すように、EBD２を格納するパケットに付加されるパケットヘッダのEBD Line、Safety Info、Security Infoには、それぞれ、１，０，０の値が設定される。

出力データ機能安全情報が配置されたラインの右側に示すように、出力データ機能安全関連情報を格納するパケットに付加されるパケットヘッダのEBD Line、Safety Info、Security Infoには、それぞれ、０，１，０の値が設定される。

出力データセキュリティ情報が配置されたラインの右側に示すように、出力データセキュリティ情報を格納するパケットに付加されるパケットヘッダのEBD Line、Safety Info、Security Infoには、それぞれ、０，０，１の値が設定される。

図１５に示すような値のヘッダ情報を含むパケットヘッダが、アプリケーションレイヤ処理部４１による制御に従ってリンクレイヤ信号処理部４２により生成される。以下、適宜、図１５に示すフレームフォーマットを基本フォーマットとして説明する。

・DSP側のアプリケーションレイヤ処理部の構成
図１１の説明に戻り、DSP１２のアプリケーションレイヤ処理部５３は、識別部１１１、機能安全・セキュリティ処理部１１２、処理対象データ抽出部１１３、比較対象データ抽出部１１４、および演算部１１５により構成される。リンクレイヤの処理がリンクレイヤ信号処理部５２において施されることによって得られたフレームデータを構成する各ラインのデータが識別部１１１に対して入力される。識別部１１１に対しては、各パケットに付加されたパケットヘッダの情報も入力される。

なお、イメージセンサ１１から送信されてきたデータに対しては、物理レイヤの処理が物理レイヤ信号処理部５１において施され、物理レイヤの処理によって得られたデータに対して、リンクレイヤの処理がリンクレイヤ信号処理部５２において施される。物理レイヤ信号処理部５１とリンクレイヤ信号処理部５２により、イメージセンサ１１から送信されてきたパケットが受信される。

識別部１１１は、ヘッダ情報を参照するなどして、リンクレイヤ信号処理部５２から供給されたデータを識別し、出力する。

例えば、識別部１１１は、EBD Line、Safety Info、Security Infoのそれぞれの値が１，０，１であるパケットヘッダが付加されたパケットに格納されたデータをセキュリティ関連情報として識別し、出力する。同様に、識別部１１１は、EBD Line、Safety Info、Security Infoのそれぞれの値が１，１，０であるパケットヘッダが付加されたパケットに格納されたデータを機能安全関連情報として識別し、出力する。識別部１１１から出力された関連情報は、機能安全・セキュリティ処理部１１２と処理対象データ抽出部１１３に供給される。

識別部１１１は、EBD Line、Safety Info、Security Infoのそれぞれの値が１，０，０であるパケットヘッダが付加されたパケットに格納されたデータをEBDとして識別し、出力する。識別部１１１は、Line Valid、Line Numberなどに基づいて識別した画像データを出力する。識別部１１１から出力されたEBDと画像データは演算部１１５に供給される。

識別部１１１は、EBD Line、Safety Info、Security Infoのそれぞれの値が０，０，１であるパケットヘッダが付加されたパケットに格納されたデータを出力データセキュリティ情報として識別し、出力する。識別部１１１は、EBD Line、Safety Info、Security Infoのそれぞれの値が０，１，０であるパケットヘッダが付加されたパケットに格納されたデータを出力データ機能安全情報として識別し、出力する。識別部１１１から出力された出力データ付加情報は比較対象データ抽出部１１４に供給される。

機能安全・セキュリティ処理部１１２は、セキュリティ動作がオンである場合、識別部１１１から供給されたセキュリティ関連情報に基づいて、セキュリティを実現するための処理を行う。

例えば、機能安全・セキュリティ処理部１１２は、レジスタ通信のセキュリティエラーが発生したことを示す情報がセキュリティ関連情報に含まれる場合、エラーの発生回数に基づいて、外部からの攻撃によるセキュリティエラーなのか否かを解析する。外部からの攻撃によるセキュリティエラーであることを特定した場合、機能安全・セキュリティ処理部１１２は、画像データを無効にするなどの処理を行う。

また、機能安全・セキュリティ処理部１１２は、機能安全動作がオンである場合、識別部１１１から供給された機能安全関連情報に基づいて、機能安全を実現するための処理を行う。

例えば、機能安全・セキュリティ処理部１１２は、センサのイレギュラー動作が発生したことを示す情報が機能安全関連情報に含まれる場合、イレギュラー動作の発生回数に基づいて、イメージセンサ１１の故障なのか否かを解析する。

機能安全・セキュリティ処理部１１２は、ヘッダ情報に含まれるFrame Numberに基づいて、フレーム欠けが生じていないか否かの確認なども行う。

処理対象データ抽出部１１３は、演算部１１５における演算に用いられる情報が関連情報に含まれている場合、その情報を抽出し、演算部１１５に出力する。MAC値の情報や、CRC値の演算モードを示す情報が関連情報に含まれている場合、その情報が演算部１１５に対して出力される。

後述するように、IV情報をセキュリティ関連情報に含めるフレームフォーマットもある。IV情報がセキュリティ関連情報に含まれている場合、処理対象データ抽出部１１３は、セキュリティ関連情報から抽出したIV情報を演算部１１５に出力する。

比較対象データ抽出部１１４は、セキュリティ動作がオンである場合、演算結果との比較に用いられる比較対象データであるMAC値の情報を、識別部１１１から供給された出力データセキュリティ情報から抽出し、演算部１１５に出力する。IV情報が出力データセキュリティ情報に含まれる場合、比較対象データ抽出部１１４は、出力データセキュリティ情報から抽出したIV情報を演算部１１５に出力する。

また、比較対象データ抽出部１１４は、機能安全動作がオンである場合、比較対象データであるCRC値の情報を、識別部１１１から供給された出力データ機能安全情報から抽出し、演算部１１５に出力する。

演算部１１５は、セキュリティ動作がオンである場合、識別部１１１から供給された画像データやEBDを対象として、図７を参照して説明したようにしてMAC演算を行う。演算部１１５は、演算によって求められたMAC値と、比較対象データ抽出部１１４から供給されたMAC値とを比較することによって、出力データのセキュリティを実現するための処理を行う。

また、演算部１１５は、機能安全動作がオンである場合、識別部１１１から供給された画像データやEBDを対象としてCRC演算を行う。演算部１１５は、演算によって求められたCRC値と、比較対象データ抽出部１１４から供給されたCRC値とを比較することによって、出力データの機能安全を実現するための処理を行う。

演算部１１５による処理結果を示す情報は、適宜、アプリケーションレイヤ処理部５３の後段に設けられた信号処理部に画像データとともに供給される。機能安全・セキュリティ処理部１１２と演算部１１５は、機能安全を実現するための処理を機能安全情報に基づいて行うとともに、セキュリティを実現するための処理をセキュリティ情報に基づいて行う情報処理部として機能する。

＜イメージセンサとDSPの動作＞
ここで、以上のような構成を有するイメージセンサ１１とDSP１２の処理について説明する。

・イメージセンサ１１の動作
はじめに、図１６のフローチャートを参照して、イメージセンサ１１の処理について説明する。図１６に示す処理は、例えば、撮像部２１から出力された画素データが送信部２２のアプリケーションレイヤ処理部４１に入力されたときに開始される。

なお、図１６の各ステップの処理は、必ずしも図１６に示される順番に行われるものではない。各ステップの処理は、適宜、他のステップの処理と並行して、または、他のステップの処理と順番を変えて行われる。他のフローチャートにおいても同様である。

ステップＳ１において、アプリケーションレイヤ処理部４１の画像データ処理部１０２は、撮像部２１から出力された画素データに基づいて、出力データとなる画像データを取得する。

ステップＳ２において、画像データ処理部１０２は、画像データの暗号化を行う。

ステップＳ３において、関連情報生成部１０１は、セキュリティ関連情報と機能安全関連情報を生成する。ここでは、セキュリティ動作と機能安全動作がいずれもオンであるものとする。

ステップＳ４において、機能安全・セキュリティ付加情報生成部１０４は、出力データセキュリティ情報と出力データ機能安全情報を画像データに基づいて生成する。

ステップＳ５において、EBD生成部１０３は、撮像に関する設定値の情報を取得し、EBDを生成する。出力データとなる画像データの生成の前にEBDの生成が行われることもある。

ステップＳ６において、リンクレイヤ信号処理部４２は、アプリケーションレイヤ処理部４１の各部により生成されたデータにより構成されるフレームデータに対してリンクレイヤの信号処理を行う。

ステップＳ７において、物理レイヤ信号処理部４３は、リンクレイヤの信号処理によって得られた各パケットのデータに対して物理レイヤの信号処理を行う。

ステップＳ８において、物理レイヤ信号処理部４３は、物理レイヤの処理によって得られたデータストリームを送信する。以上の処理が、撮像部２１において撮像が行われる毎に繰り返される。

・DSP１２の動作
次に、図１７のフローチャートを参照して、DSP１２の処理について説明する。

ステップＳ１１において、物理レイヤ信号処理部５１は、送信部２２の物理レイヤ信号処理部４３から送信されてきたデータストリームを受信する。

ステップＳ１２において、物理レイヤ信号処理部５１は、受信したデータストリームに対して物理レイヤの信号処理を行う。

ステップＳ１３において、リンクレイヤ信号処理部５２は、物理レイヤの信号処理が行われたデータストリームに対してリンクレイヤの信号処理を行う。リンクレイヤの信号処理によって得られた各パケットのデータがアプリケーションレイヤ処理部５３に対して入力される。

ステップＳ１４において、アプリケーションレイヤ処理部５３の識別部１１１は、パケットヘッダの情報を参照し、EBD Line、Safety Info、Security Infoのそれぞれの値に基づいて、各パケットに格納されているデータを識別する。

ステップＳ１５において、機能安全・セキュリティ処理部１１２は、機能安全関連情報に基づいて機能安全を実現するための処理を行う。また、機能安全・セキュリティ処理部１１２は、セキュリティ関連情報に基づいて、セキュリティを実現するための処理を行う。

ステップＳ１６において、処理対象データ抽出部１１３は、識別部１１１により識別された機能安全管理情報とセキュリティ関連情報から処理対象データを抽出する。

ステップＳ１７において、比較対象データ抽出部１１４は、識別部１１１により識別された出力データ機能安全情報と出力データセキュリティ情報から比較対象データを抽出する。

ステップＳ１８において、演算部１１５は、識別部１１１により識別された画像データに基づいて、MAC値・CRC値の演算を行う。MAC値の演算とCRC値の演算においては、適宜、処理対象データ抽出部１１３により抽出されたIV情報や、比較対象データ抽出部１１４により抽出されたMAC値、CRC値などの情報が用いられる。

ステップＳ１９において、アプリケーションレイヤ処理部５３は、機能安全を実現するための処理とセキュリティを実現するための処理の対象となった画像データを出力する。

以上の一連の処理により、イメージセンサ１１のアプリケーションレイヤ処理部４１は、機能安全の実現に用いられる機能安全情報とセキュリティの実現に用いられるセキュリティ情報をフレーム単位の画像データ毎に付加してDSP１２に送信することができる。また、イメージセンサ１１から送信されてきたフレームデータを受信したDSP１２は、セキュリティの実現や機能安全の実現をフレーム単位で行うことができる。

＜＜フレームフォーマットのバリエーションの例＞＞
ここで、フレームフォーマットのバリエーションについて説明する。イメージセンサ１１とDSP１２の間では、例えば、どのフレームフォーマットを用いてデータ伝送が行われるのかがあらかじめ決定される。基本フォーマットの説明と重複する説明については適宜省略する。

＜バリエーション１＞
図１８は、フレームフォーマットの第１の変形例を示す図である。

図１８に示すフレームフォーマットにおいては、出力データセキュリティ情報に含まれる情報の一部が、セキュリティ関連情報と同じラインに配置される。出力データセキュリティ情報に含まれる情報の一部が、セキュリティ関連情報と同じパケットに格納され、伝送される。例えば、出力データセキュリティ情報に含まれる情報のうちの、IV情報などが、セキュリティ関連情報と同じパケットを用いて画像データより先に伝送される。

セキュリティ関連情報と出力データセキュリティ情報に含まれる情報の一部とを格納するパケットに付加されるパケットヘッダのEBD Line、Safety Info、Security Infoには、それぞれ、１，０，１の値が設定される。

また、図１８に示すフレームフォーマットにおいては、出力データ機能安全情報に含まれる情報の一部が、機能安全関連情報と同じラインに配置される。出力データ機能安全情報に含まれる情報の一部が、機能安全関連情報と同じパケットに格納され、伝送される。例えば、出力データ機能安全情報に含まれる情報のうちの、CRC値の演算モードを示す情報などが、機能安全関連情報と同じパケットを用いて画像データより先に伝送される。

機能安全関連情報と出力データ機能安全情報に含まれる情報の一部とを格納するパケットに付加されるパケットヘッダのEBD Line、Safety Info、Security Infoには、それぞれ、１，１，０の値が設定される。

図１８に示すフレームフォーマットにおいて、他のラインのデータを格納するパケットに付加されるパケットヘッダのEBD Line、Safety Info、Security Infoの値は、それぞれ、図１５を参照して説明した基本フォーマットにおける値と同じ値である。

IV情報やCRC値の演算モードを示す情報を画像データより先に配置することにより、DSP１２のアプリケーションレイヤ処理部５３は、出力データ機能安全情報を取得する前にCRC値の演算を開始することができる。また、アプリケーションレイヤ処理部５３は、出力データセキュリティ情報を取得する前にMAC値の演算を開始したり、画像データの復号を開始したりすることができる。

＜バリエーション２＞
図１９は、フレームフォーマットの第２の変形例を示す図である。

図１９に示すフレームフォーマットにおいては、セキュリティ関連情報と機能安全関連情報に共通する情報がEBD１として配置される。EBD１の所定の領域には、共通情報の配置領域が確保される。

共通情報を含むEBD１を格納するパケットに付加されるパケットヘッダのEBD Line、Safety Info、Security Infoには、それぞれ、１，１，１の値が設定される。

上述したように、共通情報としての内部ステート情報、動作モード関連情報、レジスタ通信が発生したことを通知するための情報、フレームカウンタ、および、１フレームのデータサイズの情報は、セキュリティ関連情報と機能安全関連情報の両方に含まれる情報である。共通情報は、機能安全の実現とセキュリティの実現の両方に適宜用いられる。

共通情報がEBD１として送信されることにより、セキュリティ関連情報と機能安全関連情報に同じ情報を含めて送信する必要がなくなり、フレームデータのデータ量を抑えることが可能となる。

図１９の例においては、出力データセキュリティ情報に含まれる情報の一部がセキュリティ関連情報に含まれるものとされているが、セキュリティ関連情報に含まれないようにしてもよい。また、出力データ機能安全情報に含まれる情報の一部が機能安全関連情報に含まれるものとされているが、機能安全関連情報に含まれないようにしてもよい。後述する図２２のフレームフォーマットにおいても同様である。

＜バリエーション３＞
図２０は、フレームフォーマットの第３の変形例を示す図である。

図２０に示すフレームフォーマットにおいては、セキュリティ関連情報と機能安全関連情報がEBD１として配置される。EBD１が配置されたラインには、セキュリティ関連情報の配置領域と機能安全関連情報の配置領域が確保される。また、共通情報の配置領域が、共通情報以外のセキュリティ関連情報、機能安全関連情報の配置領域とは別に確保される。それぞれの情報の配置位置を示す情報がEBD１に含まれるようにしてもよい。

セキュリティ関連情報と機能安全関連情報を含むEBD１を格納するパケットに付加されるパケットヘッダのEBD Line、Safety Info、Security Infoには、それぞれ、１，１，１の値が設定される。

また、図２０に示すフレームフォーマットにおいては、出力データセキュリティ情報と出力データ機能安全情報がEBD２として配置される。EBD２が配置されたラインには、出力データセキュリティ情報の配置領域と出力データ機能安全情報の配置領域が確保される。

出力データセキュリティ情報と出力データ機能安全情報を含むEBD２を格納するパケットに付加されるパケットヘッダのEBD Line、Safety Info、Security Infoには、それぞれ、１，１，１の値が設定される。

このように、セキュリティ情報と機能安全情報がEBDにマージされた状態で伝送されるようにすることが可能である。

セキュリティ情報、機能安全情報のデータ量は、１ラインのデータのデータ量に対してあまり大きくないことが想定される。セキュリティ情報、機能安全情報をEBDにマージして伝送することにより、データの伝送効率を高めることが可能となる。伝送効率を高めることは、イメージセンサ１１が出力するフレーム間の垂直ブランキング期間が短い場合に特に有効となる。

図２１は、図２０のフォーマットを有するフレームデータの伝送が行われる場合のアプリケーションレイヤ処理部の機能構成例を示すブロック図である。図２１に示す構成のうち、図１１を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２１に示すように、イメージセンサ１１のアプリケーションレイヤ処理部４１が有する関連情報生成部１０１と機能安全・セキュリティ付加情報生成部１０４は、EBD生成部１０３において実現される。EBD生成部１０３は、関連情報生成部１０１が生成する関連情報と機能安全・セキュリティ付加情報生成部１０４が生成する出力データ付加情報を含むEBDを生成することになる。一方、アプリケーションレイヤ処理部５３の処理対象データ抽出部１１３は、識別部１１１により識別されたEBD１から処理対象データを抽出し、出力する。また、比較対象データ抽出部１１４は、識別部１１１により識別されたEBD１から比較対象データを抽出し、出力する。

＜バリエーション４＞
図２２は、フレームフォーマットの第４の変形例を示す図である。

図２２に示すフレームフォーマットにおいては、セキュリティ関連情報が配置されたラインの前のラインにEBD１が配置される。EBD１には、例えば、フレームフォーマットの種類を示すフォーマット情報が含まれる。

フォーマット情報を含むEBD１を格納するパケットに付加されるパケットヘッダのEBD Line、Safety Info、Security Infoには、それぞれ、基本フォーマットにおける値と同様に１，０，０の値が設定される。

また、図２２に示すフレームフォーマットにおいては、画像データの次のラインにEBD２が配置される。

このように、フォーマット情報を含むEBDが最初に（Frame Startの次に）伝送されるようにすることが可能である。

最初に伝送されるEBDにフォーマット情報が含まれることにより、DSP１２のアプリケーションレイヤ処理部５３は、最初に処理の対象となるEBDに基づいて、フレームフォーマットを特定することが可能となる。最初に伝送されるEBDにフォーマット情報が含まれていることは、データ伝送に用いるフレームフォーマットがイメージセンサ１１とDSP１２の間であらかじめ決まっていない場合に特に有効となる。

以上のフォーマットとは異なるフォーマットがフレームデータのフォーマットとして用いられるようにしてもよい。例えば、関連情報が出力データ付加情報とともに出力データの後に配置されたフォーマットが用いられるようにすることが可能である。

＜＜SLVS-ECについて＞＞
ここで、SLVS-ECのリンクレイヤの処理と物理レイヤの処理について説明する。

図２３は、送信部２２と受信部３１の構成例を示す図である。

図２３の左側に破線で囲んで示す構成が送信部２２の構成であり、右側に破線で囲んで示す構成が受信部３１の構成である。送信部２２と受信部３１は、それぞれ、リンクレイヤの構成と物理レイヤの構成からなる。

実線Ｌ２より上側に示す構成がリンクレイヤの構成であり、実線Ｌ２より下側に示す構成が物理レイヤの構成である。送信部２２において、実線Ｌ２より上側に示す構成がリンクレイヤ信号処理部４２の構成に対応し、実線Ｌ２より下側に示す構成が物理レイヤ信号処理部４３の構成に対応する。

また、受信部３１において、実線Ｌ２より下側に示す構成が物理レイヤ信号処理部５１の構成に対応し、実線Ｌ２より上側に示す構成がリンクレイヤ信号処理部５２の構成に対応する。

実線Ｌ１の上がアプリケーションレイヤの構成（アプリケーションレイヤ処理部４１、アプリケーションレイヤ処理部５３）となる。

＜送信部２２のリンクレイヤの構成＞
はじめに、送信部２２のリンクレイヤの構成（リンクレイヤ信号処理部４２の構成）について説明する。

リンクレイヤ信号処理部４２には、リンクレイヤの構成として、LINK-TXプロトコル管理部１５１、Pixel to Byte変換部１５２、ペイロードECC挿入部１５３、パケット生成部１５４、およびレーン分配部１５５が設けられる。LINK-TXプロトコル管理部１５１は、状態制御部１６１、ヘッダ生成部１６２、データ挿入部１６３、およびフッタ生成部１６４から構成される。

LINK-TXプロトコル管理部１５１の状態制御部１６１は、送信部２２のリンクレイヤの状態を管理する。

ヘッダ生成部１６２は、１ライン分のデータが格納されたペイロードに付加されるパケットヘッダを生成し、パケット生成部１５４に出力する。例えば、ヘッダ生成部１６２は、アプリケーションレイヤ処理部４１による制御に従って、Safety Info、Security Infoなどを含む上述したようなヘッダ情報を生成する。ヘッダ生成部１６２は、ヘッダ情報を生成多項式に適用するなどして、パケットヘッダのCRC値の演算なども行う。

データ挿入部１６３は、スタッフィング（stuffing）に用いられるデータを生成し、Pixel to Byte変換部１５２とレーン分配部１５５に出力する。Pixel to Byte変換部１５２に供給されたスタッフィングデータであるペイロードスタッフィングデータは、Pixel to Byte変換後のデータに付加され、ペイロードに格納されるデータのデータ量の調整に用いられる。また、レーン分配部１５５に供給されたスタッフィングデータであるレーンスタッフィングデータは、レーン割り当て後のデータに付加され、レーン間のデータ量の調整に用いられる。

フッタ生成部１６４は、ペイロードデータを生成多項式に適用して３２ビットのCRC値を計算し、計算により求めたCRC値をフッタとしてパケット生成部１５４に出力する。

Pixel to Byte変換部１５２は、アプリケーションレイヤ処理部４１から供給されたデータを取得し、取得したデータを１バイト単位のデータに変換するPixel to Byte変換を行う。例えば、撮像部２１により撮像された画像の各画素の画素値（RGB）は、８ビット、１０ビット、１２ビット、１４ビット、１６ビットのうちのいずれかのビット数で表される。各画素の画素データを含む各種のデータが１バイト単位のデータに変換される。

Pixel to Byte変換部１５２は、Pixel to Byte変換を例えばラインの左端の画素から順に各画素を対象として行う。また、Pixel to Byte変換部１５２は、Pixel to Byte変換によって得られたバイト単位のデータに、データ挿入部１６３から供給されたペイロードスタッフィングデータを付加することによってペイロードデータを生成し、ペイロードECC挿入部１５３に出力する。

図２４は、ペイロードデータの例を示す図である。

図２４は、各画素の画素値が１０ビットで表される場合のPixel to Byte変換によって得られた画素データを含むペイロードデータを示している。色を付していない１つのブロックが、Pixel to Byte変換後のバイト単位の画素データを表す。また、色を付している１つのブロックが、データ挿入部１６３により生成されたペイロードスタッフィングデータを表す。

Pixel to Byte変換後の画素データは、変換によって得られた順に、所定の数のグループにグループ化される。図２４の例においては、各画素データがグループ０～１５の１６グループにグループ化されており、画素Ｐ０のMSBを含む画素データがグループ０に割り当てられ、画素Ｐ１のMSBを含む画素データがグループ１に割り当てられている。また、画素Ｐ２のMSBを含む画素データがグループ２に割り当てられ、画素Ｐ３のMSBを含む画素データがグループ３に割り当てられ、画素Ｐ０～Ｐ３のLSBを含む画素データがグループ４に割り当てられている。

画素Ｐ４のMSBを含む画素データ以降の画素データについても、グループ５以降の各グループに順に割り当てられる。なお、画素データを表すブロックのうち、３本の破線が内側に付されているブロックは、Pixel to Byte変換時に、画素N～N+3のLSBを含むようにして生成されたバイト単位の画素データを表す。

送信部２２のリンクレイヤにおいては、このようにしてグループ化が行われた後、クロック信号によって規定される期間毎に、各グループにおいて同じ位置にある画素データを対象として処理が並行して行われる。すなわち、図２４に示すように１６のグループに画素データが割り当てられた場合、各列に並ぶ１６の画素データを同じ期間内に処理するようにして画素データの処理が進められる。

上述したように、１つのパケットのペイロードには１ラインの画素データが含まれる。図２４に示す画素データ全体が、１ラインを構成する画素データである。ここでは、図２４の有効画素領域Ａ１の画素データの処理について説明しているが、セキュリティ情報や機能安全情報などの、他のラインのデータについても、有効画素領域Ａ１の画素データと同様の処理が行われる。

１ライン分の画素データがグループ化された後、各グループのデータ長が同じ長さになるように、ペイロードスタッフィングデータが付加される。ペイロードスタッフィングデータは１バイトのデータである。

図２４の例においては、グループ０の画素データにはペイロードスタッフィングデータが付加されず、破線で囲んで示すように、グループ１～１５の各画素データには、終端にペイロードスタッフィングデータが１つずつ付加されている。

図２５は、ペイロードデータの他の例を示す図である。図２５は、各画素の画素値が１２ビットで表される場合のPixel to Byte変換によって得られた画素データを含むペイロードデータを示している。

このような構成を有するペイロードデータがPixel to Byte変換部１５２からペイロードECC挿入部１５３に供給される。

ペイロードECC挿入部１５３は、Pixel to Byte変換部１５２から供給されたペイロードデータに基づいて、ペイロードデータの誤り訂正に用いられる誤り訂正符号を計算し、誤り訂正符号であるパリティをペイロードデータに挿入する。

図２６は、パリティが挿入されたペイロードデータの例を示す図である。

図２６に示すペイロードデータは、図２５を参照して説明した、各画素の画素値が１２ビットで表される場合のPixel to Byte変換によって得られた画素データを含むペイロードデータである。斜線を付して示すブロックがパリティを表す。

図２６の例においては、グループ０～１５の各グループの先頭の画素データから順に１４個選択され、選択された２２４個（２２４バイト）の画素データに基づいて２バイトのパリティが求められている。２バイトのパリティが、その計算に用いられた２２４個の画素データに続けてグループ０，１の１５番目のデータとして挿入され、２２４個の画素データと２バイトのパリティから１つ目のBasic Blockが形成される。

ペイロードECC挿入部１５３は、パリティを挿入したペイロードデータをパケット生成部１５４に出力する。パリティの挿入が行われない場合、Pixel to Byte変換部１５２からペイロードECC挿入部１５３に供給されたペイロードデータは、そのままパケット生成部１５４に出力される。

パケット生成部１５４は、ペイロードECC挿入部１５３から供給されたペイロードデータに、ヘッダ生成部１６２により生成されたヘッダを付加することによってパケットを生成する。フッタ生成部１６４によりフッタの生成が行われている場合、パケット生成部１５４は、ペイロードデータにフッタを付加することも行う。

図２７は、ペイロードデータにヘッダを付加した状態を示す図である。

Ｈ７～Ｈ０の文字を付して示す２４個のブロックは、ヘッダ情報、またはヘッダ情報のCRC符号である、バイト単位のヘッダデータを表す。図４を参照して説明したように１つのパケットのヘッダには、ヘッダ情報とCRC符号の組が３組含まれる。例えばヘッダデータＨ７～Ｈ２はヘッダ情報（６バイト）であり、ヘッダデータＨ１，Ｈ０はCRC符号（２バイト）である。

図２８は、ペイロードデータにヘッダとフッタを付加した状態を示す図である。

Ｆ３～Ｆ０の文字を付して示す４個のブロックは、フッタとして生成された４バイトのCRC符号であるフッタデータを表す。図２８の例においては、フッタデータＦ３～Ｆ０が、グループ０からグループ３のそれぞれのペイロードデータに付加されている。

図２９は、パリティが挿入されたペイロードデータにヘッダを付加した状態を示す図である。

図２９の例においては、パリティが挿入された図２６のペイロードデータに対して、図２７、図２８の場合と同様にヘッダデータＨ７～Ｈ０が付加されている。

パケット生成部１５４は、このようにして生成した１パケットを構成するデータであるパケットデータをレーン分配部１５５に出力する。レーン分配部１５５に対しては、ヘッダデータとペイロードデータからなるパケットデータ、ヘッダデータとペイロードデータとフッタデータからなるパケットデータ、または、ヘッダデータと、パリティが挿入されたペイロードデータからなるパケットデータが供給される。

レーン分配部１５５は、パケット生成部１５４から供給されたパケットデータを、先頭のデータから順に、Lane0～7のうちのデータ伝送に用いる各レーンに割り当てる。

図３０は、パケットデータの割り当ての例を示す図である。

ここでは、ヘッダデータとペイロードデータとフッタデータからなるパケットデータ（図２８）の割り当てについて説明する。Lane0～7の８レーンを用いてデータ伝送を行う場合のパケットデータの割り当ての例を白抜き矢印＃１の先に示す。

この場合、ヘッダデータＨ７～Ｈ０の３回繰り返しを構成するそれぞれのヘッダデータは、先頭のヘッダデータから順にLane0～7に割り当てられる。あるヘッダデータがLane7に割り当てられたとき、それ以降のヘッダデータは、Lane0以降の各レーンに順に割り当てられる。Lane0～7の各レーンには同じヘッダデータが３個ずつ割り当てられることになる。

また、ペイロードデータは、先頭のペイロードデータから順にLane0～7に割り当てられる。あるペイロードデータがLane7に割り当てられたとき、それ以降のペイロードデータは、Lane0以降の各レーンに順に割り当てられる。

フッタデータＦ３～Ｆ０は、先頭のフッタデータから順に各レーンに割り当てられる。図３０の例においては、ペイロードデータを構成する最後のペイロードスタッフィングデータがLane7に割り当てられており、フッタデータＦ３～Ｆ０がLane0～3に１つずつ割り当てられている。

黒色を付して示すブロックはデータ挿入部１６３により生成されたレーンスタッフィングデータを表す。図３０の例においては、データの割り当て数の少ないレーンであるLane4～7に対して、レーンスタッフィングデータが１つずつ割り当てられている。

Lane0～5の６レーンを用いてデータ伝送を行う場合のパケットデータの割り当ての例を白抜き矢印＃２の先に示す。また、Lane0～3の４レーンを用いてデータ伝送を行う場合のパケットデータの割り当ての例を白抜き矢印＃３の先に示す。

レーン分配部１５５は、このようにして各レーンに割り当てたパケットデータを物理レイヤに出力する。以下、Lane0～7の８レーンを用いてデータを伝送する場合について主に説明するが、データ伝送に用いるレーンの数が他の数の場合であっても同様の処理が行われる。

＜送信部２２の物理レイヤの構成＞
次に、送信部２２の物理レイヤの構成（物理レイヤ信号処理部４２の構成）について説明する。

物理レイヤ信号処理部４２には、物理レイヤの構成として、PHY-TX状態制御部１７１、クロック生成部１７２、信号処理部１７３－０乃至１７３－Ｎが設けられる。信号処理部１７３－０は、制御コード挿入部１８１、8B10Bシンボルエンコーダ１８２、同期部１８３、および送信部１８４から構成される。レーン分配部１５５から出力された、Lane0に割り当てられたパケットデータは信号処理部１７３－０に入力され、Lane1に割り当てられたパケットデータは信号処理部１７３－１に入力される。また、LaneNに割り当てられたパケットデータは信号処理部１７３－Ｎに入力される。

このように、送信部２２の物理レイヤには、信号処理部１７３－０乃至１７３－Ｎがレーンの数と同じ数だけ設けられ、各レーンを用いて伝送するパケットデータの処理が、信号処理部１７３－０乃至１７３－Ｎのそれぞれにおいて並行して行われる。信号処理部１７３－０の構成について説明するが、信号処理部１７３－１乃至１７３－Ｎも同様の構成を有する。

PHY-TX状態制御部１７１は、信号処理部１７３－０乃至１７３－Ｎの各部を制御する。例えば、信号処理部１７３－０乃至１７３－Ｎにより行われる各処理のタイミングがPHY-TX状態制御部１７１により制御される。

クロック生成部１７２は、クロック信号を生成し、信号処理部１７３－０乃至１７３－Ｎのそれぞれの同期部１８３に出力する。

信号処理部１７３－０の制御コード挿入部１８１は、レーン分配部１５５から供給されたパケットデータに対して制御コードを付加する。制御コードは、予め用意された複数種類のシンボルの中から選択された１つのシンボルにより、または複数種類のシンボルの組み合わせにより表されるコードである。制御コード挿入部１８１により挿入される各シンボルは８ビットのデータである。

図３１は、制御コード挿入部１８１により付加される制御コードの例を示す図である。

制御コードには、Idle Code, Start Code, End Code, Pad Code, Sync Code, Deskew Code, Standby Codeがある。

Idle Codeは、パケットデータの伝送時以外の期間に繰り返し送信されるシンボル群である。

Start Codeは、パケットの開始を示すシンボル群である。上述したように、Start Codeはパケットの前に付加される。

End Codeは、パケットの終了を示すシンボル群である。End Codeはパケットの後ろに付加される。

Pad Codeは、画素データ帯域とPHY伝送帯域の差を埋めるためにペイロードデータ中に挿入されるシンボル群である。画素データ帯域は、撮像部２１から出力され、送信部２２に入力される画素データの伝送レートであり、PHY伝送帯域は、送信部２２から送信され、受信部３１に入力される画素データの伝送レートである。

Pad Codeは、画素データ帯域が狭く、PHY伝送帯域が広い場合に、双方の帯域の差を調整するために挿入される。例えば、Pad Codeが挿入されることによって、画素データ帯域とPHY伝送帯域の差が一定の範囲内に収まるように調整される。

Sync Codeは、送信部２２－受信部３１間のビット同期、シンボル同期を確保するために用いられるシンボル群である。Sync Codeは、例えば送信部２２－受信部３１間でパケットデータの伝送が開始される前のトレーニングモード時に繰り返し送信される。

Deskew Codeは、レーン間のData Skew、すなわち、受信部３１の各レーンで受信されるデータの受信タイミングのずれの補正に用いられるシンボル群である。

Standby Codeは、送信部２２の出力がHigh-Z（ハイインピーダンス）などの状態になり、データ伝送が行われなくなることを受信部３１に通知するために用いられるシンボル群である。

制御コード挿入部１８１は、このような制御コードを付加したパケットデータを8B10Bシンボルエンコーダ１８２に出力する。

図３２は、制御コード挿入後のパケットデータの例を示す図である。

図３２に示すように、信号処理部１７３－０乃至１７３－Ｎにおいては、それぞれ、パケットデータの前にStart Codeが付加され、ペイロードデータにPad Codeが挿入される。パケットデータの後ろにはEnd Codeが付加され、End Codeの後ろにDeskew Codeが付加される。図３２の例においては、Deskew Codeの後ろにIdle Codeが付加されている。

8B10Bシンボルエンコーダ１８２は、制御コード挿入部１８１から供給されたパケットデータ（制御コードが付加されたパケットデータ）に対して8B10B変換を施し、１０ビット単位のデータに変換したパケットデータを同期部１８３に出力する。

同期部１８３は、8B10Bシンボルエンコーダ１８２から供給されたパケットデータの各ビットを、クロック生成部１７２により生成されたクロック信号に従って送信部１８４に出力する。なお、送信部２２に同期部１８３が設けられないようにしてもよい。

送信部１８４は、Lane0を構成する伝送路を介して、同期部１８３から供給されたパケットデータを受信部３１に送信する。８レーンを用いてデータ伝送が行われる場合、Lane1～7を構成する伝送路をも用いてパケットデータが受信部３１に送信される。

＜受信部３１の物理レイヤの構成＞
次に、受信部３１の物理レイヤの構成（物理レイヤ信号処理部５１の構成）について説明する。

物理レイヤ信号処理部５１には、物理レイヤの構成として、PHY-RX状態制御部２０１、信号処理部２０２－０乃至２０２－Ｎが設けられる。信号処理部２０２－０は、受信部２１１、クロック生成部２１２、同期部２１３、シンボル同期部２１４、10B8Bシンボルデコーダ２１５、スキュー補正部２１６、および制御コード除去部２１７から構成される。Lane0を構成する伝送路を介して送信されてきたパケットデータは信号処理部２０２－０に入力され、Lane1を構成する伝送路を介して送信されてきたパケットデータは信号処理部２０２－１に入力される。また、LaneNを構成する伝送路を介して送信されてきたパケットデータは信号処理部２０２－Ｎに入力される。

このように、受信部３１の物理レイヤには、信号処理部２０２－０乃至２０２－Ｎがレーンの数と同じ数だけ設けられ、各レーンを用いて伝送されてきたパケットデータの処理が、信号処理部２０２－０乃至２０２－Ｎのそれぞれにおいて並行して行われる。信号処理部２０２－０の構成について説明するが、信号処理部２０２－１乃至２０２－Ｎも同様の構成を有する。

受信部２１１は、Lane0を構成する伝送路を介して送信部２２から伝送されてきたパケットデータを表す信号を受信し、クロック生成部２１２に出力する。

クロック生成部２１２は、受信部２１１から供給された信号のエッジを検出することによってビット同期をとり、エッジの検出周期に基づいてクロック信号を生成する。クロック生成部２１２は、受信部２１１から供給された信号を、クロック信号とともに同期部２１３に出力する。

同期部２１３は、クロック生成部２１２により生成されたクロック信号に従って、受信部２１１において受信された信号のサンプリングを行い、サンプリングによって得られたパケットデータをシンボル同期部２１４に出力する。クロック生成部２１２と同期部２１３によりCDR(Clock Data Recovery)の機能が実現される。

シンボル同期部２１４は、パケットデータに含まれる制御コードを検出することによって、または制御コードに含まれる一部のシンボルを検出することによってシンボル同期をとる。例えば、シンボル同期部２１４は、Start Code, End Code, Deskew Codeに含まれる特定のシンボルを検出し、シンボル同期をとる。シンボル同期部２１４は、各シンボルを表す１０ビット単位のパケットデータを10B8Bシンボルデコーダ２１５に出力する。

また、シンボル同期部２１４は、パケットデータの伝送が開始される前のトレーニングモード時に送信部２２から繰り返し送信されてくるSync Codeに含まれるシンボルの境界を検出することによってシンボル同期をとる。

10B8Bシンボルデコーダ２１５は、シンボル同期部２１４から供給された１０ビット単位のパケットデータに対して10B8B変換を施し、８ビット単位のデータに変換したパケットデータをスキュー補正部２１６に出力する。

スキュー補正部２１６は、10B8Bシンボルデコーダ２１５から供給されたパケットデータからDeskew Codeを検出する。スキュー補正部２１６によるDeskew Codeの検出タイミングの情報はPHY-RX状態制御部２０１に供給される。

また、スキュー補正部２１６は、Deskew Codeのタイミングを、PHY-RX状態制御部２０１から供給された情報により表されるタイミングに合わせるようにしてレーン間のData Skewを補正する。

図３３は、Deskew Codeを用いたレーン間のData Skewの補正の例を示す図である。

図３３の例においては、Lane0～7の各レーンにおいて、Sync Code, Sync Code,…,Idle Code, Deskew Code, Idle Code, …, Idle Code, Deskew Codeの伝送が行われ、それぞれの制御コードが受信部３１において受信されている。同じ制御コードの受信タイミングがレーン毎に異なり、レーン間のData Skewが生じている状態になっている。

この場合、スキュー補正部２１６は、１つ目のDeskew CodeであるDeskew Code Ｃ１を検出し、Deskew Code Ｃ１の先頭のタイミングを、PHY-RX状態制御部２０１から供給された情報により表される時刻ｔ１に合わせるように補正する。PHY-RX状態制御部２０１からは、Lane0～7の各レーンにおいてDeskew Code Ｃ１が検出されたタイミングのうち、最も遅いタイミングであるLane7においてDeskew Code Ｃ１が検出された時刻ｔ１の情報が供給されてくる。

また、スキュー補正部２１６は、２つ目のDeskew CodeであるDeskew Code Ｃ２を検出し、Deskew Code Ｃ２の先頭のタイミングを、PHY-RX状態制御部２０１から供給された情報により表される時刻ｔ２に合わせるように補正する。PHY-RX状態制御部２０１からは、Lane0～7の各レーンにおいてDeskew Code Ｃ２が検出されたタイミングのうち、最も遅いタイミングであるLane7においてDeskew Code Ｃ２が検出された時刻ｔ２の情報が供給されてくる。

信号処理部２０２－１乃至２０２－Ｎのそれぞれにおいて同様の処理が行われることによって、図３３の矢印＃１の先に示すようにレーン間のData Skewが補正される。

スキュー補正部２１６は、Data Skewを補正したパケットデータを制御コード除去部２１７に出力する。

制御コード除去部２１７は、パケットデータに付加された制御コードを除去し、Start CodeからEnd Codeまでの間のデータをパケットデータとしてリンクレイヤに出力する。

PHY-RX状態制御部２０１は、信号処理部２０２－０乃至２０２－Ｎの各部を制御し、レーン間のData Skewの補正などを行わせる。

＜受信部３１のリンクレイヤの構成＞
次に、受信部３１のリンクレイヤの構成（リンクレイヤ信号処理部５２の構成）について説明する。

リンクレイヤ信号処理部５２には、リンクレイヤの構成として、LINK-RXプロトコル管理部２２１、レーン統合部２２２、パケット分離部２２３、ペイロードエラー訂正部２２４、およびByte to Pixel変換部２２５が設けられる。LINK-RXプロトコル管理部２２１は、状態制御部２３１、ヘッダエラー訂正部２３２、データ除去部２３３、およびフッタエラー検出部２３４から構成される。

レーン統合部２２２は、物理レイヤの信号処理部２０２－０乃至２０２－Ｎから供給されたパケットデータを、送信部２２のレーン分配部１５５による各レーンへの分配順と逆順で並び替えることによって統合する。

例えば、レーン分配部１５５によるパケットデータの分配が図３０の矢印＃１の先に示すようにして行われている場合、各レーンのパケットデータの統合が行われることによって図３０の左側のパケットデータが取得される。各レーンのパケットデータの統合時、データ除去部２３３による制御に従って、レーンスタッフィングデータがレーン統合部２２２により除去される。レーン統合部２２２は、統合したパケットデータをパケット分離部２２３に出力する。

パケット分離部２２３は、レーン統合部２２２により統合された１パケット分のパケットデータを、ヘッダデータを構成するパケットデータとペイロードデータを構成するパケットデータに分離する。パケット分離部２２３は、ヘッダデータをヘッダエラー訂正部２３２に出力し、ペイロードデータをペイロードエラー訂正部２２４に出力する。

また、パケット分離部２２３は、パケットにフッタが含まれている場合、１パケット分のデータを、ヘッダデータを構成するパケットデータとペイロードデータを構成するパケットデータとフッタデータを構成するパケットデータに分離する。パケット分離部２２３は、ヘッダデータをヘッダエラー訂正部２３２に出力し、ペイロードデータをペイロードエラー訂正部２２４に出力する。また、パケット分離部２２３は、フッタデータをフッタエラー検出部２３４に出力する。

ペイロードエラー訂正部２２４は、パケット分離部２２３から供給されたペイロードデータにパリティが挿入されている場合、パリティに基づいて誤り訂正演算を行うことによってペイロードデータのエラーを検出し、検出したエラーの訂正を行う。例えば、図２６に示すようにしてパリティが挿入されている場合、ペイロードエラー訂正部２２４は、１つ目のBasic Blockの最後に挿入されている２つのパリティを用いて、パリティの前にある２２４個の画素データの誤り訂正を行う。

ペイロードエラー訂正部２２４は、各Basic Block, Extra Blockを対象として誤り訂正を行うことによって得られた誤り訂正後の画素データをByte to Pixel変換部２２５に出力する。パケット分離部２２３から供給されたペイロードデータにパリティが挿入されていない場合、パケット分離部２２３から供給されたペイロードデータはそのままByte to Pixel変換部２２５に出力される。

Byte to Pixel変換部２２５は、ペイロードエラー訂正部２２４から供給されたペイロードデータに含まれるペイロードスタッフィングデータをデータ除去部２３３による制御に従って除去する。

また、Byte to Pixel変換部２２５は、ペイロードスタッフィングデータを除去して得られたバイト単位の各画素データを、８ビット、１０ビット、１２ビット、１４ビット、または１６ビット単位の画素データに変換するByte to Pixel変換を行う。Byte to Pixel変換部２２５においては、送信部２２のPixel to Byte変換部１５２によるPixel to Byte変換と逆の変換が行われる。

Byte to Pixel変換部２２５は、Byte to Pixel変換によって得られた８ビット、１０ビット、１２ビット、１４ビット、または１６ビット単位の画素データをアプリケーションレイヤ処理部５３に出力する。アプリケーションレイヤ処理部５３においては、例えば、ヘッダ情報のLine Validにより特定される有効画素の各ラインがByte to Pixel変換部２２５により得られた画素データに基づいて生成され、ヘッダ情報のLine Numberに従って各ラインが並べられることによって１フレームの画像を含むフレームデータが生成される。

LINK-RXプロトコル管理部２２１の状態制御部２３１は、受信部３１のリンクレイヤの状態を管理する。

ヘッダエラー訂正部２３２は、パケット分離部２２３から供給されたヘッダデータに基づいてヘッダ情報とCRC符号の組を取得する。ヘッダエラー訂正部２３２は、ヘッダ情報とCRC符号の各組を対象として、ヘッダ情報のエラーを検出するための演算である誤り検出演算を行い、誤り検出後のヘッダ情報を出力する。

データ除去部２３３は、レーン統合部２２２を制御してレーンスタッフィングデータを除去し、Byte to Pixel変換部２２５を制御してペイロードスタッフィングデータを除去する。

フッタエラー検出部２３４は、パケット分離部２２３から供給されたフッタデータに基づいて、フッタに格納されたCRC符号を取得する。フッタエラー検出部２３４は、取得したCRC符号を用いて誤り検出演算を行い、ペイロードデータのエラーを検出する。フッタエラー検出部２３４は、誤り検出結果を出力する。

イメージセンサ１１を構成する送信部２２のリンクレイヤ信号処理部４２、物理レイヤ信号処理部４３と、DSP１２を構成する受信部３１の物理レイヤ信号処理部５１、リンクレイヤ信号処理部５２においては、それぞれ以上の処理が行われる。

＜＜適用例＞＞
＜汎用のイメージセンサへの適用＞
イメージセンサ１１が汎用のイメージセンサである場合、イメージセンサ１１を搭載する製品に応じて、機能安全動作とセキュリティ動作のそれぞれの要・不要が変わる。フレームフォーマットとして、機能安全動作とセキュリティ動作のオン／オフを設定しやすいフォーマットが求められる。

・機能安全動作とセキュリティ動作のオン／オフのためのフォーマット１
図３４は、MAC演算の対象範囲の例を示す図である。

図３４には、図１９を参照して説明したフレームフォーマットを用いた場合のMAC演算の対象範囲が示されている。他のフレームフォーマットを用いた場合も同様である。

図３４の右側に示すように、MAC演算の対象となる範囲は、セキュリティ関連情報が配置されたラインを含む矢印Ａ１で示す範囲と、EBD１が配置されたラインから、EBD２が配置されたラインまでの矢印Ａ２で示す範囲として設定される。この場合、機能安全情報は、MAC値を用いた認証の対象外の情報となる。

MAC演算の対象となる範囲が同じであるから、矢印Ａ３に示すように、機能安全動作がオンの場合でもオフの場合でも、同じ値がMAC演算により求められることになる。機能安全動作がオンの場合でもオフの場合でも同じMAC値を認証に用いることができるから、MAC演算の対象を図３４に示すように設定しておくことにより、機能安全動作のオン／オフに対応可能となる。

図３５は、CRC演算の対象範囲の例を示す図である。

図３５の右側に示すように、CRC演算の対象となる範囲は、機能安全関連情報が配置されたラインから、EBD２が配置されたラインまでの矢印Ａ１１で示す範囲として設定される。この場合、セキュリティ情報は、CRC値を用いたエラー検出の対象外の情報となる。

CRC演算の対象となる範囲が同じであるから、矢印Ａ１２に示すように、セキュリティ動作がオンの場合でもオフの場合でも、同じ値がCRC演算により求められることになる。セキュリティ動作がオンの場合でもオフの場合でも同じCRC値をエラー検出に用いることができるから、CRC演算の対象を図３５に示すように設定しておくことにより、セキュリティ動作のオン／オフに対応可能となる。

・機能安全動作とセキュリティ動作のオン／オフのためのフォーマット２
図３６は、MAC演算とCRC演算の対象範囲の例を示す図である。

図３６の中央に示すように、MAC演算の対象となる範囲は、セキュリティ関連情報が配置されたラインを含む矢印Ａ２１で示す範囲と、機能安全関連情報が配置されたラインから、出力データ機能安全情報が配置されたラインまでの矢印Ａ２２で示す範囲として設定される。この場合、機能安全情報は、MAC値を用いた認証の対象の情報となる。

DSP１２のアプリケーションレイヤ処理部５３においては、実線Ｌで囲んで示すように、機能安全関連情報が配置されたラインをEBD１のラインとみなして、EBD１に対する処理と同様の処理が行われる。機能安全動作のオン／オフに応じて、EBDのラインの増減にアプリケーションレイヤ処理部５３が対応することになる。

例えば、機能安全動作がオンである場合、アプリケーションレイヤ処理部５３は、機能安全関連情報が配置されたラインをEBD１のラインとみなして、機能安全関連情報が配置されたラインを演算対象に含めてMAC演算を行う。また、機能安全動作がオフである場合、アプリケーションレイヤ処理部５３は、EBD１のライン以降を演算対象に含めてMAC演算処理を行う。

どの範囲をMAC演算の対象とするのかをイメージセンサ１１が選択できるようにしてもよい。

図３６の例においては機能安全情報がMAC値を用いた認証の対象となっているが、反対に、セキュリティ情報がCRC値を用いたエラー検出の対象となるようにしてもよい。

・オン／オフの設定例
機能安全動作とセキュリティ動作のそれぞれのオン／オフは、例えばイメージセンサ１１を搭載する製品の製造時に設定される。

図３７は、機能安全動作とセキュリティ動作のオン／オフの切り替え機能を有するアプリケーションレイヤ処理部４１の構成例を示すブロック図である。図３７に示す構成のうち、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。なお、EBD生成部１０３の図示が省略されている。

図３７に示すアプリケーションレイヤ処理部４１には、上述した構成の他に、制御部１２１とFuse１２２が設けられる。

制御部１２１は、I2C、SPIなどの通信IFを介して、外部の装置との間で通信を行う。制御部１２１は、外部の装置から送信されてきた設定情報を受信し、Fuse１２２に出力する。設定情報は、Fuse１２２の設定内容を示す情報である。

Fuse１２２は、OTP(One Time Programmable)機能を有する回路である。Fuse１２２は、制御部１２１から供給された設定情報に基づいて、機能安全動作とセキュリティ動作のオン／オフを含む各種の設定に関する情報を出力する。

Fuse１２２から関連情報生成部１０１と機能安全・セキュリティ付加情報生成部１０４に対しては、機能安全動作とセキュリティ動作のオン／オフの設定内容を示す情報が供給される。また、Fuse１２２からリンクレイヤ信号処理部４２（フォーマット生成部）に対しては、フレームフォーマットの種類を指定する情報、機能安全情報のラインとセキュリティ情報のラインのオン／オフを指定する情報、ヘッダ情報の値を指定する情報が供給される。

このように、機能安全動作とセキュリティ動作のオン／オフは、例えばFuse１２２を用いて設定される。

上述したように、機能安全動作とセキュリティ動作のそれぞれの要・不要は、イメージセンサ１１を搭載する製品に応じて異なり、それぞれに対応した製品を製造するとコストがかかる。機能安全動作とセキュリティ動作のオン／オフをFuse１２２を用いて設定できるようにすることにより、それぞれに対応した異なる製品を製造する場合に較べてコストを抑えることができる。

また、機能安全動作とセキュリティ動作のオン／オフをレジスタ等を用いて任意のタイミングで設定できるとした場合、機能安全やセキュリティに問題がある。機能安全動作とセキュリティ動作のオン／オフをFuse１２２を用いて例えば製造時にのみ設定できるようにすることにより、そのような問題を解消することが可能となる。

機能安全動作がオンであり、セキュリティ動作がオフである場合、出力データとなる１フレームの画像データに対して機能安全情報を付加したフレームデータが生成される。一方、機能安全動作がオフであり、セキュリティ動作がオンである場合、出力データとなる１フレームの画像データに対してセキュリティ情報を付加したフレームデータが生成される。アプリケーションレイヤ処理部４１は、セキュリティ情報と機能安全情報のうちの少なくともいずれかを１フレームの画像データに付加したフレームデータを生成する生成部として機能することになる。

＜他の通信規格への適用＞
SLVS-ECのデータ伝送におけるフレームフォーマットについて説明したが、上述した技術は、フレーム単位のデータ伝送を行う他の通信IFにも適用可能である。

・MIPI(Mobile Industry Processor Interface)への適用例
MIPIのパケットヘッダの0x30-0x37の領域には、User Defineという、用途を製品毎に決めることができるDT(Data Type)領域が用意される。0x30-0x37の下位３bitが、EBD Line、Safety Info、Security Infoとして用いられる。

例えば、パケットに格納されたデータが、EBDが配置されたラインのデータであることは、0x12の下位３ビットを用いて表される（MIPIの仕様）。

パケットに格納されたデータが、セキュリティ関連情報が配置されたラインのデータであることは、0x35の下位３ビットを用いて表される。パケットに格納されたデータが、機能安全関連情報が配置されたラインのデータであることは、0x36の下位３ビットを用いて表される。

同様に、パケットに格納されたデータが、出力データセキュリティ情報が配置されたラインのデータであることは、0x31の下位３ビットを用いて表される。パケットに格納されたデータが、出力データ機能安全情報が配置されたラインのデータであることは、0x32の下位３ビットを用いて表される。

図３８は、DT領域の値の例を示す図である。図３８には、図１８を参照して説明したフレームフォーマットが示されている。

セキュリティ関連情報と出力データセキュリティ情報に含まれる情報の一部とが配置されたラインのデータであることを示す[EBD Line, Safety Info, Security Info]＝[１, ０, １]は、0x35を用いて表される。機能安全関連情報と出力データ機能安全情報に含まれる情報の一部とが配置されたラインのデータであることを示す[EBD Line, Safety Info, Security Info]＝[１, １, ０]は、0x36を用いて表される。

EBD１が配置されたラインのデータであることを示す[EBD Line, Safety Info, Security Info]＝[１, ０, ０]は、0x12を用いて表される。EBD２が配置されたラインのデータであることについても、同様に0x12を用いて表される。

出力データ機能安全情報が配置されたラインのデータであることを示す[EBD Line, Safety Info, Security Info]＝[０, １, ０]は、0x32を用いて表される。出力データセキュリティ情報が配置されたラインのデータであることを示す[EBD Line, Safety Info, Security Info]＝[０, ０, １]は、0x31を用いて表される。

図３９は、DT領域の値の他の例を示す図である。図３９には、図１９を参照して説明したフレームフォーマットが示されている。図３８の説明と重複する説明については省略する。

機能安全関連情報とセキュリティ関連情報の共通情報を含むEBDが配置されたラインのデータであることを示す[EBD Line, Safety Info, Security Info]＝[１, １, １]は、0x37を用いて表される。

user defineを他の種類の処理にも使用する場合などにDT領域の情報が足りなくなることが想定される。その対策として、Reserveのbitなどの他のビットが用いられるようにしてもよいし、使用するDT領域が制限されるようにしてもよい。使用するDT領域が制限される場合、例えば、同じDT領域を用いて、セキュリティ関連情報が配置されたラインのデータと出力データセキュリティ情報が配置されたラインのデータであることが示される。

機能安全情報・セキュリティ情報がEBDに含まれており、それらの情報の配置位置が仕様として決められている場合、機能安全情報・セキュリティ情報が含まれていることが、EBDに割り当てられた0x12を用いて表されるようにしてもよい。

・SLVS／SubLVDSへの適用例
SLVSとSubLVDSにおいては、各ラインのデータの種類を示す情報を含むパケットヘッダなどのフォーマットが定義されていない。各ラインのデータの種類を示す3bitのライン情報を、各ラインに配置されたデータの先頭に付加することにより、EBD Line、Safety Info、Security Infoと同様の情報が伝送されるようにしてもよい。

図４０は、SLVS／SubLVDSのデータの伝送タイミングの例を示す図である。

図４０に示すように、セキュリティ関連情報、機能安全関連情報、出力データ機能安全情報、出力データセキュリティ情報が配置されたラインが用意される。ハッチを付して示すように、各ラインの先頭には、各ラインのデータの種類を示すライン情報が付加される。

このように、SLVS-ECだけでなく、MIPI、SLVS、SubLVDSなどの、通信IFの他の規格に上述した技術を適用することが可能である。

図４１は、イメージセンサ１１の構成例を示すブロック図である。

図４１に示すイメージセンサ１１は、データ伝送に使用する通信IFをMIPI、SLVS-EC、SubLVDSの中から選択可能なイメージセンサである。この場合、MIPIに対応した信号処理部、SLVS-ECに対応した信号処理部、SubLVDSに対応した信号処理部がそれぞれ設けられる。

MIPI リンクレイヤ信号処理部４２－１、SLVS-EC リンクレイヤ信号処理部４２－２、SubLVDS リンクレイヤ信号処理部４２－３は、それぞれ、アプリケーションレイヤ処理部４１から供給されたデータに対して、MIPI、SLVS-EC、SubLVDSのリンクレイヤの信号処理を行う。なお、SubLVDS リンクレイヤ信号処理部４２－３にはライン情報の生成部も設けられる。

MIPI 物理レイヤ信号処理部４３－１、SLVS-EC 物理レイヤ信号処理部４３－２、SubLVDS 物理レイヤ信号処理部４３－３は、それぞれ、前段でのリンクレイヤの信号処理結果のデータに対して、MIPI、SLVS-EC、SubLVDSの物理レイヤの信号処理を行う。

選択部４４は、MIPI 物理レイヤ信号処理部４３－１乃至SubLVDS 物理レイヤ信号処理部４３－３から供給されたデータのうち、所定の規格のデータを選択し、DSP１２に送信する。

各ラインに配置されたデータの種類を上述したようにしてアプリケーションレイヤにおいて指定できるようにすることにより、通信IFの規格の違いを意識することなく、リンクレイヤの信号処理、物理レイヤの信号処理をイメージセンサ１１とDSP１２は行うことができる。

図４１にはイメージセンサ１１側の構成しか示されていないが、DSP１２側には図１１等を参照して説明した構成と同じ構成が設けられる。Host側がFPGA(Field Programmable Gate Array)を用いて実現される場合においても、FPGAがどの規格の通信IFに対応しているかに関わらず、処理の設計が容易となる。

＜その他＞
・長畜画像と短畜画像の出力の例
イメージセンサ１１の撮像モードとして、長畜画像と短畜画像を撮像するモードがある。長畜画像は、長い露光時間で撮像して得られた画像である。短畜画像は、長畜画像の露光時間より短い露光時間で撮像して得られた画像である。長畜画像と短畜画像のSLVS-ECによる伝送は、例えば、長畜画像の１ラインのデータと短畜画像の１ラインのデータを、上方のラインから交互に伝送するようにして行われる。

図４２は、長畜画像と短畜画像の伝送に用いられるヘッダ情報の例を示す図である。

図４２の左側は、長畜画像の各ラインのデータを格納するパケットに付加されるパケットヘッダのヘッダ情報を示す。右側は、短畜画像の各ラインのデータを格納するパケットに付加されるパケットヘッダのヘッダ情報を示す。

図４２に示すように、ビット[45]のData ID（図１２）は長畜画像と短畜画像の識別に用いられる。ビット[45]の値が１であることは、パケットに格納されたデータが短畜画像のデータであることを示し、０であることは、パケットに格納されたデータが長畜画像のデータであることを示す。長蓄画像のラインと短蓄画像のラインを交互に伝送する場合に、各ラインの内容がヘッダ情報によって区別される。ライン単位で交互に伝送される場合でも、フレームとしては別のフレームとして扱われることになる。

ビット[47]のEBD Line、ビット[17]のSafety Info、ビット[16]のSecurity Infoのそれぞれに設定される値は上述した値と同じである。

このように、長畜画像と短畜画像を伝送する場合においても、SLVS-ECの規格に準拠した形で機能安全情報とセキュリティ情報を送信することが可能となる。

イメージセンサ１１による撮像によって得られた画像データを出力データとしてフレームデータが生成され、DSP１２に対して送信されるものとしたが、フレーム単位の他の種類のデータが出力データとして用いられるようにしてもよい。例えば、被写体の各位置までの距離を各画素の画素値とする距離画像を出力データとして用いることが可能である。

・コンピュータの構成例
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図４３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。

バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。

CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。

（１）
セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかを、センサが出力するフレーム単位の出力データに付加することによってフレームデータを生成する生成部と、
前記フレームデータを構成する各ラインのデータを各パケットに格納し、送信する信号処理部と
を備える送信装置。
（２）
前記生成部は、前記センサのセキュリティの実現に用いられる情報であるセキュリティ関連情報と、前記出力データのセキュリティの実現に用いられる情報である出力データセキュリティ情報を含む前記セキュリティ情報を生成し、前記センサの機能安全の実現に用いられる情報である機能安全関連情報と、前記出力データの機能安全の実現に用いられる情報である出力データ機能安全情報を含む前記機能安全情報を生成する
前記（１）に記載の送信装置。
（３）
前記生成部は、前記セキュリティ関連情報と前記機能安全関連情報が前記出力データの前に配置され、前記出力データセキュリティ情報と前記出力データ機能安全情報が前記出力データの後に配置されたフォーマットを有する前記フレームデータを生成する
前記（２）に記載の送信装置。
（４）
前記生成部は、前記セキュリティ関連情報が配置されたラインの次のラインに前記機能安全関連情報が配置され、前記出力データ機能安全情報が配置されたラインの次のラインに前記出力データセキュリティ情報が配置された前記フレームデータを生成する
前記（３）に記載の送信装置。
（５）
前記生成部は、前記出力データセキュリティ情報の一部の情報が、前記セキュリティ関連情報とともに前記出力データの前の同じラインに配置され、前記出力データ機能安全情報の一部の情報が、前記機能安全関連情報とともに前記出力データの前の同じラインに配置された前記フレームデータを生成する
前記（２）乃至（４）のいずれかに記載の送信装置。
（６）
前記生成部は、前記セキュリティ関連情報と前記機能安全関連情報に共通する一部の情報がEmbeddedデータとして前記出力データの前のラインに配置された前記フレームデータを生成する
前記（２）乃至（５）のいずれかに記載の送信装置。
（７）
前記生成部は、前記セキュリティ関連情報と前記機能安全関連情報がEmbeddedデータとして前記出力データの前のラインに配置された前記フレームデータを生成する
前記（２）または（３）に記載の送信装置。
（８）
前記生成部は、前記フレームデータのフォーマットの種類を示す情報を含むEmbeddedデータのラインが、前記セキュリティ関連情報が配置されたラインの前に配置された前記フレームデータを生成する
前記（２）乃至（５）のいずれかに記載の送信装置。
（９）
前記信号処理部は、前記パケットに格納されたデータが前記セキュリティ情報が配置されたラインのデータであるか否かを示す第１のフラグと、前記パケットに格納されたデータが前記機能安全情報が配置されたラインのデータであるか否かを示す第２のフラグとを含むパケットヘッダを付加した前記パケットを生成する
前記（２）乃至（８）のいずれかに記載の送信装置。
（１０）
前記信号処理部は、前記セキュリティ関連情報または前記機能安全関連情報が配置されたラインのデータを格納する前記パケットに対して、Embeddedデータが配置されたラインのデータであることを示す値が設定された第３のフラグを含む前記パケットヘッダを付加する
前記（９）に記載の送信装置。
（１１）
前記出力データセキュリティ情報としての認証用情報と、前記出力データ機能安全情報としての誤り検出用情報を前記出力データに基づいて生成する付加情報生成部をさらに備える
前記（２）乃至（１０）のいずれかに記載の送信装置。
（１２）
前記出力データは、前記センサによる撮像によって得られた１フレームの画像データである
前記（１）乃至（１１）のいずれかに記載の送信装置。
（１３）
送信装置が、
セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかを、センサが出力するフレーム単位の出力データに付加することによってフレームデータを生成し、
前記フレームデータを構成する各ラインのデータを各パケットに格納し、送信する
送信方法。
（１４）
コンピュータに、
セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかを、センサが出力するフレーム単位の出力データに付加することによってフレームデータを生成し、
前記フレームデータを構成する各ラインのデータを各パケットに格納し、送信する
処理を実行させるプログラム。
（１５）
セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかが、センサが出力するフレーム単位の出力データに付加されたフレームデータを構成する各ラインのデータを格納したパケットを受信する信号処理部と、
セキュリティを実現する処理を前記セキュリティ情報に基づいて行い、機能安全を実現する処理を前記機能安全情報に基づいて行う情報処理部と
を備える受信装置。
（１６）
前記信号処理部は、前記センサのセキュリティの実現に用いられる情報であるセキュリティ関連情報と、前記出力データのセキュリティの実現に用いられる情報である出力データセキュリティ情報を前記セキュリティ情報として含む前記パケットを受信し、前記センサの機能安全の実現に用いられる情報である機能安全関連情報と、前記出力データの機能安全の実現に用いられる情報である出力データ機能安全情報を前記機能安全情報として含む前記パケットを受信する
前記（１５）に記載の受信装置。
（１７）
パケットヘッダに含まれる、前記パケットに格納されたデータが前記セキュリティ情報が配置されたラインのデータであるか否かを示す第１のフラグと、前記パケットに格納されたデータが前記機能安全情報が配置されたラインのデータであるか否かを示す第２のフラグとに基づいて、前記パケットに格納されているデータを識別する識別部をさらに備える
前記（１５）または（１６）に記載の受信装置。
（１８）
受信装置が、
セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかが、センサが出力するフレーム単位の出力データに付加されたフレームデータを構成する各ラインのデータを格納したパケットを受信し、
セキュリティを実現する処理を前記セキュリティ情報に基づいて行い、機能安全を実現する処理を前記機能安全情報に基づいて行う
受信方法。
（１９）
コンピュータに、
セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかが、センサが出力するフレーム単位の出力データに付加されたフレームデータを構成する各ラインのデータを格納したパケットを受信し、
セキュリティを実現する処理を前記セキュリティ情報に基づいて行い、機能安全を実現する処理を前記機能安全情報に基づいて行う
処理を実行させるプログラム。
（２０）
セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかを、センサが出力するフレーム単位の出力データに付加することによってフレームデータを生成する生成部と、
前記フレームデータを構成する各ラインのデータを各パケットに格納し、送信する信号処理部と
を備える送信装置と、
前記パケットを受信する信号処理部と、
セキュリティを実現する処理を前記セキュリティ情報に基づいて行い、機能安全を実現する処理を前記機能安全情報に基づいて行う情報処理部と
を備える受信装置と
を含む伝送システム。

１ 伝送システム， １１ イメージセンサ， １２ DSP， ２１ 撮像部， ２２ 送信部， ３１ 受信部， ３２ 画像処理部， ４１ アプリケーションレイヤ処理部， ４２ リンクレイヤ信号処理部， ４３ 物理レイヤ信号処理部， ５１ 物理レイヤ信号処理部， ５２ リンクレイヤ信号処理部， ５３ アプリケーションレイヤ処理部

Claims (20)

1. セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかを、センサが出力するフレーム単位の出力データに付加することによってフレームデータを生成する生成部と、
   前記フレームデータを構成する各ラインのデータを各パケットに格納し、送信する信号処理部と
   を備える送信装置。
2. 前記生成部は、前記センサのセキュリティの実現に用いられる情報であるセキュリティ関連情報と、前記出力データのセキュリティの実現に用いられる情報である出力データセキュリティ情報を含む前記セキュリティ情報を生成し、前記センサの機能安全の実現に用いられる情報である機能安全関連情報と、前記出力データの機能安全の実現に用いられる情報である出力データ機能安全情報を含む前記機能安全情報を生成する
   請求項１に記載の送信装置。
3. 前記生成部は、前記セキュリティ関連情報と前記機能安全関連情報が前記出力データの前に配置され、前記出力データセキュリティ情報と前記出力データ機能安全情報が前記出力データの後に配置されたフォーマットを有する前記フレームデータを生成する
   請求項２に記載の送信装置。
4. 前記生成部は、前記セキュリティ関連情報が配置されたラインの次のラインに前記機能安全関連情報が配置され、前記出力データ機能安全情報が配置されたラインの次のラインに前記出力データセキュリティ情報が配置された前記フレームデータを生成する
   請求項３に記載の送信装置。
5. 前記生成部は、前記出力データセキュリティ情報の一部の情報が、前記セキュリティ関連情報とともに前記出力データの前の同じラインに配置され、前記出力データ機能安全情報の一部の情報が、前記機能安全関連情報とともに前記出力データの前の同じラインに配置された前記フレームデータを生成する
   請求項２に記載の送信装置。
6. 前記生成部は、前記セキュリティ関連情報と前記機能安全関連情報に共通する一部の情報がEmbeddedデータとして前記出力データの前のラインに配置された前記フレームデータを生成する
   請求項２に記載の送信装置。
7. 前記生成部は、前記セキュリティ関連情報と前記機能安全関連情報がEmbeddedデータとして前記出力データの前のラインに配置された前記フレームデータを生成する
   請求項２に記載の送信装置。
8. 前記生成部は、前記フレームデータのフォーマットの種類を示す情報を含むEmbeddedデータのラインが、前記セキュリティ関連情報が配置されたラインの前に配置された前記フレームデータを生成する
   請求項２に記載の送信装置。
9. 前記信号処理部は、前記パケットに格納されたデータが前記セキュリティ情報が配置されたラインのデータであるか否かを示す第１のフラグと、前記パケットに格納されたデータが前記機能安全情報が配置されたラインのデータであるか否かを示す第２のフラグとを含むパケットヘッダを付加した前記パケットを生成する
   請求項２に記載の送信装置。
10. 前記信号処理部は、前記セキュリティ関連情報または前記機能安全関連情報が配置されたラインのデータを格納する前記パケットに対して、Embeddedデータが配置されたラインのデータであることを示す値が設定された第３のフラグを含む前記パケットヘッダを付加する
    請求項９に記載の送信装置。
11. 前記出力データセキュリティ情報としての認証用情報と、前記出力データ機能安全情報としての誤り検出用情報を前記出力データに基づいて生成する付加情報生成部をさらに備える
    請求項２に記載の送信装置。
12. 前記出力データは、前記センサによる撮像によって得られた１フレームの画像データである
    請求項１に記載の送信装置。
13. 送信装置が、
    セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかを、センサが出力するフレーム単位の出力データに付加することによってフレームデータを生成し、
    前記フレームデータを構成する各ラインのデータを各パケットに格納し、送信する
    送信方法。
14. コンピュータに、
    セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかを、センサが出力するフレーム単位の出力データに付加することによってフレームデータを生成し、
    前記フレームデータを構成する各ラインのデータを各パケットに格納し、送信する
    処理を実行させるプログラム。
15. セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかが、センサが出力するフレーム単位の出力データに付加されたフレームデータを構成する各ラインのデータを格納したパケットを受信する信号処理部と、
    セキュリティを実現する処理を前記セキュリティ情報に基づいて行い、機能安全を実現する処理を前記機能安全情報に基づいて行う情報処理部と
    を備える受信装置。
16. 前記信号処理部は、前記センサのセキュリティの実現に用いられる情報であるセキュリティ関連情報と、前記出力データのセキュリティの実現に用いられる情報である出力データセキュリティ情報を前記セキュリティ情報として含む前記パケットを受信し、前記センサの機能安全の実現に用いられる情報である機能安全関連情報と、前記出力データの機能安全の実現に用いられる情報である出力データ機能安全情報を前記機能安全情報として含む前記パケットを受信する
    請求項１５に記載の受信装置。
17. パケットヘッダに含まれる、前記パケットに格納されたデータが前記セキュリティ情報が配置されたラインのデータであるか否かを示す第１のフラグと、前記パケットに格納されたデータが前記機能安全情報が配置されたラインのデータであるか否かを示す第２のフラグとに基づいて、前記パケットに格納されているデータを識別する識別部をさらに備える
    請求項１５に記載の受信装置。
18. 受信装置が、
    セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかが、センサが出力するフレーム単位の出力データに付加されたフレームデータを構成する各ラインのデータを格納したパケットを受信し、
    セキュリティを実現する処理を前記セキュリティ情報に基づいて行い、
    機能安全を実現する処理を前記機能安全情報に基づいて行う
    受信方法。
19. コンピュータに、
    セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかが、センサが出力するフレーム単位の出力データに付加されたフレームデータを構成する各ラインのデータを格納したパケットを受信し、
    セキュリティを実現する処理を前記セキュリティ情報に基づいて行い、
    機能安全を実現する処理を前記機能安全情報に基づいて行う
    処理を実行させるプログラム。
20. セキュリティの実現に用いられる情報であるセキュリティ情報と、機能安全の実現に用いられる情報である機能安全情報とのうちの少なくともいずれかを、センサが出力するフレーム単位の出力データに付加することによってフレームデータを生成する生成部と、
    前記フレームデータを構成する各ラインのデータを各パケットに格納し、送信する信号処理部と
    を備える送信装置と、
    前記パケットを受信する信号処理部と、
    セキュリティを実現する処理を前記セキュリティ情報に基づいて行い、機能安全を実現する処理を前記機能安全情報に基づいて行う情報処理部と
    を備える受信装置と
    を含む伝送システム。

Images