JP2008271461A

JP2008271461A - カメラシステムおよびデータ伝送方法

Info

Publication number: JP2008271461A
Application number: JP2007115034A
Authority: JP
Inventors: Keizo Gomi; 圭三五味; Manabu Kubo; 久保　　学; Yohei Akega; 陽平明賀
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-04-25
Filing date: 2007-04-25
Publication date: 2008-11-06

Abstract

【課題】カメラシステムやデータ伝送方法において、同期転送のみを用いる場合に生じる問題点を回避しつつ、ユーザーの利便性をも向上させる。
【解決手段】撮像素子部２と撮像センサＩ/ＦＬＳＩ３との間、撮像センサＩ/ＦＬＳＩ３と信号処理ＬＳＩ４との間、信号処理ＬＳＩ４と表示処理ＬＳＩ５との間の３箇所の内の１箇所以上において、いわゆるハンドシェイク転送により画像データの送受を行うことができるように構成する。ハンドシェイク転送は、送信側と受信側とでＲＤＹ信号とＶＡＬＩＤ信号とを送受するようにし、転送可能か否かを確認しながらデータの転送を行うようにするものであり、種々の処理を時分割的に均一に実行することができるようにする。
【選択図】図１

Description

この発明は、例えば、デジタルビデオカメラなどのカメラシステム、および、カメラシステムなどの画像データを処理するシステムで用いられるデータ伝送方法に関する。

動画映像（動画像）信号の転送に関するインターフェイス（以下、Ｉ/Ｆと略称する。）規格としては、全米映画テレビジョン技術者協会のＳＭＰＴＥ２７４Ｍ、ＳＭＰＴＥ２９６Ｍなどの標準規格がよく知られている。これらの規格は、テレビ等の映像機器間において、動画映像信号を同期させて処理できるようにすることを目的とした規格だが、突き詰めていけば、ＬＳＩ（Large Scale Integrated Circuit）からＬＳＩへデータを転送するためのＩ/Ｆ規格ということになる。もちろん、ＬＳＩ内のブロック間のデータ転送にも適用できる。

ＳＭＰＴＥ２７４Ｍ、ＳＭＰＴＥ２９６Ｍなどの標準規格の内容を簡単にまとめると、フレーム開始基準信号線やライン開始基準信号線などの複数のタイミング基準信号線とデータバスとで接続された２つのデバイスがあり、送信デバイス側は基準信号に基づき、決められたタイミングに合わせて、画像データを１ライン単位に、１フレーム分、順次に送出し、受信デバイス側は基準信号に基づき、決められたタイミングに合わせて、画像データを受け取ることができるようにするものである。

同様に、デジタルカメラにおいては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像センサから、フレーム開始基準信号ＶＤやライン開始基準信号ＨＤに同期して、画像情報を読み出し、画像処理ＬＳＩに入力させていることもよく知られている。

なお、この明細書において、フレーム開始基準信号ＶＤやライン開始基準信号ＨＤと言ったいわゆる同期タイミング信号に合わせて、データのやり取りを行う転送方式を、便宜上、同期転送あるいは同期転送方式と呼ぶことにする。また、以下においては、必要に応じて、フレーム開始基準信号ＶＤを信号ＶＤと、ライン開始基準信号ＨＤを信号ＨＤと略称する場合がある。

図１２は同期転送方式が適用されて構成された同期転送システムの基本的な例を説明するためのブロック図であり、また、図１３は、同期転送方式が用いられてデータが転送される場合の同期タイミングのイメージについて説明するための図である。図１２に示した同期転送システムでは、動画映像データ（以下、動画像データという。）が送受されるものとする。

同期転送方式の場合、上述もしたように、フレーム開始基準信号ＶＤ、ライン開始基準信号ＨＤがある一定間隔で入力される。例えば、フレーム開始基準信号ＶＤは、ＮＴＳＣ（National Television System Committee）方式の場合には、５９．９４分の１秒毎に、ＰＡＬ（Phase Alternation by Line）方式の場合には、５０分の１秒毎に入力されるものである。

また、ライン開始基準信号ＨＤは、ＮＴＳＣ（National Television System Committee）方式の場合には、１フレーム内に５２５本のラインが存在するように（垂直解像度が５２５本となるように）、ＰＡＬ（Phase Alternation by Line）方式の場合には、１フレーム内に６２５本のラインが存在するように（垂直解像度が６２５本となるように）入力されるものである。

このように一定間隔で入力されるフレーム開始基準信号ＶＤ、ライン開始基準信号ＨＤなどの同期基準信号は、送信側で生成される場合もあるし、受信側で生成される場合もある。また、別の場所で生成され、送受信双方に配られることもある。どこで作成されるかは問題ではなく、相互接続された共通信号であればよい。

図１２に示した同期転送システムにおいて、同期基準信号は、例えば送信デバイス１００の同期信号送信制御部１０１で生成されるものとして説明する。送信デバイス１００においては、データ処理部１０２により処理された送信対象の動画像データは送信バッファ１０３に蓄えられる。

この場合、予め送信側と受信側とで、同期基準信号に基づく座標と送信データとの関係の取り決めが行われており、同期信号送信制御部１０１では、フレーム開始基準信号ＶＤ、ライン開始基準信号ＨＤを基準として、（信号ＶＤ後何ライン目、信号ＨＤ後の何クロック目）と言う座標情報と、送信データとを１対１で関係付け、必要に応じて、送信バッファ１０３、データ送信部１０４へ指示を出し、送信すべきタイミングで送信データを出力する。同時に、同期信号送信制御部１０１は、フレーム開始基準信号ＶＤ、ライン開始基準信号ＨＤを受信デバイス２００に送信する。

一方、受信デバイス２００の同期信号受信制御部２０１では、送信デバイス１００から提供されるフレーム開始基準信号ＶＤ、ライン開始基準信号ＨＤを基準として、送信デバイス１００のデータ送信部１０４から送信される動画像データをデータ受信部２０２において受信し、これを受信バッファ２０３に一時記憶させる。受信バッファ２０３に一時記憶された動画像データは、データ処理部２０４により読み出されて処理されることになる。

このように、同期転送方式が適用された同期転送システムでは、送信デバイス１００と受信デバイス２００とでは、共通のフレーム開始基準信号ＶＤと共通のライン開始基準信号ＨＤとを基準として、ライン単位、フレーム単位に動画像データの送受を行うことができるようにしている。

そして、図１３の（１）、（２）、（３）が示すように、フレーム開始基準信号ＶＤ（図１３（１））とライン開始基準信号ＨＤ（図１３（２））と動画像データ（図１３（３））とが送信デバイス１００から受信デバイス２００に供給されるのであるが、図１３（５）、（６）に図１３（２）、（３）の拡大図を示したように、一般に、ライン開始信号ＨＤ後の、あるクロック経過後において、１ライン分のデータを連続して有効データとしている。

その後、再び、信号ＨＤ＋（プラス）あるクロック数の期間までは無効データである。この無効データの部分の期間は、図１３（７）に示したように水平ブランキング期間ＨＤＢＬＫと呼ばれる。また、信号ＶＤ直後数ライン、信号ＶＤ直前数ラインは無効データのラインとなる場合が多く、図１３（４）に示したように垂直ブランキング期間ＶＤＢＬＫと呼ばれる。

そして、同期転送の場合、転送しなければならないデータ量が予め決まっており、処理部からバッファメモリへのアクセスをＷＡＩＴ（待機）することが許されない。そのため、同期転送時に使用される処理部のメモリアクセスチャンネルのアクセス要求の優先度は、最上位になるのが普通である。

転送中の瞬間最大速度でもアクセスがＷＡＩＴ（待機）することのない（破綻することのない）ようにという意味で、同期転送は、リアルタイム優先度もしくはリアルタイム転送などと呼ばれる場合もある。もちろん、リアルタイム優先度の中にも優先度の序列は存在する場合もある。

上述したような同期転送を用いる技術は上述した全米映画テレビジョン技術者協会のＳＭＰＴＥ２７４Ｍ、ＳＭＰＴＥ２９６Ｍなどの標準規格において用いられている他、映像データや音声データなどのリアルタイムに処理すべきデータを伝送する技術として、例えば、後に記す特許文献１に記載の発明等においても用いられている。

なお、上記の特許文献１は、以下の通りである。
特開平１０−１７４０５０号公報

しかしながら、図１２、図１３を用いて説明したように、動画像データ（動画映像信号）の同期転送においては、ライン開始基準信号ＨＤの直前直後や、フレーム開始基準信号ＶＤの前後数ラインは、ブランキングとして、転送対象の動画像データの同期転送が行われていない時間帯がある。すなわち、メモリへデータの要求を行わない時間帯が存在する。そのため、全時間帯に平均してリアルタイム系アクセスがあるのではなく、ある時間帯に集中してリアルタイム系アクセスが存在することになる。

特に、デジタルビデオカメラのように、被写体を撮影することにより得た動画像データを、漏らすことなく適切に記録媒体に記録すると共に、ＬＣＤ（Liquid Crystal Display）などの表示素子にも表示するというように、動画像データの入力と出力とが並行して行われるいわゆる映像（動画像）入出力システムにおいては、動画像データの入力処理と出力処理とが重なり合う期間がある。

つまり、デジタルビデオカメラシステムなどの映像入出力システムにおいては、リアルタイム系で入力されたデータがあるということは、対として、リアルタイム系で出力するデータがあるのが一般的であり、撮像センサからの入力等の映像入力系と表示出力等の映像出力に関連する処理部のリアルタイム系アクセスが重なり、ある時間帯にメモリへのアクセスが集中してしまうことになる。また、同期転送されてくるデータを確実に処理しなければならない同期転送時間帯に、入力、出力に直結していない処理部も機能するので、さらに、メモリアクセスが集中する傾向にある。以下に同期転送における問題点についてまとめる。

（１）処理部の完全並列動作が困難
リアルタイム系アクセスがあるということは、そのデータを元にベストエフォート系処理部でも処理すべきデータがあることが普通である。ここでベストエフォート系処理部は、所定の時間単位での処理完了保証の必要のない処理、すなわち優先度の低い処理を行う処理部を意味する。また、ベストエフォート処理という文言は、優先度は比較的に低く、ＣＰＵ（Central Processing Unit）やメモリアクセスチャンネルなどの空き具合に応じてできるだけ迅速に行うようにすれば足りる処理を意味する。

そして、リアルタイム優先度のアクセスが集中する時間帯は、リアルタイム系処理の占有度が極めて高くなり、隙間を縫ってベストエフォート優先度アクセスが処理されるだけである。基本的にベストエフォート系処理部は、長時間ウエイト状態（長時間待機状態）に置かれ、その処理部は一時的に停止した状態になるなど、バスの利用効率が悪くなり、システム全体としての効率も非常に悪くなってしまう可能性がある。

（２）帯域（処理能力）のオーバースペック
ＬＳＩ内の同期転送にかかわりのある全ての処理部の完全並列動作（ＷＡＩＴ（待機）ないで処理できる）を前提とすれば、同期転送によるアクセスの集中する時にも、全ての処理部がリアルタイム優先度で処理できる帯域を持たせなければならない。しかし、アクセスの疎密が存在する以上、疎の時間帯には、完全なオーバースペックとなる。

すなわち、同期転送を用いたシステムにおいては、種々の処理を完全並列動作で行う、行わないにかかわらず、いずれにしろ、同期転送によるデータ転送がある時間帯に処理が集中することになる。このため、全時間帯で見るとアクセスの疎密が生じ、システムが破綻しないためには、密の時の帯域（処理能力）を保証しなければならず、疎の時間帯には余分な帯域（処理能力）となり、システム効率の面からも無駄となる場合がある。

（３）システム設計の複雑さ
上述したように、同期転送システムを設計する場合、リアルタイム優先度アクセスが集中する時間帯でもその他の処理ができないと出力すべきデータが準備できないので、瞬間最大時のアクセスでも破綻しないように、複雑な帯域計算を行い、限界を正確に見積もり、必要最大帯域を設定するか、十分に余裕のある帯域を持ったシステムにする必要がある。前者は、システム設計が複雑となり、後者は、システムに余分な性能を生じさせることになる。

上述した（１）〜（３）の問題点は、デジタルビデオカメラなどのほか、ハードディスクレコーダやＤＶＤ（Digital Versatile Disc）レコーダ、ＩＲＤ（Integrated Receiver Decoder）やセットトップボックス（Set-Top Box）などと呼ばれるデジタル放送のチューナ装置、テレビ受信機等の画像データの入出力が存在する映像機器、さらには、再生を専用に行うＤＶＤプレイヤー等、少なくとも入出力の片方のみしか存在しない映像機器でも、ある特定の時間帯にアクセスが集中する同期転送がどこかに用いられていれば、同じことが言える。また、ＬＳＩからＬＳＩへの転送においての同期転送について説明したが、ＬＳＩ内部の処理部同士で同期転送が行われるものがあれば、同じことが言える。

また、同期転送の制約として以下のようなものがある。
（Ａ）同期転送のため、基準タイミングを待たなければ転送できない。

（Ｂ）同期転送のため、単位時間内には、規定されたサイズの画像１枚だけの転送しかできない。このように、同期転送の場合には、転送のためのタイミングや転送可能なデータ量に制約があり、転送の自由度がない。

以上の点に鑑み、この発明は、例えば、カメラシステムやデータ伝送方法において、同期転送のみを用いる場合に生じる問題点を回避しつつ、ユーザーの利便性をも向上させることを目的とする。

上記課題を解決するため、請求項１に記載の発明のカメラシステムは、
被写体像を撮像する撮像素子部と、
撮像した画像信号を出力する撮像素子インターフェイス部と、
前記画像信号に所定の信号処理を施す信号処理部と、
表示処理部とを備え、
前記撮像素子インターフェイス部から出力された前記画像信号を前記信号処理部に供給し、前記信号処理部において所定の信号処理を施した画像データを前記表示処理部に供給するカメラシステムにおいて、
前記撮像素子部と前記撮像素子インターフェイス部の間、前記撮像素子インターフェイス部と前記信号処理部の間、または前記信号処理部と表示処理部との間の少なくとも１箇所において、ハンドシェイク転送により画像データの送受を行うこと
を特徴とする。

この請求項１に記載のカメラシステムによれば、前記撮像素子部と前記撮像素子インターフェイス部の間、前記撮像素子インターフェイス部と前記信号処理部の間、または前記信号処理部と表示処理部の間の３箇所の内の１箇所以上において、いわゆるハンドシェイク転送により画像データの送受が行うようにされる。ハンドシェイク転送は、送信側と受信側とでＲＤＹ信号とＶＡＬＩＤ信号とを送受するようにし、転送可能か否かを確認しながらデータの転送を行うようにするものである。ＲＤＹ信号とＶＡＬＩＤ信号とは、転送制御信号である。

これにより、同期転送のみを用いた場合の問題点を解消し、ユーザーの利便性をも向上させることができる。具体的には、通常、リアルタイムに転送すべき動画像データについても、時分割的に伝送することができ、種々の処理が並列的に行われる場合であっても、優先度の低い処理が長期に渡って待機状態になることを防止し、種々の処理を均一に行うようにすることができるなどの効果を奏し、ユーザーの利便性をも向上させることができる。

また、請求項２に記載のカメラシステムは、請求項１に記載のカメラシステムであって、
画像データの送信側は、
送信バッファ手段と、
前記送信バッファ手段に記憶された画像データを受信側に送信する送信手段と、
前記送信バッファ手段の使用状態を監視すると共に、受信側と転送制御信号の送受を行い、前記転送制御信号に応じたタイミングで前記送信バッファ手段に記憶された画像データを送信するように前記送信手段を制御するハンドシェイク送信制御手段と
を備え、
画像データの受信側は、
送信側から送信されてくる画像データを受信する受信手段と、
前記受信手段で受信された画像データを保持する受信バッファ手段と、
前記受信バッファ手段の使用状態を監視すると共に、送信側と転送制御信号の送受を行い、前記転送制御信号に応じたタイミングで前記送信側からの画像データを受信するように前記受信手段を制御するハンドシェイク受信制御手段と
を備えることを特徴とする。

この請求項２に記載の発明のカメラシステムによれば、画像データの送信側は送信手段、送信バッファ手段、ハンドシェイク送信制御手段を備え、画像データの受信側は受信手段、受信バッファ手段、ハンドシェイク受信制御手段を備え、これらの各部が機能して、ハンドシェイク通信が行うようにされる。

これにより、ハンドシェイク通信を行うための構成を整え、ハンドシェイク通信を確実に行えるようにし、同期転送のみを用いた場合の問題点を解消して、ユーザーの利便性をも向上させることができる。

また、請求項３に記載の発明のカメラシステムは、請求項２に記載のカメラシステムであって、
前記画像データの送信側は、
受信側にタイミング基準信号を送信すると共に、当該タイミング基準信号に応じたタイミングで前記送信バッファ手段に記憶された画像データを送信するように前記送信手段を制御する同期送信制御手段を備え、
前記画像データの受信側は、
前記送信側からのタイミング基準信号を受信すると共に、受信した前記タイミング基準信号に応じたタイミングで前記送信側からの画像データを受信するように前記受信手段を制御する同期受信制御手段を備え、
前記受信側と前記送信側とにおいて、同期転送により画像データの送受を行うこともできるようにされており、ハンドシェイク転送により画像データの転送を行うか、同期転送により画像データの転送を行うかを切り替えることができることを特徴とする。

この請求項３に記載のカメラシステムによれば、ハンドシェイク転送と同期転送とを切り替えて利用することができるようにされる。これにより、ハンドシェイク転送を用いているときには、通常であれば、リアルタイムに転送すべき動画像データについても、時分割的に伝送することができ、種々の処理が並列的に行われる場合であっても、優先度の低い処理が長期に渡って待機状態になることを防止し、種々の処理を均一に行うようにすることができる。

また、ハンドシェイク転送では、信頼性高く画像データの転送ができないような場合には、同期転送を用いることにより、従来通り、信頼性高く画像データの転送を行うようにすることができるようにされる。従って、ハンドシェイク転送と同期転送の両方の利用が可能な、ユーザーにとっての利便性をも向上させたカメラシステムを実現できる。

また、請求項４に記載の発明のカメラシステムは、請求項３に記載のカメラシステムであって、
前記送信側のハンドシェイク送信制御手段と前記受信側のハンドシェイク受信制御手段との間で送受される前記転送制御信号と、前記送信側の同期送信制御手段と前記受信側の同期受信制御手段との間で送受される前記タイミング基準信号とを同一の信号線路を通じて送受するように構成したことを特徴とする。

この請求項４に記載のカメラシステムの場合には、ハンドシェイク転送時に用いる転送制御信号と、同期転送時に用いるタイミング基準信号とを共通の信号線路で送受できるように構成される。

これにより、転送制御信号とタイミング基準信号とをそれぞれ異なる信号線路で送受するように構成しなくてもよいので、構成を複雑にすることを回避しながら、ハンドシェイク転送と同期転送の使い分けが可能なカメラシステムを構成することができるようにされる。

この発明によれば、同期転送を用いることにより生じる問題点、すなわち、処理部の完全並列処理が困難、帯域のオーバースペックが必須、システム設計が複雑などのことを回避することができると共に、ユーザーの利便性をも向上させることができる。

以下、図を参照しながら、この発明による装置、方法の一実施の形態について説明する。

［カメラシステムの構成について］
図１は、この発明による装置、方法の一実施の形態が適用されたカメラシステム（デジタルビデオカメラを説明するためのブロック図である。この実施の形態のカメラシステムは、被写体の画像を動画像データとして取り込んで、記録媒体に記録したり、再生したりすることができると共に、被写体の画像を静止画像データとして取り込んで、記録媒体に記録したり、再生したりすることができるものである。なお、以下においては、動画像データを処理する場合を例にして説明する。

図１に示すように、この実施の形態のカメラシステムは、大きく分けると、レンズ１と、撮像素子部２と、撮像センサインターフェースＬＳＩ（以下、撮像センサＩ／ＦＬＳＩと略称する。）３と、信号処理ＬＳＩ４と、表示処置ＬＳＩ５と、表示デバイス６を備えると共に、信号処理ＬＳＩ４には、汎用ＤＲＡＭ４Ｄと、記録媒体４Ｍとが接続されたものである。

そして、それぞれのＬＳＩ内には、機能別に複数の処理部が存在する。図１に示した構成は、その一例であり、設計思想により、図１に示した各ＬＳＩ内の処理部が他のＬＳＩ内に属するようにされる場合ももちろんある。各ＬＳＩを構成する処理部の数や各ＬＳＩの機能は、目的に応じて、種々存在する。

そして、この図１に示したカメラシステムの場合には、撮像素子部２と撮像センサＩ／ＦＬＳＩ３との間、撮像センサＩ／ＦＬＳＩ３と信号処理ＬＳＩ４との間、信号処理ＬＳＩ４と表示処理ＬＳＩ５と間においては、詳しくは後述するハンドシェイク転送を用いるようにしているものである。

図１に示すように、撮像センサＩ／ＦＬＳＩ３は、信号処理ＬＳＩ４に対して信号を送信するＬＳＩＩ／Ｆ部３０１を備えたものである。このＬＳＩＩ／Ｆ部３０１は、詳しくは後述するが、ハンドシェイク送信処理を行うものである。

信号処理ＬＳＩ４は、図１に示すように、センサＩ／Ｆ部４０１、検波処理部４０２、画像処理部４０３、解像度変換処理部４０４、圧縮処理部４０５、表示処理部４０６、メモリコントローラ４０７、伸張処理部４０８、記録再生処理部４０９を備えている。これらの各処理部のそれぞれに対しては、図１に示したようにバスＩ／Ｆ（図１においては単にＩ／Ｆと記載。）４２１〜４２９が接続されており、各Ｉ／Ｆ４２１〜４２９のそれぞれは、１本ないし複数の共通のバスに接続されている。

なお、図１に示した例の場合には、各処理部は対応するＩ／Ｆ４２１〜４２９を通じて１本のバスに接続されている場合の例を示している。また、各処理部間のデータのやり取りは、バスを経由することを原則とするが、バスを経由せず、処理部間で直接データをやり取りする場合もある。処理部同士でＩ／Ｆを経由せずに直接接続しデータの転送を行う場合は、それをひとつの処理部とみなせる。

また、この実施の形態のカメラシステムの信号処理ＬＳＩ４の内部には、ＣＰＵ（Central Processing Unit）４１０や同期信号生成部４１１が設けられている。ＣＰＵ４１０は、信号処理ＬＳＩ４内部の各部を制御するものである。また、同期信号生成部４１１は、各種の処理において用いられる種々のタイミング基準信号を生成し、これを必要とする処理部に供給するものである。なお、タイミング基準信号は、種々のものがあるが、例えば、フレーム開始基準信号ＶＤやライン開始基準信号ＨＤ等などである。

そして、信号処理ＬＳＩ４のセンサＩ／Ｆ部４０１は、撮像センサＩ／ＦＬＳＩ３のＬＳＩＩ／Ｆ部３０１からの信号を受信するものである。すなわち、センサＩ／Ｆ４０１は、詳しくは後述するが、ハンドシェイク受信処理を行うものである。

検波処理部４０２は、センサＩ／Ｆ部４０１を通じて供給されるＬＳＩＩ／Ｆ部３０１からの画像データ（動画像データ）に基づいて、フォーカス調整やホワイトバランス調整、明るさ調整など、カメラ制御を行うための各種のパラメータを算出する。画像処理部４０３は、センサＩ／Ｆ部３からの画像データ(Ｒａｗデータ)に対して、検波処理部４０２において算出されたパラメータ等を用い、必要に応じて各種補正処理を行い、最終的にＹＣデータ（色差データ）に変換する。なお、画像処理部４０３は、ＹＣデータに対しても必要に応じてアパコン処理やノイズリダクション処理などの画像処理を行うことができるものである。

解像度変換処理部４０４は、ＲａｗデータないしはＹＣデータの状態の画像データに対して、画像のスケーリングを行うものである。また、圧縮処理部４０５は、ＹＣデータをＪＰＥＧ（Joint Photographic Experts Group）方式やＭＰＥＧ（Moving Picture Experts Group）方式などの符号化を行う。

そして、信号処理ＬＳＩ４においては、撮像センサＩ／ＦＬＳＩ３のＬＳＩＩ／Ｆ部３０１からの画像データに対して、いくつかの必要な処理、例えば、検波処理や画像処理等を行うと、処理後の画像データを、一旦、ＤＲＡＭ４Ｄに保存する。ＤＲＡＭ４Ｄに画像データを記録する場合には、Ｉ／Ｆ４２７を介してバスに接続されたメモリコントローラ４０７を経由して記録することになる。

このようにして、一旦、ＤＲＡＭ４Ｄに保存された画像データは、必要に応じて、ＤＲＡＭ４Ｄから読み出され、各処理部で処理され、再びＤＲＡＭ４Ｄに書き戻されるというように、ＤＲＡＭ４Ｄを作業領域として用いて、目的とする形式の画像データを形成することができるようにしている。なお、信号処理ＬＳＩ４の各処理部での処理の内容や処理の順番、組み合わせはデータフローに応じて、多種多様である。

そして、上述した処理部の幾つかが機能して、表示処理ＬＳＩ５に送る状態となった画像データ、例えばＹＣデータとされた画像データがＤＲＡＭ４Ｄに準備できたとする。すなわち、検波処理部４０２、画像処理部４０３、解像度変換処理部４０４が機能し、表示処理ＬＳＩ５に供給する形式のＹＣデータがＤＲＡＭ４Ｄに準備できたとする。この場合、ＤＲＡＭ４Ｄに準備された画像データは、メモリコントローラ４０７によって読み出され、Ｉ／Ｆ４２７、バス、Ｉ／Ｆ４２６を通じて表示処理部４０６に供給される。

表示処理部４０５は、表示処理ＬＳＩ５に対して信号を送信するものであり、上述した撮像センサＩ／ＦＬＳＩ３のＬＳＩＩ／Ｆ部３０１の場合と同様に、後述するハンドシェイク送信処理を行うものである。表示処理ＬＩＳ５は、表示処理部４０６からの画像データをハンドシェイク受信する受信側の表示処理部５０１を備えるものである。

表示処理ＬＳＩ５の表示処理部５０１は、信号処理ＬＳＩ４からの画像データをフォーマットに則って解釈し、液晶パネルなどの表示デバイス６に供給して表示デバイス６の表示画面に画像を表示するようにする。

また、信号処理ＬＳＩ４は、図１に示したように、伸張処理部４０８、記録再生処理部４０９を備えている。ここで、伸張処理部４０８は、圧縮処理された画像データを伸張処理して圧縮前の元の画像データを復元するものである。記録再生処理部４０９は、記録媒体４Ｍに対して画像データを記録したり、記録媒体４Ｍに記録されている画像データを読み出したりするものである。

そして、信号処理ＬＳＩ４においては、圧縮処理部４０５において圧縮処理された画像データを、Ｉ／Ｆ４２９を介して記録再生処理部４０９に供給し、記録再生処理部４０９の機能により、画像データを記録媒体４Ｍに記録することもできるようにしている。記録媒体４Ｍとしては、磁気テープ、光磁気ディスク、半導体メモリなど種々のものを用いることが可能であるが、この実施の形態においては、例えばフラッシュメモリなどの半導体不揮発性メモリが用いられているものとする。

また、信号処理ＬＳＩ４は、記録媒体４Ｍに記録された圧縮処理されている画像データを記録再生処理部４０９の機能により読み出し、これを伸張処理部４０８に供給して伸張処理して圧縮前の元のＹＣデータを復元し、これをＩ／Ｆ４２６、表示処理部４０６を介して、表示処理ＬＳＩ５に供給することもできるようにしている。

このように、この実施の形態のカメラシステムは、レンズ１、撮像素子部２を通じて撮像して得た画像データを、撮像センサＩ／ＦＬＳＩ３を通じて信号処理ＬＳＩ４に供給して、ここで目的とする画像データを形成し、これを表示処理ＬＳＩ５を通じて表示デバイス６に供給して、撮影して得た画像データに応じた画像を表示デバイスの表示画面に表示することができるものである。

また、この実施の形態のカメラシステムは、撮影して得た画像データを圧縮処理して記録媒体４Ｍに記録するようにしたり、記録媒体４Ｍから圧縮されて記録されている画像データを読み出して伸張処理し、これをＩ／Ｆ４２６、表示処理部４０６を介して、表示処理ＬＳＩ５にして、記録媒体４Ｍに記録されている画像データに応じた画像を表示デバイスの表示画面に表示したりすることもできるものである。

［ハンドシェイク転送について］
そして、上述もしたように、この実施の形態のカメラシステムにおいては、撮像素子部２と撮像センサＩ／ＦＬＳＩ３との間、撮像センサＩ／ＦＬＳＩ３と信号処理ＬＳＩ４との間、信号処理ＬＳＩ４と表示処理ＬＳＩ５と間においては、ハンドシェイク転送を用いるようにしている。ここで、ハンドシェイク転送について説明する。

上述した同期転送は、送信側と受信側とでフレーム開始基準信号ＶＤやライン開始基準信号ＨＤなどのタイミング基準信号を共通に用いることにより、送信側と受信側とで同期を取ってデータの送受を行うようにするものである。これに対してハンドシェイク転送は、ＲＤＹ信号とＶＡＬＩＤ信号とを用い、転送可能か否かを確認しながらデータの転送を行うようにするものである。

ここで、ＲＤＹ信号は、データの受信や送信の準備ができたことを相手先に通知することにより、データの送信や受信を相手先に要求するための信号であり、リクエスト（ＲＥＱ）信号とも呼ばれるものである。また、ＶＡＬＩＤ信号は、ＲＤＹ信号に応じてデータを送信したり受信したりする場合にこれを通知する信号であり、アクノーレッジ（ＡＣＫ）信号とも呼ばれるものである。すなわち、ＲＤＹ信号とＶＡＬＩＤ信号とは転送制御信号として用いられるものである。

図２、図３は、基本的なハンドシェイク転送システムの一例を説明するためのブロック図である。図２に示すハンドシェイク転送システムと、図３に示すハンドシェイク転送システムとは、転送元と転送先でどちらがＲＤＹ信号（リクエスト信号）を出すかが異なるだけで、本質的に同じものである。

［受信側がＲＤＹ信号を出すシステムについて］
まず、図２のハンドシェイク転送システム（受信側がＲＤＹ信号を出すシステムについて）について説明する。図２に示すように、この例のシステムは、送信デバイス１０と受信デバイス２０とからなっている。

送信デバイス１０は、送信デバイス１０の各部を制御するＣＰＵ１１と、ＨＳ（ハンドシェイク）送信制御部１２と、データ処理部１３と、送信バッファ１４と、データ送信部１５とを備えたものである。また、受信デバイス２０は、受信デバイス２０の各部を制御するＣＰＵ２１と、ＨＳ（ハンドシェイク）受信制御部２２と、データ受信部２３と、受信バッファ２４と、データ処理部２５とを備えたものである。

受信デバイス２０において、ＨＳ受信制御部２２は、受信バッファ２４の使用状態を監視しており、データ受け取り準備ができている場合、すなわち受信バッファ２４に空きがある場合に、送信デバイス１０に対してＷ＿ＲＤＹ信号を送信する。

送信デバイス１０のＨＳ送信制御部１２は、受信デバイス２０からのＷ＿ＲＤＹ信号を受信すると、送信バッファ１４に出力すべきデータがあるかを確認し、送信バッファ１４に出力すべきデータがある場合には、Ｗ＿ＶＡＬＩＤ信号を返信するとともに、データ送信部１５を制御して、送信バッファ１４に一時記憶されているデータを受信デバイス２０に送信する。

受信デバイス２０のＨＳ受信制御部２２は、送信デバイス１０からのＷ＿ＶＡＬＩＤ信号を受信し、これに応じてデータ受信部２３を制御して、送信デバイス１０からのデータを受信し、これを受信バッファ２４に書き出して、データ処理部２５により処理できるようにする。

このように、図２に示した受信側がＲＤＹ信号を出すハンドシェイク転送システムにおいて、Ｗ＿ＲＤＹ信号は、データの送信を転送元に要求するための信号として用いられるものである。また、Ｗ＿ＶＡＬＩＤ信号は、Ｗ＿ＲＤＹ信号に応じてデータを送信する場合に有効データを送信することを通知する信号である。

そして、上述したように、図２に示した受信側がＲＤＹ信号を出すハンドシェイク転送システムの場合、受信デバイス２０の受信バッファ２４に空きがあり、かつ、送信デバイス１０の送信バッファ１４に送信データがある場合においてのみ、データの転送が行うようにされる。

［送信側がＲＤＹ信号を出すシステム］
次に、図３のハンドシェイク転送システム（送信側がＲＤＹ信号を出すシステム）について説明する。図３に示すように、この例のシステムは、送信デバイス３０と受信デバイス４０とからなっている。

送信デバイス３０は、送信デバイス３０の各部を制御するＣＰＵ３１と、ＨＳ（ハンドシェイク）送信制御部３２と、データ処理部３３と、送信バッファ３４と、データ送信部３５とを備えたものである。また、受信デバイス４０は、受信デバイス４０の各部を制御するＣＰＵ４１と、ＨＳ（ハンドシェイク）受信制御部４２と、データ受信部４３と、受信バッファ４４と、データ処理部４５とを備えたものである。

送信デバイス３０において、ＨＳ送信制御部３２は、送信バッファ３４の使用状態を監視しており、送信すべきデータが送信バッファ３４にあり、データ送信準備ができている場合に、受信デバイス４０に対してＲ＿ＲＤＹ信号を送信する。

受信デバイス４０のＨＳ受信制御部４２は、受信バッファ４４の使用状態を監視しており、送信デバイス３０からのＲ＿ＲＤＹ信号を受信すると、受信バッファ４４に空きがあるかを確認し、受信バッファ４４に空きがある場合には、ＨＳ受信制御部４２は、Ｒ＿ＶＡＬＩＤ信号を返信して来るので、送信デバイス３０のＨＳ送信制御部３２は、受信デバイス４０からのＲ＿ＶＡＬＩＤ信号に合わせて、データ送信部３５を制御し、送信バッファ３４に蓄積されているデータを受信デバイス３０に送信する。

受信デバイス４０のＨＳ受信制御部４２は、自機が送出するＲ＿ＶＡＬＩＤ信号に応じてデータ受信部４３を制御して、送信デバイス４０からのデータを受信し、これを受信バッファ４４に書き出して、データ処理部４５により処理できるようにする。

このように、図３に示した送信側がＲＤＹ信号を出すハンドシェイク転送システムにおいて、Ｒ＿ＲＤＹ信号は、データの受信を転送先に要求するための信号として用いられるものである。また、Ｒ＿ＶＡＬＩＤ信号は、Ｒ＿ＲＤＹ信号に応じてデータを受信する場合に有効データを受信することを通知する信号である。

そして、上述したように、図３に示した送信側がＲＤＹ信号を出すハンドシェイク転送システムの場合、送信デバイス１０の送信バッファ１４に送信データがあり、かつ、受信デバイス２０の受信バッファ２４に空きがある場合においてのみ、データの転送が行うようにされる。

［ハンドシェイク転送を用いたデータ転送時の処理タイミングの一例］
次に、図２に示した受信側がＲＤＹ信号を出すハンドシェイク転送システムにおいて、実際にデータの転送が行われる場合の処理タイミングについて具体例を用いて説明する。図４は、ハンドシェイク転送を用いてデータの転送が行われる場合の処理の様子を説明するための図である。

図４（１）は、この例のハンドシェイク転送システムで用いられるクロック信号ＣＬＫを示している。図４（２）は、クロック信号ＣＬＫの１周期の区間を区別して示している。そして、図４に示す例において、受信デバイス２０は、図４（３）に示すように、クロック信号ＣＬＫが示す区間ｂ、および、区間ｅ〜区間ｉにおいて、ハイレベル（オン）となるＷ＿ＲＤＹ信号を送信デバイスに送信している。

これに応じて、送信デバイス１０は、図４（４）に示すように、区間ｃ、区間ｇ、区間ｉ〜区間ｊにおいて、ハイレベル（オン）となるＷ＿ＶＡＬＩＤ信号を受信デバイス２０に送信すると共に、Ｗ＿ＶＡＬＩＤ信号がハイレベルとなる期間において、データＷＤ０、ＷＤ１、ＷＤ２、ＷＤ３を受信デバイス２０に送信している。

なお、図４に示した例の場合には、送信デバイス１０は、受信デバイス２０からのＷ＿ＲＤＹ信号を受信してからＷ＿ＶＡＬＩＤ信号を出力するまでに、１クロック分遅延するシステムの例である。

このように、ハンドシェイク転送の場合には、送信デバイスと受信デバイスとが相互にデータ転送が可能である場合においてのみ、データの送受を行うようにしている。従って、ある処理部が、ハンドシェイク転送の入力部と出力部を持っていた場合、どちらかの転送が停止状態に陥ると、逆側のＲＤＹ信号が落ち（送出されず）、回路全体が停止状態になる。

すなわち、入力データが途切れると、データが入力されるまで、データを出力しない。再びデータが入力されると、データを処理して、データの出力が再開される。逆に、データの出力ができない状態に陥ると、データの入力を受け付けないようにして、データの出力が可能になったら、データの入力も再開するのである。従って、ハンドシェイク転送を持った処理部では、処理すべきデータがあるときだけ動作し、それ以外のときは停止していることになる。

これに対して、上述した同期転送では、データの受け渡しのタイミングが最優先の条件であり、転送されるデータを事前に準備している事が前提となる。連続転送を行うので、転送中は、送信側では、送信バッファが空にならない様に、常に送信バッファにデータが存在する状態にしておかなければならないし、受信側では、受信バッファが溢れない様に、受信バッファからデータを読み出し、受信バッファに空きがある状態にしておかなければならない。

しかし、ハンドシェイク転送では、タイミングは規定されておらず、転送されるデータの存在が最優先の条件となる。受信側の受信バッファに空きがあり、送信側の送信バッファに転送されるデータがあるという、送受信両方の条件が満たされて初めて転送動作が行われる。送信すべきデータがなければ（送信バッファが空）、もしくは、受信バッファに空きがなければ、転送しないだけなので、送信バッファを常に満たしておく必要はないし、受信バッファに常に空きがある必要もない。

そこで、この実施の形態のカメラシステムにおいては、上述もしたように、撮像素子部２と撮像センサＩ／ＦＬＳＩ３との間、撮像センサＩ／ＦＬＳＩ３と信号処理ＬＳＩ４との間、信号処理ＬＳＩ４と表示処理ＬＳＩ５と間においては、ハンドシェイク転送を用いるようにしている。この場合、画像データの送信側と受信側との双方においては、単位時間（例えば、ライン開始基準信号ＨＤによって規定される水平区間毎）に決まったデータ量の画像データの転送ができる帯域は確保している。

すなわち、図１に示したカメラシステムにおいて、ハンドシェイク転送を行う部分においては、所定の単位時間（例えば１水平区間）毎に、時分割的に画像データの入力と出力とを行うようにした場合であっても、当該単位時間内において一定量の画像データ（例えば、１ライン分の画像データ）を処理可能な帯域を保証できるようにしている。

［ハンドシェイク転送を行う部分の詳細について］
次に、図１に示したこの実施の形態のカメラシステムにおいて、ハンドシェイク転送を行う部分の詳細について説明する。ここでは、図１に示したカメラシステムのハンドシェイク転送を行う部分の内、画像データを取り込む部分と、画像データを出力する部分とに分けて説明する。

まず、画像データを取り込む部分について説明する。図５は、図１に示したカメラシステムのハンドシェイク転送を行う部分の内、画像データを取り込む部分である撮像素子部２と、撮像センサＩ／ＦＬＳＩ３のＬＳＩＩ／Ｆ部３０１と、信号処理ＬＳＩ４のセンサＩ／Ｆ部４０１とからなる部分について説明するためのブロック図である。

図５に示すように、撮像素子部２は、撮像素子２０１と、取り込み部２０２と、フレームバッファ２０３と、データ送信部２０４と、ＨＳ（ハンドシェイク）送信制御部２０５とを備えるものである。また、ＬＳＩＩ／Ｆ部３０１は、データ受信部３０１１と、バッファ３０１２と、データ送信部３０１３と、ＨＳ（ハンドシェイク）受信／送信制御部３０１４とを備えるものである。また、センサＩ／Ｆ部４０１は、データ受信部４０１１と、バッファ４０１２と、データ処理部４０１３と、ＨＳ（ハンドシェイク）受信制御部４０１４とを備えるものである。

そして、図１に示したカメラシステムが撮影モードにあるときには、撮像素子２０１を介して取り込まれた画像データは、取り込み部２０２を通じてフレームバッファ２０３に書き込まれる。一方、ＬＳＩＩ／Ｆ部３０１のＨＳ受信／送信制御部３０１４は、バッファ３０１２の使用状態を監視しており、バッファ３０１２に空き領域があり、データの書き込みが可能な状態にあるときには、撮像素子部２のＨＳ送信制御部２０５に対して、Ｗ＿ＲＤＹ信号を送信する。

撮像素子部２のＨＳ送信制御部２０５は、フレームバッファ２０３の使用状態を監視しており、ＬＳＩＩ／Ｆ部３０１のＨＳ受信／送信制御部３０１４からのＷ＿ＲＤＹ信号を受信し、かつ、フレームバッファ２０３に送信すべき画像データがあるときには、ＬＳＩＩ／Ｆ部３０１のＨＳ受信／送信制御部３０１４に対してＷ＿ＶＡＬＩＤ信号を送信すると共に、これに合わせてデータ送信部２０４を制御し、フレームバッファ２０３から送信すべき画像データＤｔを読み出してＬＳＩＩ／Ｆ部３０１に送信する。

ＬＳＩＩ／Ｆ部３０１のデータ受信部３０１１は、ＨＳ受信／送信制御部３０１４からのＷ＿ＶＡＬＩＤ信号に応じた制御信号に応じて、撮像素子部２からの画像データＤｔを受信し、これをバッファ３０１２に記録する。一方、センサＩ／Ｆ部４０１のＨＳ受信制御部４０１４は、バッファ４０１２の使用状態を監視しており、バッファ４０１２に空き領域があり、データの書き込みが可能な状態にあるときには、ＬＳＩＩ／Ｆ部３０１のＨＳ受信／送信制御部３０１４に対して、Ｗ＿ＲＤＹ信号を送信する。

ＬＳＩＩ／Ｆ部３０１のＨＳ受信／送信制御部３０１４は、バッファ３０１２の使用状態を監視しており、センサＩ／Ｆ部４０１のＨＳ受信制御部４０１４からのＷ＿ＲＤＹ信号を受信し、かつ、バッファ３０１２に送信すべき画像データＤｔがあるときには、センサＩ／Ｆ部４０１のＨＳ受信制御部４０１４に対してＷ＿ＶＡＬＩＤ信号を送信すると共に、これに合わせてデータ送信部３０１３を制御し、バッファ３０１２から送信すべき画像データＤｔを読み出してセンサＩ／Ｆ部４０１に送信する。

センサＩ／Ｆ部４０１のデータ受信部４０１１は、ＨＳ受信制御部４０１４からのＷ＿ＶＡＬＩＤ信号に応じた制御信号に応じて、ＬＳＩＩ／Ｆ部３０１からの画像データＤｔを受信し、これをバッファ４０１２に記録する。このようにして、バッファ４０１２に記録された画像データＤｔは、データ処理部４０１３により読み出され、後段の処理部に供給するようにされる。

このように、図１に示したこの実施の形態のカメラシステムにおいては、ハンドシェイク転送により、撮像素子部２からＬＳＩＩ／Ｆ部３０１へ、ＬＳＩＩ／Ｆ部３０１からセンサＩ／Ｆ部４０１へというように、撮像することにより得られた画像データが転送され、信号処理ＬＳＩ４に供給されて所定のカメラ信号処理がなされ、処理後の画像データが、表示デバイス６に供給されて再生するようにされたり、あるいは、記録媒体４Ｍに記録するようにされたりする。

なお、ここでは、撮像素子部２にはフレームバッファ２０３を設けた場合を説明したが、撮像素子自体が画像データを保持することができ、必要なタイミングで読み出すことができるようになっている場合には、取り込み部２０２やフレームバッファ２０３は必要ないことになる。

次に、画像データを出力する部分について説明する。図６は、図１に示したカメラシステムのハンドシェイク転送を行う部分の内、画像データを出力する部分である信号処理ＬＳＩ４の表示処理部４０６と、表示処理ＬＳＩ５の表示処理部５０１とからなる部分について説明するためのブロック図である。

図６に示すように、データを送信する側の表示処理部４０６は、データ処理部４０６１と、バッファ４０６２と、データ送信部４０６３と、ＨＳ送信制御部４０６４とを備えるものである。また、データを受信する側の表示処理部５０１は、データ受信部５０１１と、バッファ５０１２と、データ処理部５０１３と、ＨＳ受信制御部５０１４とを備えるものである。

データを送信する側の表示処理部４０６のデータ処理部４０６１は、ＤＲＡＭ４Ｄから読み出された表示用の画像データの供給を受けて、これをバッファ４０６２に記録する。一方、データを受信する側の表示処理部５０１のＨＳ受信制御部５０１４は、バッファ５０１２の使用状態を監視しており、バッファ５０１２に空き領域があり、データの書き込みが可能な状態にあるときには、データを送信する側の表示処理部４０６のＨＳ送信制御部４０６４に対して、Ｗ＿ＲＤＹ信号を送信する。

送信側の表示処理部４０６のＨＳ送信制御部４０６４は、バッファ４０６２の使用状態を監視しており、受信側の表示処理部５０１のＨＳ受信制御部５０１４からのＷ＿ＲＤＹ信号を受信し、かつ、バッファ４０６２に送信すべき画像データがあるときには、受信側の表示処理部５０１のＨＳ受信制御部５０１４に対してＷ＿ＶＡＬＩＤ信号を送信すると共に、これに合わせてデータ送信部４０６３を制御し、バッファ４０６２から送信すべき画像データＤｔを読み出して受信側の表示処理部５０１に送信する。

受信側の表示処理部５０１のデータ受信部５０１１は、送信側の表示処理部４０６のＨＳ送信制御部４０６４からのＷ＿ＶＡＬＩＤ信号に応じた制御信号に応じて、送信側の表示処理部４０６からの画像データＤｔを受信し、これをバッファ５０１２に記録する。このようにして、バッファ５０１２に記録された画像データは、データ処理部５０１３により読み出され、後段の表示デバイス６に供給するようにされる。

このように、図１に示したこの実施の形態のカメラシステムにおいては、ハンドシェイク転送により、送信側の表示処理部４０６から受信側の表示処理部５０１へ表示対象の画像データが転送され、これに応じた画像が表示デバイス６の表示画面に表示するようにされる。

そして、図５、図６を用いた説明からも分かるように、信号処理ＬＳＩ４への画像データの転送、および、信号ＬＳＩから表示処理ＬＳＩ５への画像データの転送は、ハンドシェイク転送により行われるので、同期転送のように、システムに負荷を与えることなく画像データの転送を行うことができるようにされる。

なお、図５、図６は、受信側がＲＤＹ信号を送出するシステムとして構成したが、図３を用いて説明した送信側がＲＤＹ信号を送出するシステムで構成することももちろん可能である。

［同期転送が無い場合と、同期転送がある場合のメモリアクセスのイメージ］
図７Ａは、図１に示したカメラシステムの信号処理ＬＳＩ４におけるＤＲＡＭ４Ｄへのアクセスのイメージを説明するための図である。すなわち、図７Ａは、同期転送を用いず、ハンドシェイク転送により画像データが転送するようにされるカメラシステムにおけるＤＲＡＭ４Ｄに対するアクセスの状態を説明するための図である。

上述したように、信号処理ＬＳＩでは、センサＩ／Ｆ部４０１を通じて受け付けた画像データは、所定の処理が施された後にＤＲＡＭ４Ｄに記録され、この後、表示処理ＬＳＩ５に出力するために読み出されて、表示処理部４０６を通じて表示処理ＬＳＩ５に出力される。

このような画像データについてのＤＲＡＭ４Ｄへの書き込みと読み出しとについては、当然ながら、ライン開始基準信号ＨＤによって規定される１水平区間毎の画像データについては、単位時間、すなわち、１水平区間毎に、書き込みも読み出しも完結していなけければならない。この状態を示したのが図７Ａである。

図７Ａの（１）は、１水平区間におけるＤＲＡＭ４Ｄへのアクセス数の変化を示すグラフである。図７Ａの（２）は、ライン開始基準信号ＨＤを示している。図７Ａの（３）は、センサ入力によるライトアクセスが行われる期間、すなわち、センサＩ／Ｆ部４０１を通じて受け付けた画像データを処理してＤＲＡＭ４Ｄに書き込む処理が行われる期間を示している。

また、図７Ａの（４）は、映像出力のためのリードアクセスが行われる期間、すなわち、表示処理部４０６を通じて出力する画像データをＤＲＡＭ４Ｄから読み出す処理が行われる期間を示している。また、図７Ａの（５）は、上記の画像データの書き込み処理や読み出し処理以外に、ＤＲＡＭ４Ｄへのアクセスを伴う処理が行われる期間を示している。

上述したように、図１に示した実施の形態のカメラシステムの場合、同期転送を行う部分は存在しないので、リアルタイム優先度の処理は無く、全ての処理はベストエフォート優先とされ、長時間待たされる処理は無くなる。これにより、図７Ａの（３）、（４）、（５）に示すように、撮影された画像データのＤＲＡＭ４Ｄへの書き込み処理も、再生対象の画像データのＤＲＡＭ４Ｄからの読み出し処理も、さらに、その他のＤＲＡＭ４Ｄへのアクセス処理も、全て、１水平区間毎に均等に処理され、その全てを１水平区間毎に完結するように処理することができるようにされる。

従って、ハンドシェイク転送のみを用いた図１に示した実施の形態のカメラシステムの場合には、図７Ａの（１）に示すように、各水平区間において、ＤＲＡＭ４Ｄへのアクセス数を一定に保つようにすることが可能となり、種々の処理を並列に実行することができる共に、必要な帯域も大きくすることもないようにすることができるのである。

これに対して、図７Ｂは、図１に示したカメラシステムにおいて、信号処理ＬＳＩ４への画像データの転送と、信号処理ＬＳＩ４からの画像データの転送とを同期転送方式を用いて行うようにした場合のＤＲＡＭ４Ｄに対するアクセスの状態を説明するための図である。

この図７Ｂにおいても、図７Ａの場合と同様に、図７Ｂの（１）は、１水平区間におけるＤＲＡＭ４Ｄへのアクセス数の変化を示すグラフである。図７Ｂの（２）は、ライン開始基準信号ＨＤを示している。図７Ｂの（３）は、センサ入力によるライトアクセスを行う期間、すなわち、センサＩ／Ｆ部４０１を通じて受け付けた画像データを処理してＤＲＡＭ４Ｄに書き込む処理を行う期間を示している。

また、図７Ｂの（４）は、映像出力のためのリードアクセスを行う期間、すなわち、表示処理部４０６を通じて出力する画像データをＤＲＡＭ４Ｄから読み出す処理を行う期間を示している。また、図７Ｂの（５）は、上記の画像データの書き込み処理や読み出し処理以外に、ＤＲＡＭ４Ｄへのアクセスを伴う処理を行う期間を示している。

同期転送の場合、図７Ｂの（３）に示した画像データのＤＲＡＭ４Ｄへのライトアクセスと、図７Ｂの（４）に示した画像データのＤＲＡＭ４Ｄへのリードアクセスとは、リアルタイム処理しなければならない。

つまり、センサＩ／Ｆ部４０１からの画像データをリアルタイムに書き込む処理が待たされると、書き込むべき画像データはどんどん消滅してしまう。また、表示デバイス６に供給する画像データをＤＲＡＭ４Ｄから読み出す処理が待たされると、表示デバイス６に供給する画像データが不足し、表示デバイス６における画像の表示に支障をきたすことになるため、両処理ともリアルタイム優先の処理となる。

このように、信号処理ＬＳＩ４への画像データの供給と、信号処理ＬＳＩ４からの画像データの出力とが同期転送で行うようにされた場合、信号処理ＬＳＩ４においては、ライン開始基準信号ＨＤ、フレーム開始基準信号ＶＤとを基準信号として用いて、リアルタイム処理がなされるために、図７Ｂの（３）、（４）に示すように、リアルタイム優先の処理が重なり合うことになり、図７Ｂの（１）に示すように、ＤＲＡＭ４Ｄに対するアクセス数は、リアルタイム優先の処理が重なり合う部分において大きくなり、これに見合う十分な帯域が必要になる。

また、リアルタイム優先度の処理が多いと、図７Ｂの（５）に示したようなその他の処理が待たされてしまうことになる。図７Ｂの（５）において、矢印Ｘが示す区間においては、ライトアクセスとリードアクセスとが重なりあっているために、他の処理によるＲ（リード）／Ｗ（ライト）アクセスのＷＡＩＴ（待機）状態が長くなっている。

なお、その他の処理によりＤＲＡＭ４Ｄへのアクセスが発生しないときに、ＤＲＡＭ４Ｄが空いていても仕方が無く、リアルタイム優先度以外の処理についても、リアルタイム優先度の処理に大きく影響を受けることなく、ＤＲＡＭ４Ｄへのアクセスを行えるようにすることが望ましいと言える。

そして、図７Ａと図７Ｂとを比較すると分かるように、図７Ａに示したハンドシェイク転送を用いたシステムにおいては、ライトアクセス、リードアクセス、その他のアクセスは、単位時間内に分散して行うことができるようにされるので、図７Ａ（１）に示すように、単位時間内においては、各処理を均一に実行することができ、広い帯域を実現しなくても、所定量のデータ処理を実行することができるのである。

このように、図７Ａの同期転送を用いることなくハンドシェイク転送を用いるようにしたシステムのメモリアクセスイメージと、同期転送を用いるようにしたシステムのメモリアクセスイメージとを比較すると分かるように、大きな帯域が必要でなく、種々の処理を１水平区間において均等に、かつ、確実に実行することが可能なハンドシェイク転送を用いたシステムが安定して動作することが分かる。

［映像システムへの適用について］
上述した実施の形態においては、この発明をカメラシステムに適用した場合を例にして説明した。しかし、これに限るものではない。例えば、ＤＶＤ（Digital Versatile Disc）プレイヤー、ＶＴＲ（Video Tape Recorder）、ＩＲＤ（Integrated Receiver Decoder）やＳＴＢ（Set-Top Box）などと呼ばれるデジタル放送受信用の受信機、デジタル放送のテレビ受信機など、種々の種々の映像機器にも適用できる。

図８は、一般的な映像機器にこの発明を適用した場合について説明するためのブロック図である。図１に示したカメラシステムが、被写体の画像を画像データとして取り込む部分としてレンズ１、撮像素子部２、撮像センサＩ／ＦＬＳＩ３を備えているのに対して、図８に示した一般的な映像機器は、既に存在する画像データの供給を受けて処理するものである。

図８に示すように、この例の映像機器は、大きく分けると、信号処理ＬＳＩ７と、表示システム部８と、表示デバイス９とを備えると共に、信号処理ＬＳＩ７には、汎用ＤＲＡＭ７Ｄと、記録媒体７Ｍとが接続するようにされたものである。そして、図８に示した映像機器においては、信号処理ＬＳＩへの画像データの入力と、信号処理ＬＳＩからの画像データの出力とは、何れもハンドシェイク転送を用いて行うようにしている。

信号処理ＬＳＩ７は、図８に示すように、ハンドシェイク受信処理を行う映像入力処理部７０１、画像処理部７０２、解像度変換処理部７０３、ハンドシェイク送信処理を行う映像出力処理部７０４、チューナ７０５、メモリコントローラ７０６、圧縮伸張処理部７０７、記録再生処理部７０８、同期信号生成部７０９、ＣＰＵ７１０を備えたものである。

そして、画像処理部７０２、解像度変換処理部７０３、映像出力処理部７０４、メモリコントローラ７０６、圧縮伸張処理部７０７、記録再生処理部７０８のそれぞれに対しては、図８に示すようにバスＩ／Ｆ（図８においては単にＩ／Ｆと記載）７１２、７１３、７１４、７１６、７１７、７１８が接続されており、Ｉ／Ｆ７１２、７１３、７１４、７１６、７１７、７１８のそれぞれは、１本ないし複数本の共通バスに接続されている。

なお、図８に示した例の場合には、各処理部は対応するＩ／Ｆ７１２、７１３、７１４、７１６、７１７、７１８を通じて１本のバスに接続されている場合の例を示している。また、各処理部間のデータのやり取りは、バスを経由することを原則とするが、バスを経由せず、処理部間で直接データをやり取りする場合もある。処理部同士でＩ／Ｆを経由せずに直接接続しデータの転送を行う場合は、それをひとつの処理部とみなせる。

信号処理ＬＳＩ７のＣＰＵ７１０は、信号処理ＬＳＩ７内部の各部を制御するものである。また、同期信号生成部７０９は、各種の処理において用いられる種々のタイミング基準信号を生成し、これを必要とする処理部に供給するものである。なお、タイミング基準信号は、種々のものがあるが、例えば、フレーム開始基準信号ＶＤやライン開始基準信号ＨＤ等などである。

そして、信号処理ＬＳＩ７の映像入力処理部７０１は、ハンドシェイク受信処理を行うものであり、画像データの供給元へのＷ＿ＲＤＹ信号の送信、画像データの供給元からのＷ＿ＶＡＬＩＤ信号と画像データとの受信を行うものである。

画像データの供給元としては、図示しないが、ＤＶＤ等の記録媒体に記録されている画像データを読み出す記録媒体ドライバや、デジタル放送波を受信、選局し、目的とする放送番組を選択するいわゆるフロントエンド部や、外部機器からの画像データの入力を受け付けて、自機において処理可能な形式の画像データに変換して取り込むＩ／Ｆ回路部等が挙げられる。

すなわち、映像入力処理部７０１は、図２を用いて説明した受信デバイス２０の機能を実現するものであり、図示しない画像データの供給元が図２を用いて説明した送信デバイス１０の機能を実現するものである。

画像処理部７０２は、映像入力処理部７０１からの画像データに対して、必要に応じた各種補正処理を行い、最終的にＹＣデータ（色差データ）に変換する。なお、画像処理部７０２は、ＹＣデータに対しても必要に応じてアパコン処理やノイズリダクション処理などの画像処理を行うことができるものである。

解像度変換処理部７０３は、ＹＣデータの状態の画像データに対して、画像のスケーリングを行うものである。また、圧縮処理部４０５は、ＹＣデータをＪＰＥＧ（Joint Photographic Experts Group）方式やＭＰＥＧ（Moving Picture Experts Group）方式などの符号化したり、逆に、ＪＰＥＧ（Joint Photographic Experts Group）方式やＭＰＥＧ（Moving Picture Experts Group）方式などで符号化されている画像データを復号化して（伸張処理して）符号化前の画像データを復元したりする。

そして、信号処理ＬＳＩ４においては、映像入力処理部７０１からの画像データに対して、いくつかの必要な処理、例えば、画像処理等を行うと、処理後の画像データを、一旦、ＤＲＡＭ７Ｄに保存する。ＤＲＡＭ７Ｄに画像データを記録する場合には、Ｉ／Ｆ７１６を介してバスに接続されたメモリコントローラ７０６を経由して記録することになる。

このようにして、一旦、ＤＲＡＭ７Ｄに保存された画像データは、必要に応じて、ＤＲＡＭ７Ｄから読み出され、各処理部で処理され、再びＤＲＡＭ７Ｄに書き戻されるというように、ＤＲＡＭ７Ｄを作業領域として用いて、目的とする形式の画像データを形成することができるようにしている。なお、信号処理ＬＳＩ７の各処理部での処理の内容や処理の順番、組み合わせはデータフローに応じて、多種多様である。

そして、上述した処理部の幾つかが機能して、表示システム部８に送る状態となった画像データ、例えばＹＣデータとされた画像データがＤＲＡＭ７Ｄに準備できたとする。すなわち、画像処理部７０２、解像度変換処理部７０３が機能し、表示システム部８に供給する形式のＹＣデータがＤＲＡＭ７Ｄに準備できたとする。この場合、ＤＲＡＭ７Ｄに準備された画像データは、メモリコントローラ７０６によって読み出され、Ｉ／Ｆ７１６、バス、Ｉ／Ｆ７１４を通じて映像出力処理部７０４に供給される。

映像出力処理部７０４は、表示システム部８に対して信号を送信するものであり、ハンドシェイク送信処理を行うものである。表示システム部８５は、映像出力処理部７０４からの画像データをハンドシェイク受信する受信側の映像入力処理部８１を備えるものである。表示システム部８の映像入力処理部８１は、信号処理ＬＳＩ７からの画像データをフォーマットに則って解釈し、液晶パネルなどの表示デバイス９に供給して表示デバイス９の表示画面に画像を表示するようにする。

このように、信号処理ＬＳＩ７の映像出力処理部７０４は、図２を用いて説明した送信デバイス１０の機能を実現するものであり、表示システム部８の映像入力処理部８１は、図２を用いて説明した受信デバイス２０の機能を実現するものである。

また、図８に示した映像機器の信号処理ＬＳＩ７においては、圧縮伸張処理部７０７において圧縮処理された画像データを、Ｉ／Ｆ７１８を介して記録再生処理部７０８に供給し、記録再生処理部７０８の機能により、画像データを記録媒体７Ｍに記録することもできるようにしている。記録媒体７Ｍとしては、磁気テープ、光磁気ディスク、半導体メモリなど種々のものを用いることが可能であるが、ここではフラッシュメモリなどの半導体不揮発性メモリが用いられているものとする。

また、信号処理ＬＳＩ７は、記録媒体７Ｍに記録された圧縮処理されている画像データを記録再生処理部７０８の機能により読み出し、これを圧縮伸張処理部７０７に供給して伸張処理して圧縮前の元のＹＣデータを復元し、これをＩ／Ｆ７１４、映像出力処理部７０４を介して、表示システム部８に供給することもできるようにしている。

このような、一般的な映像機器においても、信号処理ＬＳＩ７の入力部分と出力部分とにおいて、ハンドシェイク転送を用いることにより、上述もしたように、同期転送を用いた場合のようにリアルタイム処理が重複することによる帯域増大やリアルタイム処理以外の処理の遅延を招くことなく、全ての処理をライン開始基準信号ＨＤによって定められる１水平区間毎に均一に処理することができる。

さらに詳しく言えば、図１に示したカメラシステムや、図８に示した一般的な映像機器を用いて説明したように、ＬＳＩ間において、同期転送を用いることなく、ハンドシェイク転送のみでデータの転送を行えるようにすることにより、システム設計において、バス帯域を考慮する場合も、最大瞬間速度を考慮する必要はなく、単位時間あたりのアクセスを考慮するだけでよく、設計が飛躍的に簡単になる。すなわち、設計の難易度を飛躍的に低減させることができる。

また、同期転送がなくなり、ハンドシェイク転送のみでシステムが設計され、単位時間当たりの帯域が確保された場合、全てのメモリアクセスがベストエフォート要求になるため、ＷＡＩＴ（待機）できない機能処理部は存在しない。

その場合、入力データの準備ができた処理部から順次メモリアクセス要求を出し、処理を行い、次の処理部用のデータの出力が行える。入力データの準備ができていない処理部はＷＡＩＴ（待機）状態にあるだけで、データの準備ができしだい処理を再開する。結果として、必要なアクセス要求が長時間待たされることなく随時処理できるようになり、アクセスが分散される。

どの処理部においても、単位時間当たりのメモリアクセスの全てが可能な帯域が確保されているので、必要に応じて、順次アクセスしていけば全てのアクセスが完了し、それに応じて、必要な処理が行われる。

結果として、アクセス頻度の疎密も少なくなり、時間軸に関して、アクセス頻度の平滑化もなされ、オーバースペックな帯域を保証する必要もなくなり、適切なスペックになる。すなわち、メモリのビット幅（メモリの個数）やクロック数などを必要以上にあげる必要もなくなるので、消費電力の低減にもつながる。

また、プロトコルに従った同期転送ではないので、タイミング待ちを行う必要もなく、即時、転送の開始が可能になったり、ＣＰＵに転送終了を知らせる割り込み等を用いることにより、単位時間に複数回の転送を行うことも可能になったりするなど、自由度の高い転送システムにすることもできる。

［変形例］
上述した実施の形態においては、各ＬＳＩ間（デバイス間）においてハンドシェイク転送を用いることにより、必要帯域を圧縮し、種々の処理を１水平区間毎に均一に処理することができるようにした。しかし、これに限るものではない。例えば、リアルタイム処理することが望ましいデータが処理対象である場合には同期転送を用い、それ以外の場合にはハンドシェイク転送を用いるというように、処理対象のデータに応じて、同期転送とハンドシェイク転送とを切り替えるようにすることもできる。

図９は、同期転送とハンドシェイク転送とを切り替えるようにするシステムの構成例を説明するためのブロック図である。図９に示すように、この変形例のシステムは、送信デバイス５０と、受信デバイス６０とからなっている。

送信デバイス５０は、ＣＰＵ５１、送信制御部５２、外部端子機能セレクタ５３、画像処理部５４、送信バッファ５５、データ送信部５６を備えると共に、主にワークエリアとして用いられるメモリＭ５が接続されたものである。ＣＰＵ５１は、当該送信デバイス５０の各部を制御するものである。送信制御部５２は、図９に示すように同期送信制御部５２１とＨＳ（ハンドシェイク）送信制御部５２２とを備え、ＣＰＵ５１の制御に応じて、いずれか一方の送信制御部を機能させるようにすることができるものである。

外部端子機能セレクタ５３は、同期送信制御部５２１と受信デバイス６０とを接続するようにするのか、ＨＳ送信制御部５２２と受信デバイス６０とを接続するようにするのかを切り替えるものである。画像処理部５４は、これに供給された画像データに対して送信用の画像データを形成し、これを送信バッファ５５に書き込むものである。送信バッファ５５は、送信すべき画像データ（送信データ）を一時記憶するものである。また、データ送信部５６は、送信制御部５５の制御に応じて送信バッファ５５に記憶されている画像データを読み出し、これを受信デバイス６０に対して送信するものである。

一方、受信デバイス６０は、ＣＰＵ６１、受信制御部６２、外部端子機能セレクタ６３、データ受信部６４、受信バッファ６５、画像処理部６６を備えると共に、主にワークエリアとして用いられるメモリＭ６が接続されたものである。ＣＰＵ６１は、当該受信デバイス６０の各部を制御するものである。受信制御部６２は、図９に示すように同期受信制御部６２１とＨＳ（ハンドシェイク）受信制御部６２２とを備え、ＣＰＵ６１の制御に応じて、いずれか一方の受信制御部を機能させるようにすることができるものである。

外部端子機能セレクタ６３は、同期受信制御部６２１と送信デバイス５０とを接続するようにするのか、ＨＳ受信制御部６２２と送信デバイス５０とを接続するようにするのかを切り替えるものである。データ受信部６４は、受信制御部６２の制御に応じて、送信デバイス５０から送信される画像データを受信し、これを受信バッファに書き込むものである。受信バッファ６５は、上述のように、データ受信部６４を通じて受信した画像データ（受信データ）を一時記憶するものである。また、画像処理部６６は、受信バッファ６５に一時記憶された画像データを読み出して、これに所定の処理を施し、後段の回路部に供給するものである。

そして、この変形例において、動画像データを処理する場合には、従来通り同期転送を用い、静止画像データを処理する場合には、上述した実施の形態のカメラシステムや映像機器の場合と同様にハンドシェイク転送を用いるものとして説明する。

例えば、処理対象のデータの形式を確認することにより、処理対象のデータが動画像データか静止画像データかは判別することが可能である。当該システムの全体を制御する図示しない制御部は、送信デバイス５０と受信デバイス６０との双方に対して、処理対象の画像データの形式を通知する。これに応じて、送信デバイス５０ＣＰＵ５１と受信デバイス６０のＣＰＵ６１は、自デバイスの関連する各部を制御する。

そして、処理対象の画像データが動画像データである場合には、送信デバイス５０のＣＰＵ５１は、送信制御部５２を制御し、同期送信制御部５２１を機能させるようにすると共に、外部端子機能セレクタ５３を制御して、同期送信制御部５２１と、受信デバイス６０とを接続するように切り替える。一方、受信デバイス６０のＣＰＵ６１は、受信制御部６２を制御し、同期受信制御部６２１を機能させるようにすると共に、外部端子機能セレクタ６３を制御して、同期受信制御部６２１と送信デバイス５０とを接続するように切り替える。

これにより、送信デバイス５０の同期送信制御部５２２は、フレーム開始基準信号ＶＤとライン開始基準信号ＨＤとを形成し、これを外部端子機能セレクタ５３を通じて受信デバイスに送信すると共に、データ送信部５６を制御し、フレーム開始基準信号ＶＤとライン開始基準信号ＨＤとに応じたタイミング（同期したタイミング）で画像データを受信デバイス６０に送信する。

一方、受信デバイス６０においては、外部端子機能セレクタ６３を通じて受け付けたフレーム開始基準信号ＶＤとライン開始基準信号ＨＤとが同期信号制御部６２１に供給される。同期信号制御部６２１は、これに供給されたフレーム開始基準信号ＶＤとライン開始基準信号ＨＤとに基づいて、データ受信部６４を制御し、送信デバイス５０のデータ送信部５６からの画像データを同期を取って受信し、受信バッファ６５に書き込む。

また、処理対象の画像データが静止画像データである場合には、送信デバイス５０のＣＰＵ５１は、送信制御部５２を制御し、ＨＳ送信制御部５２２を機能させるようにすると共に、外部端子機能セレクタ５３を制御して、ＨＳ送信制御部５２２と、受信デバイス６０とを接続するように切り替える。一方、受信デバイス６０のＣＰＵ６１は、受信制御部６２を制御し、ＨＳ受信制御部６２２を機能させるようにすると共に、外部端子機能セレクタ６３を制御して、ＨＳ受信制御部６２２と送信デバイス５０とを接続するように切り替える。

これにより、受信デバイス６２のＨＳ受信制御部６２２は、受信バッファ６５のデータの記録状態を監視し、空きがある場合には、ＲＤＹ信号を形成し、これを外部端子機能セレクタ６３を通じて受信デバイス５０に送信する。受信デバイス５０のＨＳ送信制御部５２２は、外部端子機能セレクタ５３を通じて、受信デバイス６０からのＲＤＹ信号を受信した場合には、自機の送信バッファ５５に送信すべきデータが存在するか否かを確認する。

ＨＳ送信制御部５２２は、送信バッファ５５に送信すべきデータが存在する場合には、ＶＡＬＩＤ信号を形成して、これを外部端子機能セレクタ５３を通じて受信デバイス６０に送信すると共に、データ送信部５６を制御し、ＶＡＬＩＤ信号に応じたタイミングで送信バッファ５５に記憶されている画像データを受信デバイス６０に送信する。

そして、受信デバイス６０は、外部端子機能セレクタ６３を通じて、ＨＳ受信制御部６２２が、送信デバイス５０からのＶＡＬＩＤ信号を受信すると、これに応じてデータ受信部６４を制御して、送信デバイス５０のデータ送信部５６からの画像データを受信し、これを受信バッファ６５に格納する。

このようにして、処理対象のデータに応じて、同期転送でデータを送受するか、ハンドシェイク転送でデータを送受するかを選択し、適切な転送モードで画像データを転送処理することができるようにされる。

このように、目的によって２種のモード（同期転送モードとハンドシェイク転送モード）とを切り替えて、使い分けできるようにすれば、自由度の高い転送システムを構成することができる。特に、図９に示したように、同期転送時のフレーム開始基準信号ＶＤ、ライン開始基準信号ＨＤ等の基準信号を伝送する信号線路（同期信号線）と、ハンドシェイク転送時のＲＤＹ信号とＶＡＬＩＤ信号を伝送する信号線路（制御線）とを共用するように構成することによって、デバイス間（ＬＳＩ間）の接続線を増やすことなく、２種類の転送モードを比較的容易に実装することが可能である。

［変形例のシステムの処理について］
次に、図９に示したように構成されるシステムの送信デバイス５０、受信デバイス６０で行われる基本的な処理について、図１０、図１１のフローチャートを参照しながら説明する。

［送信デバイス５０の処理について］
図１０は、図９に示したシステムの送信デバイス５０で行われる基本的な処理を説明するためのフローチャートである。この図１０に示す処理は、送信デバイス５０のＣＰＵ５１の制御により実行される。

上述もしたように、図９に示したシステムの全体を制御する図示しない制御部は、送信デバイス５０に対して、処理対象の画像データの形式を通知する。これに応じて、送信デバイス５０ＣＰＵ５１は、まず、リアルタイム処理が必要なデータか否かを判断する（ステップＳ１０１）。このステップＳ１０１の判断処理においては、処理対象の画像データが動画像データである場合には、リアルタイム処理が必要であると判断し、動画像データでない場合には、リアルタイム処理は必要ないと判断する。

ステップＳ１０１の判断処理において、リアルタイム処理が必要であると判断した場合には、ＣＰＵ５１は関連する各部を制御し、動画像データについてはリアルタイム処理（帯域確保型処理）を行うようにするために、同期転送モードで動作するようにする（ステップＳ１０２）。

このステップＳ１０２の処理は、送信制御部５２では同期送信制御部５２１が機能するようにし、外部端子機能セレクタ５３は、同期送信制御部５２１と受信デバイス６０とを接続するようにして、送信バッファ５５に格納された送信データである動画像データを、フレーム開始基準信号ＶＤとライン開始基準信号ＨＤとに応じて送信できるようにする。

また、ステップＳ１０１の判断処理において、リアルタイム処理が必要でないと判断した場合には、ＣＰＵ５１は関連する各部を制御し、動画像データ以外のデータについてはベストエフォート型処理を行うようにするために、ハンドシェイク転送モードで動作するようにする（ステップＳ１０３）。

このステップＳ１０３の処理は、送信制御部５２ではＨＳ（ハンドシェイク）送信制御部５２２が機能するようにし、外部端子機能セレクタ５３は、ＨＳ送信制御部５２２と受信デバイス６０とを接続するようにして、送信バッファ５５に格納された送信データである動画像データ以外の画像データ（静止画像データ）を、受信デバイス６０からのＲＤＹ信号受信後において、ＶＡＬＩＤ信号にタイミングを合わせて送信できるようにする。

そして、ステップＳ１０２の処理の後、または、ステップＳ１０３の処理の後においては、ステップＳ１０２において選択された同期転送モードにより、あるいは、ステップＳ１０３において選択されたハンドシェイク転送モードにより、フレーム単位にライン毎のデータの送信処理を開始する（ステップＳ１０４）。そして、送信対象の全画像データの送信が終了したか否かを判断する（ステップＳ１０５）。

ステップＳ１０５の判断処理において、送信対象の画像データの送信が終了していないと判断したときには、ステップＳ１０５からの処理を繰り返し、画像データの送信処理を続行する。ステップＳ１０５の判断処理において、送信対象の画像データの送信が終了したと判断したときには、この図１０に示す処理を終了する。

［受信デバイス６０の処理について］
図１１は、図９に示したシステムの受信デバイス６０で行われる基本的な処理を説明するためのフローチャートである。この図１１に示す処理は、受信デバイス６０のＣＰＵ６１の制御により実行される。送信と受信との違いがあるものの、受信デバイス６０においても、送信デバイス５０と同様の処理が行われることになる。

すなわち、上述もしたように、図９に示したシステムの全体を制御する図示しない制御部は、受信デバイス６０に対しても、処理対象の画像データの形式を通知する。これに応じて、受信デバイス６０ＣＰＵ６１は、まず、リアルタイム処理が必要なデータか否かを判断する（ステップＳ２０１）。このステップＳ２０１の判断処理においては、処理対象の画像データが動画像データである場合には、リアルタイム処理が必要であると判断し、動画像データでない場合には、リアルタイム処理は必要ないと判断する。

ステップＳ２０１の判断処理において、リアルタイム処理が必要であると判断した場合には、ＣＰＵ６１は関連する各部を制御し、動画像データについてはリアルタイム処理（帯域確保型処理）を行うようにするために、同期転送モードで動作するようにする（ステップＳ２０２）。

このステップＳ２０２の処理は、受信制御部６２では同期送信制御部６２１が機能するようにし、外部端子機能セレクタ６３は、同期送信制御部６２１と送信デバイス５０とを接続するようにして、送信デバイス５０から送信されてくる動画像データをフレーム開始基準信号ＶＤとライン開始基準信号ＨＤとに応じて受信できるようにする。

また、ステップＳ２０１の判断処理において、リアルタイム処理が必要でないと判断した場合には、ＣＰＵ６１は関連する各部を制御し、動画像データ以外のデータについてはベストエフォート型処理を行うようにするために、ハンドシェイク転送モードで動作するようにする（ステップＳ２０３）。

このステップＳ２０３の処理は、受信制御部６２ではＨＳ（ハンドシェイク）受信制御部６２２が機能するようにし、外部端子機能セレクタ６３は、ＨＳ受信制御部６２２と送信デバイス５０とを接続するようにして、受信バッファ６５に空き容量がある場合に、送信デバイスにＲＤＹ信号を送信し、これに応じて送信デバイス５０から送信されてくる静止画像データを、送信デバイスからのＶＡＬＩＤ信号に基づいて受信できるようにする。

そして、ステップＳ２０２の処理の後、または、ステップＳ２０３の処理の後においては、ステップＳ２０２において選択された同期転送モードにより、あるいは、ステップＳ２０３において選択されたハンドシェイク転送モードにより、フレーム単位にライン毎のデータの受信処理を開始する（ステップＳ２０４）。そして、送信対象の全画像データの受信が終了したか否かを判断する（ステップＳ２０５）。

ステップＳ２０５の判断処理において、送信対象の画像データの受信が終了していないと判断したときには、ステップＳ２０５からの処理を繰り返し、画像データの受信処理を続行する。ステップＳ２０５の判断処理において、送信対象の画像データの受信が終了したと判断したときには、この図１１に示す処理を終了する。

このようにして、図９に示したシステムにおいては、処理対象のデータに応じて、同期転送でデータを送受するか、ハンドシェイク転送でデータを送受するかを選択し、適切な転送モードで画像データを転送処理することができるようにされる。

なお、処理対象のデータに応じて、データの転送モードを切り替えるようにしたが、これに限るものではない。例えば、ユーザーの指示入力に応じてデータの転送モードを切り替えるようにしてもよい。例えば、ＤＶＤに記録された高品位の映像信号とマルチチャンネルの音声信号とからなる映画のＡＶデータを再生して試聴する場合には、同期転送モードに切り替えるようにし、デジタルスチルカメラで撮影した多数の静止画像を一定時間ずつ表示して観賞できるようにするいわゆるスライドショー再生の場合には、ハンドシェイク転送モードに切り替えるようにすることが考えられる。

もちろん、通常は、動画像データであっても静止画像データであってもハンドシェイク転送モードを用いてデータ転送を行うようにするが、例えば、何らかの影響により正常な再生ができない場合に、同期転送モードに切り替えるようにするなどのことも可能である。

なお、この変形例のシステムも、受信側がＲＤＹ信号を送出するシステムとして構成したが、これに限るものではない。図３を用いて説明した送信側がＲＤＹ信号を送出するシステムで構成することももちろん可能である。

［同期転送とハンドシェイク転送のメモリアクセス要求優先度と処理タイミングについてのまとめ］
従来、同期転送方式でデータの転送が行われるのは、例えば図１に示したカメラシステムの場合であれば、撮像センサＩ／Ｆ部３とセンサＩ／Ｆ部（画像入力部）４０１との間、および、表示処理部（画像出力部）４０６と表示処理ＬＳＩ５との間である。

そして、同期転送、ハンドシェイク転送に関係なく、データの転送動作にはメモリが介在するのが普通である。すなわち、送信側では、転送するデータをメモリから読み出して各種処理後、送信バッファに蓄えるし、受信側では、転送されてきたデータを受信して受信バッファに蓄え、そのデータに各種処理を行い、メモリに書き込む。

メモリへのアクセスの帯域は、メモリのバス幅、動作クロック等で決定されるが、当然ながら有限の値を持っている。上述もしたように、同期転送は、転送しなければならないデータ量が予め決まっており、処理部からメモリへのアクセスをＷＡＩＴ（待機）させることが許されない。そのため、同期転送時に使用される処理部のメモリアクセスチャンネルのアクセス要求の優先度は、最上位になるのが普通である。

ハンドシェイク転送の処理部は、メモリアクセスが待たされても動作が可能なので、一般にそのメモリアクセスチャンネルの優先度はリアルタイム優先度よりも下位の優先度になる。リアルタイムより下位の優先度としては、ある時間単位（例えば、１／６０秒等）で最低限の帯域を保証したフレームレートの優先度や、何の保証もないベストエフォートの優先度などがある。

メモリの全帯域からリアルタイム転送で使用される帯域を除いた帯域で目的の転送が時間内に可能であればフレームレート転送ということになり、それより下位であれば、何の保証もできないだけで、両者は、本質的に同じベストエフォートと言って差し支えない。ベストエフォート優先度の中に優先度の序列が存在するだけである。したがって、リアルタイム優先度（リアルタイム転送）とベストエフォート優先度（ベストエフォート転送）の２種に大別できる。

ベストエフォート優先度のアクセス要求とリアルタイム優先度のアクセス要求が重なった場合、リアルタイム優先度の方が上位なので優先される。リアルタイム優先度の要求も、それぞれの処理部にデータバッファを搭載しているので、随時連続というわけではないので、バスを占有することはなく、リアルタイム優先度のアクセス要求の隙間を縫って、ベストエフォート優先度のアクセス要求も受理され、処理される。

このため、図１に示した撮像センサＩ／Ｆ部３とセンサＩ／Ｆ部（画像入力部）４０１との間、および、表示処理部（画像出力部）４０６と表示処理ＬＳＩとの間において同期転送方式を用いたのでは、上述したように、（１）処理部の完全並列動作が困難、（２）帯域（処理能力）のオーバースペック、（３）システム設計の複雑さなどの問題点を生じさせてしまう。また、同期転送方式を用いた場合には、上述したように、（Ａ）同期転送のため、基準タイミングを待たなければ転送できない。（Ｂ）同期転送のため、単位時間内には、規定されたサイズの画像１枚だけの転送しかできないといった制約も受けてしまう。

しかし、図１に示したカメラシステムのように、動画像データを処理するいわゆる動画転送システムにおいては、単位時間に決まった量のデータが転送できればよいだけで、その単位時間内の一部の時間帯に集中してデータの転送を行う必要はない。すなわち、動画転送システムにおいては、入力された動画像データを逐次かつ順次に処理し、単位時間の中で均等に処理を行い、単位時間の中で全ての処理が完了できればよい。すなわち、動画像データの転送に当たっても、リアルタイム転送は必要絶対条件ではなく、動画転送システムをフレームレート転送で構成できればよい。

そこで、図１〜図１１を用いて説明したように、動画像データの送信と受信とを行う動画転送システムであって、送信と受信との双方において、同期転送を用いることなく、ハンドシェイク転送を用いることによって、単位時間に決まったデータ量の転送ができる帯域の保証ができるシステムを構成するようにしているのが、上述した実施の形態の図１に示したカメラシステム、図９に示した映像機器である。このように、従来、同期転送であった部分をハンドシェイク転送にすることにより、動画データの入出力のためのデータ転送要求の優先度を下げることができる。

すなわち、図１に示したこの実施の形態のカメラシステムにおいては、撮像素子部２からの画像データの読み出しや、表示処理ＬＳＩ５への画像データの出力等、従来、同期転送で転送されていて、メモリアクセスがリアルタイム優先度であるものについては、同期転送ではなく、全てハンドシェイク転送（ベストエフォートアクセス）で行うようにしている。つまり、図１に示したカメラシステムの場合、同期転送を行う部分がＬＳＩ内の転送にも、ＬＳＩ間にも存在せず、全て、ＷＡＩＴ（待機）可能な処理部のみで構成されている。

そして、バス自体の帯域は、バス幅、動作クロック等で、単位時間当たりに必要なメモリアクセスの総数を問題なく行える帯域保証がされている。ここで、単位時間は、例えばテレビジョン信号方式に応じて、１／６０秒（ＮＴＳＣ方式の場合）、あるいは、１／５０秒（ＰＡＬ方式の場合）のように定められる。

これにより、図１に示したカメラシステムの信号処理ＬＳＩ４において、動画像データの入力と出力とをライン開始基準信号ＨＤによって規定される水平区間毎に完結するようにようにするが、同期転送を用いることなく、ハンドシェイク転送によって適切に入力と出力とを行うようにすることができるのである。

これらのことは、図９に示した一般的な映像機器にも同様にいえる。すなわち、例えば図９に示したような、送信もしくは受信の片方しか持たないシステムについては、それぞれその部分の同期転送をハンドシェイク転送にしたシステム構成にする。表示デバイス等、同期転送の規格に合わせていた画像入力部は、ハンドシェイク機能を持った入力部にする。

また、図１に示したカメラシステムにおいて、撮像素子部２にフレームバッファを設けたように、図９に示した映像機器の信号処理ＬＳＩ７に動画像データを供給する例えばフロントエンド部等の供給元にフレームバッファ機能を持たせ、その出力を同期転送からハンドシェイク転送にすることにより、図９を用いて説明したように、動画像データの入力部分と出力部分との双方において、ハンドシェイク転送を行うようにすることができる。

［実施の形態の効果について］
これらのことからも明らかなように、図１に示したカメラシステムのように、撮像センサシステム等からの映像入力系に同期転送がない場合、特定の時間帯に集中したメモリアクセスをする必要がなくなる。全時間帯に渡り、均等なメモリアクセスを実現できる。この結果として、動画入力のためのデータ転送要求の優先度を下げることができ、動画データを転送するバスの利用効率を上げることができる。

また、図１に示したカメラシステムのように、表示システム等への映像出力系に同期転送がない場合、特定の時間帯に集中したメモリアクセスをする必要がなくなる。全時間帯に渡り、均等なメモリアクセスを実現することができる。この結果として、動画出力のためのデータ転送要求の優先度を下げることができ、動画データを転送するバスの利用効率を上げることができる。

また、図１に示したカメラシステムのように、システム内の処理部内のデータ転送系に同期転送がない場合、特定の時間帯に集中したメモリアクセスをする必要がなくなる。全時間帯に渡り、均等なメモリアクセスを実現できる。結果として、動画出力のためのデータ転送要求の優先度を下げることができ、動画データを転送するバスの利用効率を上げることができる。

すなわち、図１に示したカメラシステムの場合には、どの部分にも同期転送モードを用いないようにしたが、映像入力系、信号処理系、映像出力系のいずれか１箇所においても、同期転送でなくハンドシェイク転送を用いるようにした場合には、その部分におけるバスの利用効率を上げることができ、全体的なシステムにかかる負荷を軽減できる。

また、図１に示したカメラシステムのように、システム内に同期転送がない場合、リアルタイム優先度の処理部がなくなることにより、メモリアクセスの均等化がなされ、帯域見積もり等、システム設計の複雑さが少なくなり、構成、設計の難易度が改善される。

また、システム内に同期転送がない場合、リアルタイム優先度の処理部がなくなることにより、ＷＡＩＴ（待機）できない機能ブロックがなくなり、ハンドシェイク系処理部のみで構成でき、処理部のI/Fの共通化等、構成、設計の難易度が改善される。

また、システム内に同期転送がない場合、リアルタイム転送時の疎密の差が激しいアクセスにおける最大帯域保証ではなく、平滑化されたアクセスにおける帯域保証保証でよいので、より低い帯域保証で同じ性能が実現できるので、クロックを落とすなど、より少ない消費電力で設計可能となる。

また、ハンドシェイク転送なので、同期転送と異なり、同期タイミングであるフレーム開始基準信号ＶＤを待って転送する必要もなく、即時に転送開始が可能になるなど、転送のフレキシビリティが増加する。

また、割り込み等を用いて、１回のハンドシェイク転送の終了を感知し、単位時間内にサイズの小さい、サイズの異なる複数のデータを転送可能になるなど、転送のフレキシビリティが増加する。

また、同期転送とハンドシェイク転送の両方を実装し、その制御線を機能多重化により共通化すれば、端子数を増やすことなく、目的により、２種のモードの使い分けを行うことも可能となる。

なお、これらの効果については、図９を用いて説明した一般的な映像機器にこの発明を適用した場合にも、同様に奏することができる。

この発明の一実施の形態が適用されたカメラシステム（デジタルビデオカメラを説明するためのブロック図である。ハンドシェイク転送システム（受信側がＲＤＹ信号を出すシステムについて）について説明するためのブロック図である。ハンドシェイク転送システム（送信側がＲＤＹ信号を出すシステム）について説明するためのブロック図である。ハンドシェイク転送を用いてデータの転送が行われる場合の処理の様子を説明するための図である。図１に示したカメラシステムのハンドシェイク転送を行う部分の内、画像データを取り込む部分について説明するためのブロック図である。図１に示したカメラシステムのハンドシェイク転送を行う部分の内、画像データを出力する部分について説明するためのブロック図である。ハンドシェイク転送を用いたシステムのメモリへのアクセスの状態と同期転送を用いたシステムのメモリへのアクセスの状態とを説明するための図である。一般的な映像機器にこの発明を適用した場合について説明するためのブロック図である。同期転送とハンドシェイク転送とを切り替えるようにするシステムの構成例を説明するためのブロック図である。図９に示したように構成されるシステムの送信デバイス５０行われる基本的な処理について説明するためのフローチャートである。図９に示したように構成されるシステムの受信デバイス６０で行われる基本的な処理について説明するためのフローチャートである。同期転送方式が適用されて構成された従来の同期転送システムの基本的な例を説明するためのブロック図である。同期転送方式が用いられてデータが転送される場合の同期タイミングのイメージについて説明するための図である。

符号の説明

１…レンズ、２…撮像素子部２、３…撮像センサＩ／ＦＬＳＩ、３０１…ＬＳＩＩ／Ｆ部、４…信号処理ＬＳＩ、４０１…センサＩ／Ｆ部、４０２…検波処理部、４０３…画像処理部、４０４…解像度変換処理部、４０５…圧縮処理部、４０６…表示処理部、４０７…メモリコントローラ、４０８…伸張処理部、４０９…記録再生処理部、４１０…ＣＰＵ、４１１…同期信号生成部、４２１〜４２９…バスＩ／Ｆ、５…表示処理ＬＳＩ、５０１…表示処理部、６…表示デバイス、４Ｄ…汎用ＤＲＡＭ、４Ｍ…記録媒体

Claims

被写体像を撮像する撮像素子部と、
撮像した画像信号を出力する撮像素子インターフェイス部と、
前記画像信号に所定の信号処理を施す信号処理部と、
表示処理部とを備え、
前記撮像素子インターフェイス部から出力された前記画像信号を前記信号処理部に供給し、前記信号処理部において所定の信号処理を施した画像データを前記表示処理部に供給するカメラシステムにおいて、
前記撮像素子部と前記撮像素子インターフェイス部の間、前記撮像素子インターフェイス部と前記信号処理部の間、または前記信号処理部と表示処理部の間の少なくとも１箇所において、ハンドシェイク転送により画像データの送受を行うこと
を特徴とするカメラシステム。
請求項１に記載のカメラシステムであって、
画像データの送信側は、
送信バッファ手段と、
前記送信バッファ手段に記憶された画像データを受信側に送信する送信手段と、
前記送信バッファ手段の使用状態を監視すると共に、受信側と転送制御信号の送受を行い、前記転送制御信号に応じたタイミングで前記送信バッファ手段に記憶された画像データを送信するように前記送信手段を制御するハンドシェイク送信制御手段と
を備え、
画像データの受信側は、
送信側から送信されてくる画像データを受信する受信手段と、
前記受信手段で受信された画像データを保持する受信バッファ手段と、
前記受信バッファ手段の使用状態を監視すると共に、送信側と転送制御信号の送受を行い、前記転送制御信号に応じたタイミングで前記送信側からの画像データを受信するように前記受信手段を制御するハンドシェイク受信制御手段と
を備えることを特徴とするカメラシステム。
請求項２に記載のカメラシステムであって、
前記画像データの送信側は、
受信側にタイミング基準信号を送信すると共に、当該タイミング基準信号に応じたタイミングで前記送信バッファ手段に記憶された画像データを送信するように前記送信手段を制御する同期送信制御手段を備え、
前記画像データの受信側は、
前記送信側からのタイミング基準信号を受信すると共に、受信した前記タイミング基準信号に応じたタイミングで前記送信側からの画像データを受信するように前記受信手段を制御する同期受信制御手段を備え、
前記受信側と前記送信側とにおいて、同期転送により画像データの送受を行うこともできるようにされており、ハンドシェイク転送により画像データの転送を行うか、同期転送により画像データの転送を行うかを切り替えることができることを特徴とするカメラシステム。
請求項３に記載のカメラシステムであって、
前記送信側のハンドシェイク送信制御手段と前記受信側のハンドシェイク受信制御手段との間で送受される前記転送制御信号と、前記送信側の同期送信制御手段と前記受信側の同期受信制御手段との間で送受される前記タイミング基準信号とを同一の信号線路を通じて送受するように構成したことを特徴とするカメラシステム。
被写体像を撮像する撮像素子部と、
撮像した画像信号を出力する撮像素子インターフェイス部と、
前記画像信号に所定の信号処理を施す信号処理部と、
表示処理部とを備え、
前記撮像素子インターフェイス部から出力された前記画像信号を前記信号処理部に供給し、前記信号処理部において所定の信号処理を施した画像データを前記表示処理部に供給するカメラシステムで用いられるデータ伝送方法であって、
前記撮像素子部と前記撮像素子インターフェイス部の間、前記撮像素子インターフェイス部と前記信号処理部の間、または前記信号処理部と表示処理部の間の少なくとも１箇所において、ハンドシェイク転送により画像データの送受を行うこと
を特徴とするデータ伝送方法。
請求項５に記載のデータ伝送方法であって、
送信側と受信側との間で、転送制御信号を送受し、相互にデータのやり取りが可能な状態にあることが確認できたときに、前記転送制御信号に応じたタイミングで、送信側から受信側に画像データを転送するハンドシェイク転送により画像データを伝送するデータ伝送方法。
請求項６に記載のデータ伝送方法であって、
前記送信側と受信側との間においては、タイミング基準信号を送受すると共に、当該タイミング基準信号に応じたタイミングで画像データを送受する同期転送により画像データを伝送することもできるものであり、
ハンドシェイク転送により画像データの転送を行うか、同期転送により画像データの転送を行うかを切り替えることができることを特徴とするデータ伝送方法。
請求項７に記載のデータ伝送方法であって、
前記送信側と前記受信側とで送受される前記転送制御信号と前記タイミング基準信号とは、同一の信号線路を通じて送受することを特徴とするデータ伝送方法。