JP2002027315A

JP2002027315A - 動き検出装置及び動き検出方法

Info

Publication number: JP2002027315A
Application number: JP2000207368A
Authority: JP
Inventors: Junichi Sakagami; 順一坂上; Shigeru Mori; 繁盛
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-07-07
Filing date: 2000-07-07
Publication date: 2002-01-25

Abstract

(57)【要約】【課題】精度よく動き検出をする。【解決手段】ＣＣＤ部１１等ならかる撮像部は、非同
期のシャッターにより任意のタイミングで撮像を行う機
能と、撮像のための同期信号の一周期内において複数の
撮像を行う多重露光撮影により撮像を行う機能とを有し
ている。ゲーム制御部２２は、動き検出手段としての機
能により、ゲームプレーヤの動作前の撮影画像と、ゲー
ムプレーヤの動作後の撮影画像とを比較して、当該ゲー
ムプレーヤにおける動きを検出する。そして、ゲーム制
御部２２は、動き検出手段としての機能により検出した
動き検出結果に基づいてプログラムを実行する制御手段
としての機能も有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の画像に基づ
いて動き検出装置及び動き検出方法に関する。

【０００２】

【従来の技術】従来より複数の画像から被写体の動きを
検出する動き検出といった技術が提供されている。動き
検出は、画像を圧縮するため等として種々の技術に用い
ることができる。

【０００３】

【発明が解決しようとする課題】ところで、ゲーム装置
は、複数のボタンやいわゆるジョイスティック等の入力
装置（入力部）を備えており、使用者（ゲームプレー
ヤ）がゲーム装置に設けられているボタンやいわゆるジ
ョイスティック等の入力装置を操作することにより情報
の入力がなされていた。

【０００４】近年、電子ゲームの進化に伴い、従来のジ
ョイスティックと幾つかのボタンによる入力だけでは、
使用者の興味を獲得できなくなってきた。そのような環
境下で、例えば釣りをするゲームであれば本物の釣り道
具を模した入力装置を、また、例えば楽器を使うゲーム
であれば楽器を模した入力装置を大型筐体として業務用
に訴求されることが多くなった。

【０００５】しかし、大型筐体の利用は、基本的に新し
い種類のゲームを導入する度に導入しなおすために導入
コストがかさむ、ゲーム開発の度にハードから開発しな
おす必要がある、家庭用ゲーム装置に移植する際に新た
な入力装置を家庭用に広く普及させる必要がある等のデ
メリットがある。

【０００６】また、ダンスをシミュレーションするゲー
ム等の流行により、使用者が体全体を使って楽しむゲー
ムが今後普及していくものと思われる。しかし、このよ
うなダンスをシミュレーションするゲームの入力装置
（入力部）は、使用者の体の動きをステップの動き等の
部分的な動きに置き換えて入力がなされており、体全体
の動きそのものを捉えた入力装置とはなっていない。さ
らに、使用者の体全体の動きを、当該使用者の足のステ
ップ等の部分的な動きに置き換えるような入力装置は、
構造上人間に比べて充分大きな装置が必要とされ、必然
的に大型筐体を構成することとなり、これにより、家庭
用に転用する際の障壁になっていた。

【０００７】一方、非接触で使用者の目標部位の位置を
検知するシステムは存在する。例えば、赤外線を用いた
装置や、超音波を用いた装置が存在する。しかし、赤外
線を用いた装置は、予め設置された複数の赤外線発生装
置からの赤外線を受けて干渉縞を検出することにより位
置並びに動きを特定するために、使用者が赤外線センサ
ー並びに通信手段を携帯若しくは装着する必要があっ
た。また、超音波を用いた装置は、予め設置された複数
の超音波センサーが受ける反射波を測定することにより
位置並びに動きを特定するために、使用者が超音波発信
機並びに通信手段を携帯若しくは装着する必要があっ
た。

【０００８】以上のように、従来型のユーザーインター
フェース技法として、上述したメカニカルな接触型イン
ターフェースを介したＧＵＩ（Graphical User Interfa
ce）やデスクトップ・メタファといった概念があるが、
上述したように種々の問題がある。

【０００９】このようなことから、ユーザーインターフ
ェースとして動き検出を利用することが考えられる。例
えば、ゲームプレーヤを撮像して、その撮影画像から動
き検出によりゲームプレーヤの動きを検出して、その検
出結果を利用してゲームを実行するといったようにであ
る。しかし、過渡的動作或いは素早い動作をゲームプレ
ーヤに要求するようなゲームでは、通常の動き検出では
検出精度が悪く、これでは、ゲームプレーヤの意思をゲ
ームに反映させることはできない。

【００１０】そこで、本発明は、上述の実情に鑑みてな
されたものであり、精度よく動き検出できる動き検出装
置及び動き検出方法を提供することを目的としている。

【００１１】

【課題を解決するための手段】本発明に係る動き検出装
置は、上述の課題を解決するために、非同期のシャッタ
ーにより任意のタイミングで撮像を行う撮像部と、撮像
部から出力された時間的に異なる撮影画像を比較して動
き検出をする動き検出手段とを備えている。

【００１２】このような構成を備えた動き検出装置は、
非同期のシャッターにより任意のタイミングで撮像を行
う撮像部から出力された時間的に異なる撮影画像を比較
して動き検出を動き検出手段により行う。これにより動
き検出装置は、任意のタイミングにより撮像された撮影
画像に基づいて動き検出をする。

【００１３】また、本発明に係る動き検出方法は、上述
の課題を解決するために、非同期のシャッターにより任
意のタイミングで撮像を行う撮像工程と、撮像工程にて
出力された時間的に異なる撮影画像を比較して動き検出
をする動き検出工程とを有する。これにより動き検出方
法は、任意のタイミングにより撮像された撮影画像に基
づいて動き検出をする。

【００１４】また、本発明に係る動き検出装置は、上述
の課題を解決するために、撮像のための同期信号の一周
期内において複数の撮像を行う多重露光撮影により撮像
を行う撮像部と、撮像部にて一周期内において撮像され
た時間的に異なる撮影画像を比較して動き検出をする動
き検出手段とを備える。

【００１５】このような構成を備えた動き検出装置は、
撮像部により、撮像のための同期信号の一周期内におい
て複数の撮像を行う多重露光撮影により撮像を行い、撮
像部にて一周期内において撮像された時間的に異なる撮
影画像を比較して動き検出を動き検出手段により行う。
これにより動き検出装置は、撮像のための同期信号の周
期より短い時間間隔で撮像された撮影画像に基づいて動
き検出をする。

【００１６】また、本発明に係る動き検出方法は、上述
の課題を解決するために、撮像のための同期信号の一周
期内において複数の撮像を行う多重露光撮影により撮像
を行う撮像工程と、撮像工程にて一周期内において撮像
された時間的に異なる撮影画像を比較して動き検出をす
る動き検出工程とを有する。これにより動き検出方法
は、撮像のための同期信号の周期より短い時間間隔で撮
像された撮影画像に基づいて動き検出をする。

【００１７】

【発明の実施の形態】以下、本発明に係る実施の形態を
図面を用いて詳しく説明する。先ず第１の実施の形態
は、本発明が適用された動き検出手段を備えているエン
タテインメント装置とされるゲーム装置である。例え
ば、ゲーム装置が実行するゲームの内容としては、使用
者の体の動きによりキャラクターの動きを制御するよう
なものがある。

【００１８】図１に示すように、第１の実施の形態のゲ
ーム装置１の外観は、筐体２、画像が出力される画像表
示部３、撮像部４及びスピーカ５を備えて構成されてい
る。このゲーム装置１は、例えばいわゆるゲームセンタ
ー等に配置されるようなゲーム装置である。このゲーム
装置１の筐体２は、その大きさが業務用の大型筐体程度
とされている。そして、この筐体２の前面２ａの上側
に、画像表示部３が取り付けられている。画像表示部３
には、ゲームの内容であるアニメーション画像等が出力
される。また、この筐体２の前面２ａかつ画像表示部４
の下側であって、筐体２の前面２ａの略中央に位置され
るように撮像部４が取り付けられている。撮像部４は、
例えば、撮像素子としてＣＣＤ（Charge Coupled Devic
e）が採用されて構成されている。

【００１９】このようなゲーム装置１は、撮像部４によ
り撮影した撮影画像から動き検出をすることで使用者１
０００の動きを検出して、その動き検出結果を使用者か
らの入力情報として得ている。ゲーム装置１は、入力情
報に基づいて、例えば、画像表示部３に表示されるキャ
ラクターの動きを変化させている。例えば、このゲーム
装置１により実行されるゲームは、使用者の動きに応じ
てキャラクターが動作するダンス判定ゲーム等である。

【００２０】このゲーム装置１の回路構成は、図２に示
すように、レンズ部１０、固体撮像素子とされるＣＣＤ
（Charge Coupled Device）部或いはＣＣＤイメージャ
ー（Imager）１１、Ｓ／Ｈ部１２、ＡＧＣ部１３、Ａ／
Ｄ部１４、信号処理部１５、ＴＧ部１６、撮像駆動部１
８、撮像制御部１８、ＳＤＲＡＭ１９、メインメモリ２
０、機械的ＩＦ（インターフェース）部２１、ゲーム制
御部２２、表示生制御部２３、ＲＯＭ２４、画像処理部
２５、フレームメモリ２６及び画像表示部３を備えてい
る。

【００２１】このような構成からなるゲーム装置１にお
いて、ＣＣＤ（Charge Coupled Device）部或いはＣＣ
Ｄイメージャー（Imager）１１、Ｓ／Ｈ部１２、ＡＧＣ
部１３、Ａ／Ｄ部１４、信号処理部１５、ＴＧ部１６、
撮像駆動部１８、撮像制御部１８及びＳＤＲＡＭ１９か
ら撮像部４が構成され、ゲーム制御部２２は、撮像部４
から出力された時間的に異なる撮影画像を比較して動き
検出をする動き検出手段として機能する。

【００２２】具体的には、撮像部４は、非同期のシャッ
ターにより任意のタイミングで撮像を行う機能と、撮像
のための同期信号の一周期内において複数の撮像を行う
多重露光撮影により撮像を行う機能とを有している。こ
のような機能については後で詳述する。一方、ゲーム制
御部２２は、動き検出手段としての機能により、ゲーム
プレーヤの動作前の撮影画像と、ゲームプレーヤの動作
後の撮影画像とを比較して、当該ゲームプレーヤにおけ
る動きを検出する。そして、ゲーム制御部２２は、動き
検出手段としての機能により検出した動き検出結果に基
づいてプログラムを実行する制御手段としての機能も有
する。

【００２３】このようなゲーム装置１において、レンズ
部１０を介して入力されてくる撮像された像は、固体撮
像素子とされるＣＣＤ部１１にて光電変換される。例え
ば、撮像素子は、ＣＣＤイメージにより構成されている
ことに限定されるものではなく、例えば、ＣＭＯＳセン
サー等といった他の撮像素子により構成することもでき
る。ＣＣＤ部１１にて光電変換された画像信号は、Ｓ／
Ｈ部１２にてサンプルホールドによりサンプリングさ
れ、続いてＡＧＣ部１３にて利得の調節がなされて、Ａ
／Ｄ部１４に入力される。ここで、ＣＣＤ部１１からの
画像信号の読み出しタイミングやＳ／Ｈ部１２における
処理タイミングは、ＴＧ部１６からの読み出しタイミン
グ信号によって制御されている。

【００２４】Ａ／Ｄ部１４では、入力された撮像信号は
量子化される。Ａ／Ｄ部１４にて量子化された画像情報
は信号処理部１５にて一般的なカメラ信号処理が施され
て、情報記憶部とされるＳＤＲＡＭ１９に格納される。
例えば、画像情報が記憶される情報記憶部は、ＳＤＲＡ
Ｍ１９に限定されるものではなく、他の揮発性記憶手段
であってよい。ＳＤＲＡＭ１９に格納された画像は、ゲ
ーム制御部２２の要求に応じて撮像制御部１８にてスト
リームにされて、ゲーム制御部２２を介してメインメモ
リ２０に転送される。

【００２５】ここで、撮像制御部１８は、ゲーム装置１
の各部を制御する機能を有している。例えば、撮像制御
部１８は、撮像駆動部１７を制御してレンズ部１０を駆
動させ、絞り、ズーム、フォーカス等の制御を行う。

【００２６】ゲーム制御部２２は、ＳＤＲＡＭ１９から
ストリームとして転送された画像を画像処理して動き検
出を行う。具体的には、ゲーム制御部２２は、次のよう
に動き検出を行う。なお、ゲーム制御部２２と撮像制御
部１８とは、同一のプロセッサとして構成されていても
よい。

【００２７】ゲーム制御部２２は、転送された画像を画
像処理して、予め決められている使用者のターゲットと
なる特徴点を抽出（認識）する。例えば、ゲーム制御部
２２は、自動認識により特徴点を認識する。自動認識に
よる特徴点の認識とは、後で詳述するが、例えば、使用
者に特徴点とされる腕の動作を、音声出力や画像表示に
より要求して、その要求により使用者において動作した
部分を特徴点として認識するようなものである。ここ
で、認識される特徴点としては、例えば、腕、足等の人
間が動作可能とされる部分である。また、例えば、特徴
点は、ゲームの趣旨によって決定されている。以下の説
明では、特徴点を腕とした場合について説明する。

【００２８】次に、ゲーム制御部２２は、上述のように
して抽出した使用者の腕（特徴点）の座標を記憶する。
そして、ゲーム制御部２２は、次々に転送されてくる画
像、すなわち撮像部４にて撮像されている画像につい
て、上述した処理を繰り返す。これにより、ゲーム制御
部２２は、腕が振られているときには、次々転送されて
くる画像から、振られているために位置が変化する腕を
特徴点として抽出して、その座標を検出していく。

【００２９】それから、ゲーム制御部２２は、そのよう
にして処理して得ることにより時系列とされた特徴点の
座標を統計し、分析することにより、動き検出を行う。
この動き検出により、使用者の特徴点である腕の動きが
検出される。

【００３０】例えば、動き検出は多重露光撮影により行
う。多重露光撮影については、特開平9-247556号公報に
開示されている技術があり、後で詳述するが、概略は次
のようになる。

【００３１】使用者の動き検出をする場合、多重露光撮
影により、図３に示すような撮影画像１００１を得るこ
とができる。撮影画像１００１には、多重露光撮影によ
り、同一の撮影画像内に二重となって腕１００１₁，１
００１₂が示されている。多重露光撮影を利用した動き
検出では、このような多重露光撮影により得た前後の腕
の位置から動き検出を行っている。

【００３２】ゲーム制御部２２が検出した使用者の特徴
点の動きは、機械的ＩＦ部２１からの制御信号と共に、
制御信号として扱われ、ゲームに対する使用者からの入
力信号（入力情報）として取り扱われる。そして、ゲー
ム制御部２２は、入力信号が含まれる制御信号を基にビ
デオゲームを実行し、使用者の動きに依存して動くキャ
ラクターをモニター等の画像表示部３に表示する。すな
わち、ゲーム制御部２２は、動き検出結果を制御信号に
含めて、動きを伴うキャラクターの画像表示部３への表
示にその動き検出結果を利用している。

【００３３】なお、ＲＯＭ２４には、ゲームを実行する
ためのプログラム等が記憶されている。また、画像処理
部２５は、画像処理を行う部分であって、例えば、後述
するように、画像処理としてのクロマキー処理等を行
う。

【００３４】以上のように、第１の実施の形態のゲーム
装置１は、腕等の使用者の特徴点の動きを検出して、そ
れに応じて動作するキャラクターを画像表示部３に表示
することができる。

【００３５】これにより、ゲーム装置１は、現実世界の
情報であるゲームプレーヤ（使用者）の体の動き入力情
報として仮想物体に反映させることができる。よって、
ゲーム装置１は、ゲームプレーヤの動きをよりリアルに
仮想世界にリンクさせて表現することができるので、よ
りリアルな仮想現実をゲーム上で実現することができ
る。

【００３６】例えば、ゲーム装置１は、ゲームプレーヤ
の手足の動きを動き検出してゲームを制御することによ
り、ゲームプレーヤの手足の動きに合わせて仮想世界の
キャラクターが踊り採点されるようなダンスシミュレー
ションゲーム（例えば、ダンス判定ゲーム）をより高い
嗜好性で実現できる。

【００３７】また、ゲーム装置１は、ゲームプレーヤの
手の動きを動き検出してゲームを制御することにより、
ゲームプレーヤの手の動きに合わせて仮想キャラクター
が釣りをするような釣りシミュレーションゲームをより
高い嗜好性で実現できる。

【００３８】また、ゲーム装置１は、ゲームプレーヤの
眼球の動きを動き検出してゲームを制御することによ
り、ゲームプレーヤの目の動きに合わせて画面をスクロ
ールさせるようなゲームをより高い嗜好性で実現でき
る。

【００３９】また、ゲーム装置１は、ゲームプレーヤの
体の動きを動き検出してゲームを制御することにより、
ゲームプレーヤの体の動きに合わせて仮想キャラクター
を動かすようなアクションゲームをより高い嗜好性で実
現できる。

【００４０】また、ゲーム装置１は、ゲームプレーヤの
動き情報を記憶装置で記憶することにより、実在する自
分の動きを仮想空間に持ち込むことで、より効果的に仮
想世界を演出できる。例えば、ゲーム装置１は、ゲーム
プレーヤの歩き方で仮想キャラクターを歩かせること
で、より効果的に仮想世界を演出できるようになる。

【００４１】なお、撮像制御部１８は、図４に示すよう
な手順により処理を行う。撮像制御部１８は撮影条件を
常に監視して、ステップＳ１において、その撮影条件が
適正が否かの判別をする。撮像制御部１８は、撮影条件
が適正でないと判断した場合、ステップＳ２において、
ただちに絞り（Iris）、ズーム（Zoom）、フォーカス
（Focus）の撮像駆動部１７、ＴＧ部１６、ＡＧＣ部１
３及び信号処理部１５を制御して、撮影条件を調整す
る。

【００４２】一方、撮像制御部１８は、ステップＳ１に
おいて、撮影条件が適正であると判断した場合、ステッ
プＳ３において、動き検出の要求があるか否かを判別す
る。ここで、撮像制御部１８は、動き検出の要求があっ
た場合、ステップＳ４において、撮影画像の出力（取
得）処理を行う。また、動き検出の要求がない場合に
は、上述のステップＳ１における撮影条件が適正か否か
の判別処理をする。すなわち、ステップＳ１とステップ
Ｓ３の判別処理により、動き検出の要求がなされるま
で、撮像条件が最適化されるような処理がループとして
実行される。

【００４３】なお、上述の例では、動き検出の要求がな
された場合に撮影画像を取得することについて説明して
いるが、動き検出の要求がない場合においても、撮影画
像を取得できることはいうまでもない。

【００４４】次に、第１の実施の形態のゲーム装置１に
おける動き検出の具体例を挙げて説明する。例えば、ゲ
ーム装置１は、図５に示すように、ベクトル演算ユニッ
ト２７を備えて、このベクトル演算ユニット２７により
ベクトル演算して画像から使用者の動きを動きベクトル
として検出している。

【００４５】なお、図５に示すゲーム装置では、ゲーム
制御部２２は、メインメモリ２０、機械的Ｉ／Ｆ部２
１、ＲＯＭ２４、画像処理部２５及びフレームメモリ２
６とバス２８を介して接続されている構成となっている
が、図５に示すゲーム装置と図２に示すゲーム装置と
は、基本的には同様な処理を行う。また、上述の例で
は、ゲーム制御部２２が動き検出をする機能を有してい
る場合について説明しており、本例のように、動き検出
手段としてベクトル演算ユニット２７を備えたような場
合には、ゲーム制御部２２は、動き検出をする機能を有
する必要はなくなる。

【００４６】この図５に示すゲーム装置１において、ベ
クトル演算ユニット２７は、現フレームにて撮像したフ
レームと、メインメモリ２０に記憶されている前のフレ
ームで撮影した画像とからベクトル場を計算する。そし
て、ベクトル演算ユニット２７は、このベクトル場から
特徴点を抽出して、対応するベクトル場を追いかけるこ
とにより、動き検出を行う。そして、ゲーム制御部２２
は、ベクトル演算ユニット２７による動き検出結果を、
上述したように機械的Ｉ／Ｆ２１からの制御信号共にし
て、制御信号をとして扱い、使用者の入力信号として扱
う。

【００４７】図６には、撮影画像が入力されてから、ベ
クトル演算ユニット２７による動き検出がなされるまで
の一連の処理手順を示している。

【００４８】ゲーム装置１は、ステップＳ１１におい
て、撮影画像が入力されたか否かを判別する。ゲーム装
置１は、撮影画像が入力されるまでこのステップＳ１１
における処理を行う。そして、ゲーム装置１は、ステッ
プＳ１１において撮影画像が入力された場合、ステップ
Ｓ１２〜ステップＳ１５の一連の処理を行う。

【００４９】ゲーム装置１は、ステップＳ１２におい
て、目標の特徴点（ターゲット）を抽出する。そして、
ゲーム装置は、続くステップＳ１３において、目標の特
徴点の座標を記憶する。例えば、目標の特徴点の座標
は、位置データとして記憶される。

【００５０】そして、ゲーム装置１は、続くステップＳ
１４において、特徴点が動くことにより得られた時系列
の特徴点の座標から、動きベクトルを算出する。例え
ば、動きベクトルは、目標の特徴点の座標が時系列の統
計結果として導き出される。そして、ゲーム装置１は、
続くステップＳ１５において、算出した動きベクトルか
らノイズ分を除去し、その動きベクトルを制御信号とし
て、動きを伴うキャラクターの表示に利用する。例え
ば、ノイズ分の除去は、高周波のノイズ成分の除去によ
り行われる。

【００５１】なお、ステップＳ１１における撮影画像の
入力の判別は処理上必須ではなく、撮影画像の入力の判
別過程なしに、ステップＳ１２以降の動き検出等の処理
を行うこともできる。

【００５２】また、動き検出は、図６に示した一連の処
理により実行されることに限定されるものではない。動
き検出は、図７に示すような処理によりなされてもよ
い。図７に示す処理は次のようにしてなされる。

【００５３】ゲーム装置１は、ステップＳ２１におい
て、撮影画像が入力されたか否かを判別する。ゲーム装
置１は、撮影画像が入力されるまでこのステップＳ２１
における処理を行う。そして、ゲーム装置１は、ステッ
プＳ２１において撮影画像が入力された場合、ステップ
Ｓ２２〜ステップＳ２８の一連の処理を行う。

【００５４】ベクトル演算ユニット２７は、ステップＳ
２２において、画素値の濃度曲面を算出し、続くステッ
プＳ２３において、画像全体の動きを検出して統計処理
する。これにより、ぶれを抽出して補正をする。そし
て、ベクトル演算ユニット２７は、続くステップＳ２４
において、補正後の画像を格子状のブロックに分け、各
々のブロック毎に動きベクトルを抽出することでベクト
ル場を算出する。ベクトル場の概念は、図８に示すよう
になる。ベクトル場の算出では、先ず、濃度曲面を基準
として、現フレームと前フレームとの差分をとり、濃度
の変化を求める。そして、再び現フレームに対してその
濃度の変化を乗算することにより、当該濃度曲面に関し
ての動きベクトル場を算出する。図９を用いて濃度変化
から動きベクトルを算出する手順の概要について説明す
る。

【００５５】ここで提案している動き検出の手法はオプ
ティカルフローを応用した相関を用いて行うものであ
る。先ず、時間ｔが０から１に遷移するにあたり、濃度
Ｑが位置Ｘに対してガウス分布しており、その中心がｔ
＝０の時にはＸ＝１の位置にあり、ｔ＝１の時にＸ＝２
の位置に移動するような濃度変化を想定してみる。本提
案では、Ｘ＝１，２，３という基本セルでの濃度遷移か
ら動きを検出するため、その中間の位置では濃度がサン
プルできないと仮定し、各基本セル毎に濃度遷移に対応
した動きベクトルを出力することを目的としている。こ
こでは、Ｘ＝２の位置における動きベクトルＶ_X を例に
計算してみる。

【００５６】先ず、ｔ＝１の時のＸ＝２の位置における
Ｘ軸に正方向の動きに対する相関をＣ２，１とすると、
それはサンプリングレートＸ＝１刻みに対しての動きと
の相関が最大にならなくてはならないため、ｔ＝０の時
のＸ＝１の位置での濃度Ｑ_1, ₀と、ｔ＝１の時のＸ＝２
の位置での濃度Ｑ_2,1との相関を中心に計算する必要が
ある。故に本提案では、Ｃ_2,1＝Ｑ_1,0×Ｑ_2,1としての
相関を算出している。また同様に、ｔ＝１の時のＸ＝２
の位置におけるＸ軸に負方向の動きに対する相関をＣ
_2,3とすると、それはＣ_2,3＝Ｑ_3,0×Ｑ_2,1として算出で
きる。そして、最後にＸ＝２の位置における動きベクト
ルＶ_Xを相関値Ｃ_2,1−Ｃ_2,3として計算することができ
る。

【００５７】一般にゲーム機では、ベクトル演算に特化
した演算処理装置をハードとしてもち、高速に処理でき
るため、上記のようなベクトル演算に焼き直し易い相関
の算出での動き検出が有効である。以上が濃度変化から
動きベクトルを算出する場合の概略である。

【００５８】続いて、ベクトル演算ユニット２７は、ス
テップＳ２５において、ベクトル場をその隣接のベクト
ル場と比較し、連続した類似ベクトルをまとめることに
より物体を抽出する。

【００５９】そして、ベクトル演算ユニット２７は、ス
テップＳ２６において、抽出した物体についてパターン
マッチングと追跡判定を施すことにより特徴点を認識す
る。そして、ベクトル演算ユニット２７は、ステップＳ
２７において、特徴点の座標遷移から動きベクトルを算
出する。ベクトル演算ユニット２７は、最後に特徴点の
動きベクトルを制御信号に変換し、ゲームへの入力情報
として利用する。

【００６０】ゲーム装置１は、図７に示すような手順で
ベクトル演算ユニット２７を用いて特徴点を抽出するこ
とにより、色や特別な投光等に頼ることなどをせずに、
負荷をかけないで、高精度にリアルタイムの動き検出を
することができる。

【００６１】以上、第１の実施の形態のゲーム装置１の
説明である。次に第２の実施の形態について説明する。
この第２の実施の形態は、本発明を、家庭用のゲームシ
ステムに適用したものである。この第２の実施の形態の
ゲームシステムは、図１０に示すように、モニター４
０、ゲーム装置５０及びカメラ一体型ビデオ装置６０を
備えている。

【００６２】ここで、モニター４０は画像表示手段であ
り、ゲーム装置５０は家庭用のゲーム装置であって、所
定のプログラムに従って処理することにより、ゲームを
実行する処理手段であり、カメラ一体型ビデオ装置６０
は撮像手段である。例えば、ゲーム装置５０とカメラ一
体型ビデオ装置６０とは、無線通信又は有線通信により
データの送受信を行うことができる。モニター４０、ゲ
ーム装置５０及びカメラ一体型ビデオ装置６０は、図１
０に示すように、それぞれが一般的に普及している外観
を有している。

【００６３】この第２の実施の形態のゲームシステム
は、モニター４０、ゲーム装置５０及びカメラ一体型ビ
デオ装置６０により、上述した第１の形態のゲーム装置
１の処理内容と同様な処理を行うことができる。すなわ
ち、第２の実施の形態において、モニター４０は、ゲー
ム装置１の画像表示部３に対応した処理を行い、ゲーム
装置５０は、上述のゲーム装置１における動き検出等に
対応した処理を行い、カメラ一体型ビデオ装置６０は、
上述のゲーム装置１における撮像部４に対応した処理を
行う。

【００６４】このゲームシステムを構成する各装置の回
路構成は、図１１に示すようになっている。前述したよ
うに、第２の実施の形態のゲームシステムは、第１の実
施の形態のゲーム装置１と同様な処理を行うことから、
基本的には、第１の実施の形態のゲーム装置と構成部分
を共通にすることができる。よって、第１の実施の形態
のゲーム装置と共通する構成部分については、同一番号
を付して説明する。なお、当然のことながら、第１の実
施の形態のゲーム装置と共通な構成部分であっても、第
２の実施の形態のゲームシステムに適応して独自に構成
することができることはいうまでもない。

【００６５】このゲームシステムにおける処理は、基本
的には、第１の実施の形態のゲーム装置と同様な処理を
行うようになっており、概略として次のように行う。

【００６６】カメラ一体型ビデオ装置６０において、レ
ンズ部１０を介して入力されてくる撮像された像は、Ｃ
ＣＤ部１１にて光電変換される。ＣＣＤ部１１にて光電
変換された画像信号は、Ｓ／Ｈ部１２にてサンプルホー
ルドによりサンプリングされ、続いてＡＧＣ部１３にて
利得調節されて、Ａ／Ｄ部１４に入力される。ここで、
ＣＣＤ部１１からの画像信号の読み出しタイミングやＳ
／Ｈ部１２における処理タイミングは、ＴＧ部１６から
の読み出しタイミング信号によって制御されている。

【００６７】Ａ／Ｄ部１４では、入力された撮像信号は
量子化される。Ａ／Ｄ部１４にて量子化された画像情報
は信号処理部１５にて一般的なカメラ信号処理が施され
て、情報記憶部とされるＳＤＲＡＭ１９に格納される。
ＳＤＲＡＭ１９に格納された画像は、ゲーム制御部２２
の要求に応じて撮像制御部１８にてストリームとされ
て、ゲーム制御部２２を介してメインメモリ２０に転送
される。

【００６８】カメラ一体型ビデオ装置６０は、Ｉ／Ｆ部
６１を備えており、このＩ／Ｆ部６１を介してゲーム装
置５０との間でデータ通信を行う。対応するゲーム装置
５０は、Ｉ／Ｆ部５１を備えており、このＩ／Ｆ部５１
を介してカメラ一体型ビデオ装置６０のＩ／Ｆ部６１と
の間でデータ通信を行う。例えば、カメラ一体型ビデオ
装置６０のＩ／Ｆ６１と、ゲーム装置５０のＩ／Ｆ部５
１とは、無線通信或いは有線通信によりデータ通信を行
うことができる通信手段である。

【００６９】上述した第１の実施の形態のゲーム装置１
については、撮像制御部１８とゲーム制御部２２とは例
えば信号線により接続されており、このようなことから
Ｉ／Ｆ部５１，６１は、第２の実施の形態のゲームシス
テムにおける特有の構成となる。

【００７０】カメラ一体型ビデオ装置６０からの画像デ
ータ等が送信されてくるゲーム装置５０では、ゲーム制
御部２２にて、ＳＤＲＡＭ１９からストリームとして転
送された画像を画像処理して動き検出が行われる。ゲー
ム制御部２２による動き検出については、第１の実施の
形態のゲーム装置１と同様な処理によってなされる。そ
して、ゲーム制御部２２が検出した動きの検出結果は、
機械的ＩＦ部２１からの制御信号と共に、制御信号とし
て扱われ、ゲームに対する使用者からの入力情報として
取り扱われる。

【００７１】そして、ゲーム制御部２２は、入力情報が
含まれる制御信号を基にビデオゲームを実行し、モニタ
ーＩ／Ｆ部５２を介してモニター４０を駆動して、使用
者の動きに依存して動くキャラクターを画面表示する。

【００７２】以上のように、第２の実施の形態とされる
ゲームシステムは、腕等の使用者のターゲットの動きを
検出して、それに応じて動作するキャラクターをモニタ
ー４０に表示することができる。

【００７３】よって、ゲームシステムでは、動画像の撮
影、画像の記録及び再生装置であるカメラ一体型ビデオ
装置６０に動き検出機能（情報入力機能）を統合させて
いるので、ゲームシステムは、より安いコストでより高
い嗜好性のビデオゲームを提供することができる。

【００７４】例えば、ダンスシミュレーションゲームで
使うダンス用のマット、釣りシミュレーションゲームで
使う釣り用コントローラー、奏楽シミュレーションゲー
ムで使うドラムパッド等といったように、情報入力装置
は各ゲーム内容に適応した形態のハードにより実現され
ていたが、情報入力装置をカメラ一体型ビデオ装置６０
に置き換え、それらのゲームにおいて必要な情報入力を
使用者の動き動作により行うことで、使用者はより安く
高い嗜好性のビデオゲームが楽しむことができるように
なる。

【００７５】また、第２の実施の形態のゲームシステム
では、上述の第１の実施の形態のゲーム装置１と同様
に、ベクトル演算ユニットにより動き検出することもで
きる。この場合、ゲームシステムは、図１２に示すよう
に、ゲーム装置５０にベクトル演算ユニット５３を備え
る。なお、図１２に示すゲームシステムでは、ゲーム制
御部２２は、メインメモリ２０、機械的Ｉ／Ｆ部２１、
ＲＯＭ２４、画像処理部２５及びフレームメモリ２６と
バス２８を介して接続されている構成となっているが、
図１２に示すゲームシステムと図１１に示すゲームシス
テムとの基本的な構成は同様である。

【００７６】この図１２に示すゲームシステムにおい
て、ベクトル演算ユニット５３は、現フレームにて撮像
したフレームと、メインメモリ２０に記憶されている前
のフレームで撮影した画像とからベクトル場を計算す
る。そして、ベクトル演算ユニット５３は、このベクト
ル場から特徴点を抽出して、対応するベクトル場を追い
かけることにより、動き検出を行う。そして、ゲーム制
御部２２は、ベクトル演算ユニット５３による動き検出
の結果を、上述したように機械的Ｉ／Ｆ２１からの制御
信号共にして、制御信号をとして扱い、使用者の入力情
報として扱う。

【００７７】また、ゲームシステムは、動き検出手段を
カメラ一体型ビデオ装置６０に備えることもできる。こ
の場合、カメラ一体型ビデオ装置６０は、上述のゲーム
装置５０と同様な処理により撮影画像に基づいて動き検
出を行う。例えば、カメラ一体型ビデオ装置６０は、上
述したような撮像制御部１８としての機能を併有する制
御部によって動き検出を行う。そして、ゲーム装置５０
は、カメラ一体型ビデオ装置５０からＩ／Ｆ６１，５１
を介して送信されてくる動き検出結果を、使用者の入力
情報として扱う。

【００７８】例えば、カメラ一体型ビデオ装置６０が動
き検出手段の機能を有するような場合には、カメラ一体
型ビデオカ装置６０は、ゲーム装置５０からの制御信号
から送られてくる制御信号に基づいて動き検出を行い、
その検出結果をゲーム装置５０に送信するようにしても
よい。図１３には、そのようにカメラ一体型ビデオ装置
６０が動き検出の機能を有する場合のゲームシステムを
示している。カメラ一体型ビデオ装置６０は、使用者１
０００を撮像して、撮影画像から動き検出をする。

【００７９】また、ゲーム装置は、撮影画像を圧縮する
画像圧縮手段を備えていてもよい。なお、ゲーム装置
は、第１の実施の形態のゲーム装置１又は第２の実施の
形態のゲームシステムを構成する家庭用ゲーム装置５０
である。ゲーム装置の処理は、次のようになされる。

【００８０】図１４に示すように、上述の図４に示すよ
うな処理工程をそのまま基本的な処理工程としながら、
ステップＳ３の動き検出要求があるか否かの判別工程
と、ステップＳ４の撮影画像の出力工程との間に、撮影
画像を圧縮する画像圧縮工程を設ける。

【００８１】これにより、撮像制御部１８は、ステップ
Ｓ３において動き検出の要求があったと判断した場合、
ステップＳ３−１に進み、画像圧縮工程にて、撮像した
画像の圧縮を行う。それから、続くステップＳ４にて、
撮影画像の出力（取得）処理を行う。

【００８２】ゲーム装置は、このように撮影画像を圧縮
して、以後、画像情報を扱うことになるが、動き検出を
する際には、その圧縮画像の展開が必要になってくる。
この場合のゲーム装置の処理は、図１５に示すようにな
る。図１５に示すように、上述の図６に示すような処理
工程を基本的な処理工程としながら、ステップＳ１１の
撮影画像の入力の判別工程と、ステップＳ１２の目標の
特徴点の抽出工程との間に、撮影画像を展開する画像展
開工程を設ける。

【００８３】これにより、ゲーム装置は、ステップＳ１
１において撮影画像が入力されたと判断した場合、ステ
ップＳ１１−１に進み、画像展開工程にて、圧縮画像の
展開を行う。それから、続くステップＳ１２〜ステップ
Ｓ１５の一連の処理により、動き検出のための処理を行
う。

【００８４】また、上述の図７に示した画素値の濃度曲
面を算出して、画像全体の動きを検出する場合にも、入
力された画像が圧縮画像とされた場合には、上述の図１
５と同様に画像展開工程が必要になる。

【００８５】この場合、図１６に示すように、上述の図
７に示すような処理工程を基本的な処理工程としなが
ら、ステップＳ２１の撮影画像の入力の判別工程と、ス
テップＳ２２の画素値の濃度曲面を算出する工程との間
に、撮影画像を展開する画像展開工程を設ける。

【００８６】これにより、ゲーム装置は、ステップＳ２
１において撮影画像が入力されたと判断した場合、ステ
ップＳ２１−１に進み、画像展開工程にて、圧縮画像の
展開を行う。それから、続くステップＳ２２〜ステップ
Ｓ２８の一連の処理により、動き検出のための処理を行
う。

【００８７】以上のように、ゲーム装置は、撮影画像を
圧縮して取り扱うこともできる。これにより、ゲーム装
置は、大容量の情報記憶手段を備えることなく、撮影画
像を記憶し、さらに、そのような圧縮された画像から動
き検出をすることができる。

【００８８】なお、撮影画像の圧縮は、第２の実施の形
態のゲームシステムにあっては、カメラ一体型ビデオ装
置６０においてすることとしてもよい。この場合、圧縮
画像の展開部を備えたゲーム装置５０は、カメラ一体型
ビデオ装置６０から送信されてきた圧縮画像を当該展開
部により展開して、その後の動き検出等の処理を行う。

【００８９】次に、動き検出をより高精度で行うための
具体例について説明する。例えば、高精度の動き検出
は、特徴点をより正確に把握することにより実現するこ
とができ、そのような動き検出について、具体例を以下
に説明する。なお、以下では、第１の実施の形態の大型
筐体からなるゲーム装置１に適用して説明しているが、
家庭用のゲームシステムについても適用できることはい
うまでもない。

【００９０】例えば、ゲーム装置１は、撮像部４に対応
して、投光部（発光部）を備える。例えば、図１７に示
すように、投光部７１は、筐体２の前面２ａに備えられ
る。そして、このような投光部７１は、撮像部４のシャ
ッターに同期して発光させるようになされている。例え
ば、投光部７１は、ストロボライトである。

【００９１】これによりゲーム装置１は、シャッターに
同期して投光部７１が発光することを利用して、多重露
光撮影に依ることなく、高密度サンプリングによる撮像
を実現することができる。なお、多重露光撮影について
は、後で詳述する。さらに、ゲーム装置は、投光部７１
の発光タイミングを多重露光撮影の各露光タイミングに
同期させて発光させて、撮像画像を取得することによ
り、高密度サンプリング撮影をより高性能に行うことが
できる。

【００９２】また、ゲーム装置１は、投光部７１による
発光を赤外線照射により行うことにより、フラッシュ光
等による投光と異なり、使用者に気付かれずに画像を取
得して、動き検出を行うことができる。

【００９３】また、ゲーム装置１は、反射マーカーや赤
外線高反射体等を使用者に装着させて、撮像部４による
撮像を行うこともできる。この場合、ゲーム装置１は、
図１８に示すように、投光部７１から赤外線を照射し、
使用者が腕（ターゲット）に装着した反射マーカー７２
からの赤外線光の反射光から腕の位置を検出する。これ
により、ゲーム装置１は、高精度に特徴点を抽出するこ
とができるようになる。なお、使用者の動きを検出した
いターゲット部位に装着する物は上述した例に限定され
るものではない。使用者に装着させる物としては、例え
ば、反射マーカー等の高反射物体、又は蛍光色等の高輝
度の色であって、比較的服装に使われにくい色の物体、
又は白や黒のチェック等であって、比較的服装に使われ
にくい模様の物体が挙げられる。これにより、ゲーム装
置１は、特徴点の検出をさらに容易にすることができ
る。

【００９４】また、ゲーム装置１は、撮像部４が、規定
の輝度に満たない、若しくは規定の色範囲内にあるとい
った条件の画素を黒く塗りつぶす等のクロマキー撮影を
するようにしてもよく、このような条件下において得た
画像から動き検出をすることもできる。例えば、クロマ
キー処理は、第１の実施の形態のゲーム装置１にあって
は、図２に示す画像処理部２５において撮影画像に基づ
いて実行される。

【００９５】また、ゲーム装置１は、使用者の特徴点を
認識する特徴点認識手段を備えていてもよい。これによ
り、ゲーム制御部２２は、認識点認識手段により自動的
に特徴点を認識することができ、さらに、認識した特徴
点に基づいて容易に使用者における動きを検出すること
ができるようになる。特徴点認識手段は、例えば、使用
者に、特徴点として認識しようとする部分を動作させる
要求をする要求出力手段を備え、当該要求出力手段によ
る要求に応じて同時或いは直後に動作した使用者におけ
る部分を特徴点として認識する。以下、具体例を説明す
る。

【００９６】ゲーム装置１は、ターゲット（特徴点）の
特定のために、所定の動作を促す出力を使用者に対して
出力するように動作することで特徴点認識手段を実現す
る。所定の動作を促す出力としては、すなわち要求出力
手段としては、看板等を利用した視覚によるものや、音
声等を利用した聴覚によるもの等が挙げられる。具体的
には、要求出力手段は、図１９に示すように、ターゲッ
トが腕とされるような場合には、「まず手を挙げて下さ
い」といった看板７３による表示を行う。また、要求出
力手段は、図２０に示すように、画像表示部３へ「まず
手を挙げて下さい」といった表示を行う。そして、特徴
点認識手段は、このように使用者に所定の情報を出力し
て所定の動作を促すことで、特徴点を把握（認識）して
いる。

【００９７】さらに、ゲーム装置１は、図２０に示すよ
うに、画像表示部３により使用者に所定の動作を促す情
報を出力するような構成を採った場合において、特徴点
認識手段に同期して、画像表示部３へ所定の動作を促す
情報を出力することもできる。これにより、ゲーム装置
１は、使用者の動作に同期して認識処理を実行すること
ができるようになり、容易に特徴点を検出することがで
きるようになる。

【００９８】以下に、本発明が先行関連技術として利用
した特開平9-247556号公報（発明の名称「個体撮像部を
備えた撮像装置」）について説明する。この先行関連技
術では、発明を撮像装置に適用している。

【００９９】撮像装置は、例えば図２１に示すように、
光電変換を行う多数の受光素子部が多数の並行列を形成
して配列形成されるとともに、各受光素子部で得られた
電荷を転送するＣＣＤにより形成された電荷転送領域が
設けられて成る受光・電荷転送部を有するものとされた
固体撮像部１１１が備えられている。また、固体撮像部
１１１の前方には、絞り機構１１２、レンズ・システム
１１３等を含んで構成される光学系が配されており、こ
の光学系は、固体撮像部１１１が有する受光・電荷転送
部に外光を入射させて被写体像を投影する。

【０１００】受光・電荷転送部は、図２２に示すよう
に、半導体基体１１５上に、各々が個々の画素を構成す
る多数の受光素子部１１６が、多数の水平方向（矢印ｈ
の方向）に伸びる並行列（画素水平列）を形成するもの
とされて配列配置されている。多数の画素水平列のそれ
ぞれを形成する受光素子部１１６は、また、多数の垂直
方向（矢印ｖの方向）に伸びる並行列（画素垂直列）を
も形成しており、このような受光素子部１１６が形成す
る各画素垂直列に沿って、ＣＣＤ群により形成された垂
直電荷転送部１１７が配されている。各垂直電荷転送部
１１７は、例えば、２相の垂直転送駆動信号φＶ１及び
φＶ２により駆動されて電荷転送動作を行う。そして、
各画素垂直列を形成する複数の受光素子部１１６それぞ
れとその垂直列に対応する垂直電荷転送部１１７との間
には、電荷読出ゲート部１１８が設けられている。

【０１０１】また、各受光素子部１１６の周囲には、図
２３に示すように、チャンネル・ストッパー部１１９及
びオーバーフロー制御部１２０が形成されている。さら
に、オーバーフロー制御部１２０に隣接してドレイン部
１２１が配され、このドレイン部１２１と隣の垂直電荷
転送部１１７との間が、チャンネル・ストッパー部１２
２によって区別されている。

【０１０２】上述の各部の上には絶縁層が配されてお
り、その絶縁層を介して、垂直電荷転送部１１７上に水
平方向に伸びる垂直転送電極Ｅ１及びＥ２が垂直方向に
交互に配されている。垂直転送電極Ｅ１は、蓄積部電極
Ｅ１ｃと転送部電極Ｅ１ｔとで構成され、また、垂直転
送電極Ｅ２が、蓄積部電極Ｅ２ｃと転送部電極Ｅ２ｔと
で構成されている。そして、垂直転送電極Ｅ１及びＥ２
に垂直転送駆動信号φＶ１及びφＶ２がそれぞれ供給さ
れる。

【０１０３】また、電荷読出ゲート部１１８上には、垂
直方向に伸びる読出ゲート電極ＥＧが配され、さらに、
オーバーフロー制御部１２０上には、同じく垂直方向に
伸びるオーバーフローゲート電極ＥＤが配されている。
これらの読出ゲート電極ＥＧ及びオーバーフローゲート
電極ＥＤには、読出ゲート制御信号ＳＧ及びオーバーフ
ローゲート制御信号ＳＤがそれぞれ供給される。そし
て、受光素子部１１６上を残して他の各部の上には、遮
光層が配されている。

【０１０４】複数の垂直電荷転送部１１７のそれぞれの
一端部側は、半導体基体１１５の端縁部において、ＣＣ
Ｄ群により形成されて水平方向に伸びるものとされた水
平電荷転送部１２３に連結されている。水平電荷転送部
１２３は、例えば、２相の水平転送駆動信号φＨ１及び
φＨ２により駆動されて電荷転送動作を行う。そして、
水平電荷転送部１２３の一端には出力部２４が設けられ
ており、出力部１２４からは出力端子１２５が導出され
ている。

【０１０５】また、半導体基体１１５における複数の垂
直電荷転送部１１７それぞれの他端部側には、水平方向
に伸びる電荷吸収部１２６が設けられている。

【０１０６】このような図２２及び図２３に示される受
光・電荷転送部を有した固体撮像部１１１において静止
画撮像動作が行われる際には、受光・電荷転送部につい
ての所定の受光期間が設定され、その受光期間におい
て、レンズ・システム１１３、絞り機構１１２等を含む
光学系を通じて受光・電荷転送部に入射する撮像対象か
らの光を受けた多数の受光素子部１１６のそれぞれが、
光電変換を行って受光に応じた電荷を蓄積する。その
後、複数の電荷読出ゲート部１１８が、それに供給され
る駆動信号形成部１３０からの読出ゲート制御信号ＳＧ
に応じて、対応する受光素子部１１６に蓄積された電荷
を対応する垂直電荷転送部１１７へと読み出す。

【０１０７】続いて、各垂直電荷転送部１１７に読み出
された電荷が、駆動信号形成部１３０から信号電荷転送
駆動信号ＳＴとして固体撮像部１１１における垂直転送
電極Ｅ１及びＥ２にそれぞれ供給される２相の垂直転送
駆動信号φＶ１及びφＶ２によって駆動される各垂直電
荷転送部１１７の電荷転送動作により、各画素水平列を
形成する複数の受光素子部１１６により得られた分宛、
順次、信号電荷として水平電荷転送部１２３に向けて転
送されていく。水平電荷転送部１２３においては、駆動
信号形成部１３０から信号電荷転送駆動信号ＳＴとして
供給される２相の水平転送駆動信号φＨ１及びφＨ２に
よって駆動されることにより行われる電荷転送動作によ
り信号電荷として転送される、１画素水平列を形成する
複数の受光素子部１１６で得られた分の電荷が、出力部
１２４へと供給される。出力部１２４においては、水平
電荷転送部１２３により転送されてくる電荷が順次信号
化されて出力端子１２５に導出され、出力端子１２５
に、複数の受光素子部１１６に蓄積された電荷に基づ
く、撮像対象に応じた撮像出力信号ＩＰが得られる。

【０１０８】斯かる場合、受光・電荷転送部における全
画素水平列のそれぞれを形成する複数の受光素子部１１
６で得られた電荷についての１画素水平列分宛の、各垂
直電荷転送部１１７による水平電荷転送部１２３への転
送は、各フレーム期間内において終了し、また、水平電
荷転送部１２３に転送される１画素水平列を形成する複
数の受光素子部１１６で得られた分の電荷についての、
水平電荷転送部１２３による出力部１２４への供給は、
各ライン期間内において終了するものとされるように、
信号電荷転送駆動信号ＳＴとされる２相の垂直転送駆動
信号φＶ１及びφＶ２及び２相の水平転送駆動信号φＨ
１及びφＨ２のそれぞれが設定される。それゆえ、出力
端子１２５に導出される撮像出力信号ＩＰは、ライン期
間分を単位とするものが連なって形成されるフレーム期
間分が繰り返されるものとされることになる。

【０１０９】駆動信号形成部１３０は、タイミング信号
発生部１３１からの電荷読出タイミング信号ＴＧ、信号
電荷転送タイミング信号ＴＴ、電荷掃出し転送タイミン
グ信号ＴＳ及び電荷排出タイミング信号ＴＤが供給さ
れ、電荷読出タイミング信号ＴＧに応じて形成した読出
ゲート制御信号ＳＧを送出し、また、信号電荷転送タイ
ミング信号ＴＴに応じて形成した２相の垂直転送駆動信
号φＶ１及びφＶ２及び２相の水平転送駆動信号φＨ１
及びφＨ２を信号電荷転送信号ＳＴとして送出する状態
と、電荷掃出し転送タイミング信号ＴＳに応じて形成し
た２相の垂直転送駆動信号φＶ２及びφＶ１及び２相の
水平転送駆動信号φＨ２及びφＨ１を掃出し転送駆動信
号ＳＳとして送出する状態とを選択的にとり、さらに、
電荷排出タイミング信号ＴＤに応じて形成したオーバー
フローゲート制御信号ＳＤを送出する。

【０１１０】タイミング信号発生部１３１は、同期信号
発生部１３２からのフレーム同期信号ＳＦ及びライン同
期信号ＳＨが供給され、さらに、動作制御部を形成する
制御ユニット１３３からの受光期間信号ＳＥ、非同期ノ
ーマル受光モード設定信号ＳＮ、非同期シャッター待モ
ード設定信号ＳＷＳ、同期復帰指令信号ＳＲ及び多重露
光モード設定信号ＳＭＭも供給される。

【０１１１】そして、タイミング信号発生部１３１にあ
っては、制御ユニット１３３からの受光期間信号ＳＥ、
非同期ノーマル受光モード設定信号ＳＮ、非同期シャッ
ター待モード設定信号ＳＷＳ、同期復帰指令信号ＳＲ及
び多重露光モード設定信号ＳＭＭの状態に応じて、フレ
ーム同期信号ＳＦ及びライン同期信号ＳＨにそれぞれ同
期したもの、すなわち、フレーム同期信号ＳＦ及びライ
ン同期信号ＳＨとそれぞれ同位相のものもしくはフレー
ム同期信号ＳＦとの間及びライン同期信号ＳＨとの間に
それぞれ一定の位相差を有したものとされる内部フレー
ム同期信号ＳＦＯ及び内部ライン同期信号ＳＨＯを発生
する状態と、フレーム同期信号ＳＦ及びライン同期信号
ＳＨに対して非同期とされた内部フレーム同期信号ＳＦ
Ｏ及び内部ライン同期信号ＳＨＯを発生する状態とが選
択的にとられる。

【０１１２】さらに、駆動信号形成部１３０は、タイミ
ング信号発生部１３１においてフレーム同期信号ＳＦ及
びライン同期信号ＳＨにそれぞれ同期したものとされる
内部フレーム同期信号ＳＦＯ及び内部ライン同期信号Ｓ
ＨＯが得られるもとで、それらの内部フレーム同期信号
ＳＦＯ及び内部ライン同期信号ＳＨＯに基づいて形成さ
れた電荷読出タイミング信号ＴＧ、信号電荷転送タイミ
ング信号ＴＴ、電荷掃出し転送タイミング信号ＴＳ及び
電荷排出タイミング信号ＴＤが供給され、電荷読出タイ
ミング信号ＴＧに応じて形成した読出ゲート制御信号Ｓ
Ｇを送出する動作状態、及び、タイミング信号発生部１
３１においてフレーム同期信号ＳＦ及びライン同期信号
ＳＨに対して非同期とされる内部フレーム同期信号ＳＦ
Ｏ及び内部ライン同期信号ＳＨＯが得られるもとで、そ
れらの内部フレーム同期信号ＳＦＯ及び内部ライン同期
信号ＳＨＯに基づいて形成された電荷読出タイミング信
号ＴＧ、信号電荷転送タイミング信号ＴＴ、電荷掃出し
転送タイミング信号ＴＳ及び電荷排出タイミング信号Ｔ
Ｄが供給され、電荷読出タイミング信号ＴＧに応じて形
成した読出ゲート制御信号ＳＧを送出する動作状態を選
択的にとる。

【０１１３】同期信号発生部１３２からのフレーム同期
信号ＳＦ及びライン同期信号ＳＨ、及び、タイミング信
号発生部１３１において形成される内部フレーム同期信
号ＳＦＯ及び内部ライン同期信号ＳＨＯは、制御ユニッ
ト１３３にも供給され、また、タイミング信号発生部１
３１において得られる電荷読出タイミング信号ＴＧ、信
号電荷転送タイミング信号ＴＴ、電荷掃出し転送タイミ
ング信号ＴＳ及び電荷排出タイミング信号ＴＤも制御ユ
ニット１３３に供給される。さらに、動作制御部を形成
する制御ユニット１３３には、動作モード指定信号ＳＭ
が端子１３４を通じて、シャッター速度指定信号ＳＳＶ
が端子１３５を通じて、及び、装置に撮像動作を行わせ
るための操作であるシャッター操作に応じて発せられ
る、受光指令信号であるシャッター信号ＳＳＨが端子１
３６を通じてそれぞれ供給される。

【０１１４】図２２に示される固体撮像部１１１の受光
・電荷転送部における出力端子１２５に得られる撮像出
力信号ＩＰは、図２１に示される如くに、自動利得制御
（ＡＧＣ）増幅部１４０により増幅されてサンプリング
・ホールド部１４１に供給される。サンプリング・ホー
ルド部１４１においては、撮像出力信号ＩＰに対する所
定の短周期毎のレベル・サンプリング及びサンプル・レ
ベル保持が行われて、サンプリング・ホールド出力信号
ＳＩが得られ、それがアナログ／ディジタル（Ａ／Ｄ）
変換部１４２に供給される。Ａ／Ｄ変換部１４２におい
ては、サンプリング・ホールド出力信号ＳＩに基づいて
の撮像出力信号ＩＰのディジタル化が図られ、Ａ／Ｄ変
換部１４２から、撮像出力信号ＩＰに対応するディジタ
ル撮像信号ＤＩが得られて、それが撮像信号ディジタル
処理部１４３に供給される。

【０１１５】なお、図２に示したゲーム装置１の撮像部
４では、Ｓ／Ｈ部１２から出力された信号がＡＧＣ部１
３において処理されており、前述の撮像装置の信号処理
手順と異なっているが、ゲーム装置１の撮像部４は、前
述の撮像装置のように、ＡＧＣ増幅部１４０において処
理された信号をサンプルホールド部（Ｓ／Ｈ部）１４１
において処理するようにしてもよい。

【０１１６】撮像信号ディジタル処理部１４３と制御ユ
ニット１３３との相互間においては、制御データＤＣＣ
及び制御データＤＣＤの遣り取りが行われ、撮像信号デ
ィジタル処理部１４３においては、制御データＤＣＣ及
び制御データＤＣＤの遣り取りに応じて、撮像出力信号
ＩＰに対する各種のディジタル処理が施される。その結
果、撮像信号ディジタル処理部１４３から出力端子１４
４に、ディジタル撮像出力信号ＤＩＯが導出される。

【０１１７】このようなもとで、静止画撮像動作が行わ
れる際には、制御ユニット１３３に、選択されるべき動
作モードを指定する動作モード指定信号ＳＭが端子１３
４を通じて供給されるとともに、選択されるべきシャッ
ター速度を指定するシャッター速度指定信号ＳＳＶが供
給される。動作モード指定信号ＳＭにより指定される動
作モードは、例えば、非同期ノーマル受光モード、非同
期シャッター待受光モード、多重露光モード等とされ
る。以下、各モードにおける撮像装置の処理について説
明する。

【０１１８】動作モード指定信号ＳＭが指定する動作モ
ードが非同期ノーマル受光モードであるときには、制御
ユニット３３は、非同期ノーマル受光モード設定信号Ｓ
Ｎをタイミング信号発生部１３１に供給する。タイミン
グ信号発生部１３１は、非同期ノーマル受光モード設定
信号ＳＮに応じて、図２４における時点ｔａ前の期間に
おいて見られる如くに、図２４のＡに示される同期信号
発生部１３２からのフレーム同期信号ＳＦとの間に一定
の位相差を有した図２４のＤに示される内部フレーム同
期信号ＳＦＯに基づく、図２４のＥに示される如くのタ
イミング信号ＳＸＯが形成される。

【０１１９】また、このとき、タイミング信号発生部１
３１から内部フレーム同期信号ＳＦＯに応じた電荷読出
タイミング信号ＴＧ、信号電荷転送タイミング信号Ｔ
Ｔ、電荷掃出し転送タイミング信号ＴＳ及び電荷排出タ
イミング信号ＴＤが送出されることにより、駆動信号形
成部１３０から、図２４における時点ｔａ前の期間にお
いて見られる如くに、内部フレーム同期信号ＳＦＯに同
期した、図２４のＦに示される如くの読出ゲート制御信
号ＳＧ及び図２４のＧに示される如くの掃出し転送駆動
信号ＳＳが送出される。図２４における時点ｔａ前の期
間においては、図２４のＪに示される如く、フレーム同
期信号ＳＦに同期したＳＦ同期モードがとられているこ
とになる。

【０１２０】斯かるもとで、図２４における時点ｔａに
おいてシャッター操作が行われると、図２４のＢに示さ
れる如くの、受光指令信号であるシャッター信号ＳＳＨ
が、端子１３６を通じて制御ユニット１３３に供給され
る。

【０１２１】制御ユニット１３３は、シャッター信号Ｓ
ＳＨの前縁に応じて、図２４のＣに示される如くの受光
期間信号ＳＥをタイミング信号発生部１３１に供給す
る。このときタイミング信号発生部１３１は、図２４の
Ｃ及びＤに示される如く、受光期間信号ＳＥの前縁によ
り内部フレーム同期信号ＳＦＯの形成にリセットをかけ
て、内部フレーム同期信号ＳＦＯをフレーム同期信号Ｓ
Ｆと非同期なものとするとともに、タイミング信号ＳＸ
Ｏの形成を中断し、また、受光期間信号ＳＥの前縁に応
じた電荷読出タイミング信号ＴＧ及び電荷排出タイミン
グ信号ＴＤを送出する。

【０１２２】そして、駆動信号形成部１３０から、図２
４のＦ及びＧに示される如くに、受光期間信号ＳＥの前
縁に応じた読出ゲート制御信号ＳＧ及び掃出し転送駆動
信号ＳＳが、固体撮像部１１１の受光・電荷転送部へと
送出される。それにより、固体撮像部１１１の受光・電
荷転送部において、各電荷読出ゲート部１１８が、読出
ゲート制御信号ＳＧに応じて開状態をとり、各受光素子
部１１６における電荷を各垂直電荷転送部１１７へ読み
出す電荷読出しを行うとともに、各垂直電荷転送部１１
７が、掃出し転送駆動信号ＳＳに応じて、開状態をとる
電荷読出ゲート部１１８を通じて読み出された電荷を、
半導体基体１１５における水平電荷転送部１２３とは反
対側に設けられた電荷吸収部１２６へと転送する電荷掃
出し動作を行う。電荷掃出しにより転送された電荷は電
荷吸収部１２６において吸収される。このような電荷掃
出し動作が行われる電荷掃出期間は、例えば、２７ライ
ン期間程度とされる。

【０１２３】そして、受光期間信号ＳＥの前縁におい
て、電荷掃出期間を含む固体撮像部１１１の受光・電荷
転送部についての受光期間が開始され、図２４のＪに示
される如くに、ＳＦ同期モードから自走モードに移行す
ることになる。受光期間にあっては、図２４のＤに示さ
れる如く、受光期間信号ＳＥの前縁においてリセットさ
れ、フレーム同期信号ＳＦと非同期なものとされた内部
フレーム同期信号ＳＦＯが得られるが、タイミング信号
ＳＸＯは得られない。それにより、受光期間において
は、読出ゲート制御信号ＳＧも受光期間信号ＳＥの前縁
に応じて得られた以降においては得られず、電荷掃出期
間の始めの短期間を除いて電荷読出ゲート部１１８が閉
状態に維持されて、多数の受光素子部１１６に受光によ
る電荷の蓄積が図２４のＩに示される如くになされる。

【０１２４】図２５は、制御ユニット１３３に供給され
るシャッター信号ＳＳＨと内部ライン同期信号ＳＨＯ、
受光期間信号ＳＥ、読出ゲート制御信号ＳＧ及び掃出し
転送駆動信号ＳＳとの詳細なタイミング関係を拡大して
示す。図２５に示されるタイミング関係にあっては、時
点ｔａにおいてシャッター信号ＳＳＨの前縁が到来する
と、その後の最初の内部ライン同期信号ＳＨＯの前縁の
時点において、受光期間信号ＳＥの前縁が得られる。そ
して、受光期間信号ＳＥの前縁の時点において、読出ゲ
ート制御信号ＳＧの前縁及び掃出し転送駆動信号ＳＳの
前縁が得られ、ＳＦ同期モードから自走モードに移行す
る。すなわち、受光期間信号ＳＥの前縁はシャッター信
号ＳＳＨの前縁より僅か（最大で略１ライン期間）に遅
れることになる。

【０１２５】その後、図２４に示される如く、時点ｔｂ
において、制御ユニット１３３からタイミング信号発生
部１３１に供給される受光期間信号ＳＥの後縁が到来す
ると、タイミング信号発生部１３１においては、図２４
のＤ及びＥに示される如く、受光期間信号ＳＥの後縁に
応じて内部フレーム同期信号ＳＦＯが得られるととも
に、その内部フレーム同期信号ＳＦＯの前縁応じてタイ
ミング信号ＳＸＯが得られる。受光期間信号ＳＥの後縁
の時点ｔｂは、制御ユニット１３３により、それに供給
されるシャッター速度指定信号ＳＳＶが指定するシャッ
ター速度に応じて設定される。そして、タイミング信号
発生部１３１は、タイミング信号ＳＸＯに応じて、電荷
読出タイミング信号ＴＧ及び信号電荷転送タイミング信
号ＴＴを送出する。それにより、駆動信号形成部１３０
から、図２４のＦ及びＨに示される如く、受光期間信号
ＳＥの後縁に応じた前縁を有する読出ゲート制御信号Ｓ
Ｇ及び受光期間信号ＳＥの後縁に応じた前縁を有する信
号電荷転送駆動信号ＳＴが、固体撮像部１１１の受光・
電荷転送部に送出されて受光期間が終了する。

【０１２６】それにより、固体撮像部１１１の受光・電
荷転送部において、各電荷読出ゲート部１１８が、読出
ゲート制御信号ＳＧに応じて開状態をとり、図２４のＩ
に示される如くに、多数の受光素子部１１６における電
荷を各垂直電荷転送部１１７へ読み出す電荷読出しを行
うとともに、各垂直電荷転送部１１７が、信号電荷転送
駆動信号ＳＴに応じて、開状態をとる電荷読出ゲート部
１１８を通じて読み出された電荷を、信号電荷として半
導体基体１１５における水平電荷転送部１２３へと転送
する電荷転送動作が行われる。そして、さらに、水平電
荷転送部１２３が、信号電荷転送駆動信号ＳＴに応じ
て、各垂直電荷転送部１１７により転送された電荷を、
信号電荷として出力部１２４へと転送する電荷転送動作
が行われる。出力部１２４に転送された電荷は出力部１
２４において撮像出力信号ＩＰに変換され、撮像出力信
号ＩＰが出力端子１２５に導出される。

【０１２７】このような各垂直電荷転送部１１７及び水
平電荷転送部１２３による電荷転送動作が行われる電荷
転送期間は、その後にタイミング信号発生部３１におい
て、図２４のＤ及びＥに示される如く、内部フレーム同
期信号ＳＦＯが得られ、その内部フレーム同期信号ＳＦ
Ｏの前縁に応じてタイミング信号ＳＸＯが得られる時点
ｔｃにおいて、信号電荷転送駆動信号ＳＴの後縁が到来
して終了する。そして、タイミング信号発生部１３１
は、タイミング信号ＳＸＯに応じて、電荷読出タイミン
グ信号ＴＧ及び信号電荷転送タイミング信号ＴＴを送出
し、それにより、駆動信号形成部１３０から、図２４の
Ｆ及びＧに示される如く、信号電荷転送駆動信号ＳＴの
後縁に応じた前縁を有する読出ゲート制御信号ＳＧ及び
信号電荷転送駆動信号ＳＴの後縁に応じた前縁を有する
掃出し転送駆動信号ＳＳが、固体撮像部１１１の受光・
電荷転送部に送出されて電荷掃出し動作が行われる。

【０１２８】その後、時点ｔｄにおいて、図２４のＤに
示される如くに、タイミング信号発生部１３１において
得られる内部フレーム同期信号ＳＦＯが、再び、フレー
ム同期信号ＳＦとの間に一定の位相差を有するものとさ
れて、図２４のＪに示される如くに、自走モードからＳ
Ｆ同期モードに戻ることになる。

【０１２９】このように、非同期ノーマル受光モードの
もとでの静止画撮像動作が行われる場合には、シャッタ
ー操作が行われると、そのシャッター操作の時点から最
大で略１ライン期間とされる僅かに遅れた時点におい
て、固体撮像部１１１の受光・電荷転送部についての受
光期間が開始され、その開始から電荷掃出し動作が終了
する、例えば、２７ライン期間後には、受光・電荷転送
部における多数の受光素子部１１６に有効な電荷蓄積が
行われる受光状態が得られることになる。従って、シャ
ッター操作がなされた際における受光応答動作の迅速性
が大幅に改善される。

【０１３０】次に、非同期シャッター待受光モードにつ
いて説明する。動作モード指定信号ＳＭが指定する動作
モードが非同期シャッター待受光モードであるときに、
制御ユニット１３３は、非同期シャッター待モード設定
信号ＳＷＳをタイミング信号発生部１３１に供給する。
タイミング信号発生部１３１は、非同期シャッター待モ
ード設定信号ＳＷＳに応じて、図２６における時点ｔｅ
前の期間において見られる如くに、図２６のＡに示され
る同期信号発生部１３２からのフレーム同期信号ＳＦと
の間に一定の位相差を有した図２６のＤに示される内部
フレーム同期信号ＳＦＯが得られているもとで、時点ｔ
ｅ以降、タイミング信号ＳＸＯの形成を停止するととも
に、時点ｔｅ後の最初の内部フレーム同期信号ＳＦＯの
前縁に応じて、電荷読出タイミング信号ＴＧ及び電荷掃
出し転送タイミング信号ＴＳの継続的送出を開始する。
それにより、図２６のＢに示される如く、時点ｔｅにお
いて、ノーマル受光状態からシャッター待状態への移行
が行われる。

【０１３１】タイミング信号発生部１３１からの電荷読
出タイミング信号ＴＧ及び電荷掃出し転送タイミング信
号ＴＳの継続的送出の開始により、駆動信号形成部１３
０から、図２６のＧ及びＨに示される如く、時点ｔｅ後
の最初の内部フレーム同期信号ＳＦＯの前縁に応じて、
読出ゲート制御信号ＳＧ及び掃出し転送駆動信号ＳＳが
継続的に固体撮像部１１１の受光・電荷転送部に送出さ
れる状態とされる。それにより、固体撮像部１１１の受
光・電荷転送部において、各電荷読出ゲート部１１８
が、読出ゲート制御信号ＳＧに応じて継続的に開状態を
とり、各受光素子部１１６における電荷を各垂直電荷転
送部１１７へ読み出す電荷読出しを継続的に行うととも
に、各垂直電荷転送部１１７が、掃出し転送駆動信号Ｓ
Ｓに応じて、継続的に開状態をとる電荷読出ゲート部１
１８を通じて読み出された電荷を、半導体基体１１５に
おける水平電荷転送部１２３とは反対側に設けられた電
荷吸収部１２６へと継続的に転送する電荷掃出し動作を
行う。電荷掃出しにより転送された電荷は電荷吸収部１
２６において吸収される。このような継続的な電荷掃出
し動作が行われる電荷掃出期間においては、図２６のＪ
に示される如く、固体撮像部１１１の受光・電荷転送部
における電荷の蓄積はなされない。

【０１３２】そして、固体撮像部１１１の受光・電荷転
送部において電荷掃出し動作が継続的に行われているも
とで、図２６における時点ｔｆにおいてシャッター操作
が行われると、図２６のＣに示される如くのシャッター
信号ＳＳＨが端子１３６を通じて制御ユニット１３３に
供給される。制御ユニット１３３は、シャッター信号Ｓ
ＳＨの前縁に応じて、図２６のＦに示される如くの受光
期間信号ＳＥをタイミング信号発生部１３１に供給す
る。このときタイミング信号発生部１３１は、図２６の
Ｄ及びＥに示される如く、受光期間信号ＳＥの前縁によ
り内部フレーム同期信号ＳＦＯの形成にリセットをかけ
て、内部フレーム同期信号ＳＦＯをフレーム同期信号Ｓ
Ｆと非同期なものとするとともに、タイミング信号ＳＸ
Ｏの形成を中断し、また、電荷読出タイミング信号ＴＧ
及び電荷掃出し転送タイミング信号ＴＳの継続的送出を
終了する。

【０１３３】それにより、駆動信号形成部１３０が、図
２６のＧ及びＨに示される如く、受光期間信号ＳＥの前
縁に応じて読出ゲート制御信号ＳＧ及び掃出し転送駆動
信号ＳＳの継続的送出を停止する。そして、図２６のＦ
に示される如く、受光期間信号ＳＥの前縁において、電
荷掃出期間を含むことなく、固体撮像部１１１の受光・
電荷転送部についての受光期間が開始され、図２６のＢ
に示される如くに、シャッター待状態からノーマル受光
状態への移行が行われる。

【０１３４】受光期間にあっては、図２６のＤに示され
る如く、受光期間信号ＳＥの前縁においてリセットさ
れ、フレーム同期信号ＳＦと非同期なものとされた内部
フレーム同期信号ＳＦＯが得られるが、タイミング信号
ＳＸＯは得られない。それにより、受光期間において
は、読出ゲート制御信号ＳＧも得られず、電荷読出ゲー
ト部１１８が閉状態に維持されて、多数の受光素子部１
１６に受光による電荷の蓄積が図２６のＪに示される如
くになされる。

【０１３５】その後、時点ｔｇにおいて制御ユニット１
３３からタイミング信号発生部１３１に供給される受光
期間信号ＳＥの後縁が到来すると、タイミング信号発生
部１３１においては、図２６のＤ及びＥに示される如
く、受光期間信号ＳＥの後縁に応じて内部フレーム同期
信号ＳＦＯが得られるとともに、その内部フレーム同期
信号ＳＦＯの前縁応じてタイミング信号ＳＸＯが得られ
る。受光期間信号ＳＥの後縁の時点ｔｆは、制御ユニッ
ト１３３により、それに供給されるシャッター速度指定
信号ＳＳＶが指定するシャッター速度に応じて設定され
る。そして、タイミング信号発生部１３１は、タイミン
グ信号ＳＸＯに応じて、電荷読出タイミング信号ＴＧ及
び信号電荷転送タイミング信号ＴＴを送出する。それに
より、駆動信号形成部１３０から、図２６のＧ及びＩに
示される如く、受光期間信号ＳＥの後縁に応じた前縁を
有する読出ゲート制御信号ＳＧ及び受光期間信号ＳＥの
後縁に応じた前縁を有する信号電荷転送駆動信号ＳＴ
が、固体撮像部１１１の受光・電荷転送部に送出されて
受光期間が終了する。

【０１３６】それにより、固体撮像部１１１の受光・電
荷転送部において、各電荷読出ゲート部１１８が、読出
ゲート制御信号ＳＧに応じて開状態をとり、図２６のＪ
に示される如くに、多数の受光素子部１１６における電
荷を各垂直電荷転送部１１７へ読み出す電荷読出しを行
うとともに、各垂直電荷転送部１１７が、信号電荷転送
駆動信号ＳＴに応じて、開状態をとる電荷読出ゲート部
１１８を通じて読み出された電荷を、信号電荷として半
導体基体１１５における水平電荷転送部１２３へと転送
する電荷転送動作が行われる。そして、さらに、水平電
荷転送部１２３が、信号電荷転送駆動信号ＳＴに応じ
て、各垂直電荷転送部１１７により転送された電荷を、
信号電荷として出力部１２４へと転送する電荷転送動作
が行われる。出力部１２４に転送された電荷は出力部１
２４において撮像出力信号ＩＰに変換され、撮像出力信
号ＩＰが出力端子１２５に導出される。

【０１３７】このような各垂直電荷転送部１１７及び水
平電荷転送部１２３による電荷転送動作が行われる電荷
転送期間は、その後にタイミング信号発生部１３１にお
いて、図２６のＤ及びＥに示される如く、内部フレーム
同期信号ＳＦＯが得られ、その内部フレーム同期信号Ｓ
ＦＯの前縁に応じてタイミング信号ＳＸＯが得られる時
点ｔｈにおいて、信号電荷転送駆動信号ＳＴの後縁が到
来して終了する。そして、タイミング信号発生部１３１
は、タイミング信号ＳＸＯに応じて、電荷読出タイミン
グ信号ＴＧ及び電荷掃出し転送タイミング信号ＴＳを送
出し、それにより、駆動信号形成部１３０から、図２６
のＧ及びＨに示される如く、信号電荷転送駆動信号ＳＴ
の後縁に応じた前縁を有する読出ゲート制御信号ＳＧ及
び信号電荷転送駆動信号ＳＴの後縁に応じた前縁を有す
る掃出し電荷転送駆動信号ＳＳが、固体撮像部１１１の
受光・電荷転送部に送出されて電荷掃出し動作が行われ
る。

【０１３８】その後、時点ｔｉにおいて、制御ユニット
１３３からタイミング信号発生部３１に同期復帰指令信
号ＳＲが送出され、それにより、図２６のＤに示される
如くに、タイミング信号発生部１３１において得られる
内部フレーム同期信号ＳＦＯが、再び、フレーム同期信
号ＳＦとの間に一定の位相差を有するものとされて、Ｓ
Ｆ同期が復活される。

【０１３９】このように、非同期シャッター待受光モー
ドのもとでの静止画撮像動作が行われる場合には、予め
シャッター待状態がとられて固体撮像部１１１の受光・
電荷転送部において電荷掃出し動作が継続的に行われて
いるもとで、シャッター操作が行われると、そのシャッ
ター操作の時点まで行われていた継続的な電荷掃出し動
作が終了せしめられて、ただちに、固体撮像部１１１の
受光・電荷転送部についての受光期間が開始され、受光
・電荷転送部における多数の受光素子部１１６に有効な
電荷蓄積が行われる受光状態が得られることになる。従
って、シャッター操作がなされた際において、極めて迅
速な受光応答動作が行われることになる。

【０１４０】次に、多重露光モードについて説明する。
動作モード指定信号ＳＭが指定する動作モードが多重露
光モードであるときに、制御ユニット１３３は、多重露
光モード設定信号ＳＭＭをタイミング信号発生部１３１
に供給する。タイミング信号発生部１３１は、多重露光
モード設定信号ＳＭＭに応じて、図２７のＡに示される
同期信号発生部１３２からのフレーム同期信号ＳＦに対
して内部フレーム同期信号ＳＦＯを発生するとともに、
図２７のＣに示される如く、内部フレーム同期信号ＳＦ
Ｏについての３周期分を単位期間として、各単位期間内
においてその開始時点から所定数、例えば、７個のタイ
ミング信号ＳＸＯを一定の周期をもって発生する。

【０１４１】また、タイミング信号発生部１３１は、内
部フレーム同期信号ＳＦＯについての３周期分の各単位
期間において、所定数のタイミング信号ＳＸＯのそれぞ
れの前縁に応じた電荷読出タイミング信号ＴＧを送出す
るとともに、所定数のタイミング信号ＳＸＯの最後のも
のの後縁の時点から単位期間の終了時点までの期間にお
いて、電荷排出タイミング信号ＴＤを継続的に送出し、
さらに、内部フレーム同期信号ＳＦＯについての３周期
分の各単位期間中における最終の内部フレーム同期信号
ＳＦＯについての１周期分の期間に、信号電荷転送タイ
ミング信号ＴＴを送出する。

【０１４２】それにより、駆動信号形成部１３０が、電
荷読出タイミング信号ＴＧに応じて、図２７のＤに示さ
れる如くの、内部フレーム同期信号ＳＦＯについての３
周期分とされる各単位期間内における所定数、例えば、
７個の読出ゲート制御信号ＳＧを、固体撮像部１１１の
受光・電荷転送部に送出するとともに、電荷排出タイミ
ング信号ＴＤに応じて、図２７のＥに示される如くの、
内部フレーム同期信号ＳＦＯについての３周期分とされ
る各単位期間内における所定数の読出ゲート制御信号Ｓ
Ｇの最後のものの後縁の時点から単位期間の終了時点ま
での期間中継続するオーバーフローゲート制御信号ＳＤ
を固体撮像部１１１の受光・電荷転送部に送出する。さ
らに、駆動信号形成部１３０は、信号電荷転送タイミン
グ信号ＴＴに応じて、図２７のＧに示される如く、内部
フレーム同期信号ＳＦＯについての３周期分とされる各
単位期間中における最終の内部フレーム同期信号ＳＦＯ
についての１周期分の期間に、信号電荷転送駆動信号Ｓ
Ｔを固体撮像部１１１の受光・電荷転送部に送出する。

【０１４３】その結果、固体撮像部１１１の受光・電荷
転送部において、内部フレーム同期信号ＳＦＯについて
の３周期分とされる各単位期間中において、所定数、例
えば、７個の読出ゲート制御信号ＳＧの相互間が受光・
電荷転送部についての分断受光期間とされることにな
り、図２７のＦに示される如くに、分断受光期間それぞ
れにおいて、受光・電荷転送部における多数の受光素子
部１１６に受光による電荷の蓄積がなされる。そして、
各分断受光期間により得られた電荷は、その期間に続く
期間に読出ゲート制御信号ＳＧが供給されて開状態とさ
れる各電荷読出ゲート部１８により各垂直電荷転送部１
１７へと順次読み出される。

【０１４４】このようにして、内部フレーム同期信号Ｓ
ＦＯについての３周期分とされる各単位期間中に、受光
・電荷転送部における多数の受光素子部１１６から各電
荷読出ゲート部１１８を通じて各垂直電荷転送部１１７
に断続的に読み出される電荷は、各単位期間中における
最終の内部フレーム同期信号ＳＦＯについての１周期分
の期間が到来するまでは、各垂直電荷転送部１１７にお
いて重畳蓄積される。それにより、実質的に、内部フレ
ーム同期信号ＳＦＯについての３周期分とされる各単位
期間中において、受光・電荷転送部における多数の受光
素子部１１６に対しての多重露光が行われることにな
る。

【０１４５】そして、各単位期間中における最終の内部
フレーム同期信号ＳＦＯについての１周期分の期間が到
来すると、各垂直電荷転送部１１７において重畳蓄積さ
れた電荷は、固体撮像部１１１の受光・電荷転送部に信
号電荷転送駆動信号ＳＴが供給されることにより、信号
電荷として各垂直電荷転送部１１７から水平電荷転送部
１２３へ、さらに、水平電荷転送部１２３から出力部１
２４へと転送される。そして、出力部１２４に転送され
た電荷は、出力部１２４において撮像出力信号ＩＰに変
換され、出力端子１２５に撮像出力信号ＩＰが導出され
る。

【０１４６】このように各垂直電荷転送部１１７におい
て重畳蓄積された電荷が信号電荷として転送される期間
において、固体撮像部１１１の受光・電荷転送部におけ
る多数の受光素子部１１６に受光によって得られる電荷
は、そのとき受光・電荷転送部に設けられたオーバーフ
ローゲート電極ＥＤにオーバーフローゲート制御信号Ｓ
Ｄが継続的に供給されることにより開状態とされるオー
バーフロー制御部１２０を通じて、ドレイン部１２１に
排出される。従って、各単位期間中における受光・電荷
転送部についての分断受光期間の開始時にあっては、受
光・電荷転送部における多数の受光素子部１１６に、そ
の分断受光期間に先立つ受光による不要な電荷が蓄積さ
れていることになる事態は生じない。

【０１４７】このようにして、多重露光モードのもとで
の静止画撮像動作が行われる場合には、比較的簡単な構
成及び動作制御にもとに、実質的に、内部フレーム同期
信号ＳＦＯについての３周期分とされる各単位期間中に
おいて、受光・電荷転送部における多数の受光素子部１
１６に対しての多重露光が行われて得られる信号電荷に
基づく撮像出力信号ＩＰが得られることになる。

【０１４８】以上が、先行関連技術の概略である。次に
このような先行関連技術を取り入れた本発明について具
体例を挙げて説明する。

【０１４９】先行関連技術によれば、図３に示すような
２回分の特徴点（腕）１００１₁，１００１₂が撮影され
た撮影画像は、Ｎ＝２（内部フレーム同期信号ＳＦＯに
ついての２周期分）の多重露光撮影の結果とされる。

【０１５０】このような多重露光撮影により得た撮影画
像を利用することにより、時系列で２倍精密な動きベク
トルの測定が可能になる。ここで、２つの特徴点１００
１₁，１００１₂の時間的前後関係は、記憶してある過去
の特徴点の座標が連続していることを手掛かりに類推し
ている。

【０１５１】従来の制御Ｉ／Ｆでは、１秒あたり６０回
のサンプリングを行って、撮像タイミングの制御信号と
しているが、一般的な撮像装置では１秒あたり３０回の
サンプリングしか行えない。このようなことから、一般
的な撮像装置では、従来の制御Ｉ／Ｆに比べ、粗い制御
になり、このような撮像装置をゲーム装置或いはゲーム
システムの撮像手段として適用しても、特徴点を正確に
取得することができない。このようなことから、本発明
が適用されるゲーム装置の撮像手段に一般的な撮像装置
を使用してしまうと、ゲーム装置は、使用者の意志を的
確にゲームに反映させることができずに、使用者の楽し
さを半減させてしまう恐れがある。

【０１５２】そこで、ゲーム装置又はゲームシステムの
撮像手段として上述の撮像装置を用いることにより、Ｎ
＝２とすれば従来と同等のサンプリングレートが期待で
きるようになる。Ｎ＝２とすれば従来の撮像装置の倍の
サンプリングレートが期待でき、より細やかなタイミン
グの特徴点を検出が可能になり、ゲーム装置及びゲーム
システムは、動き検出を精度よくできるようになる。例
えば、ゲーム装置又はゲームシステムにおいて、撮像タ
イミングを制御するＴＧ部１６に先行関連技術の発明を
適用することにより、従来と同等のサンプリングレート
の実現を図ることができる。

【０１５３】また、この場合、画像の転送レートはサン
プリングレートのＮ分の１でよいため、動き検出システ
ムのボトルネックになる転送レートを稼ぐことができ、
ゲーム装置又はゲームシステムは、より効率よく構築さ
れた動き検出システムを持つことができる。例えば、Ｕ
ＳＢver1.1に準拠した高速モード１２ＭHzのデータ転送
では、ＯＶＧＡ１６bitの色数で３０fpsの画像を転送す
るのが限界だった。しかし、多重露光撮影をＮ＝４とし
て行うことにより、図７に示したステップＳ２５までの
処理工程である、連続した類似ベクトルをまとめること
により物体を抽出する処理工程までは、３０fpsについ
て処理を行う場合と変わらないＣＰＵパワーで、１２０
fpsのサンプリングレートを実現することができ、これ
により高精度な動き検出を実現することができる。

【０１５４】以上のような高サンプリングレートによる
撮像が可能とされることにより実現されるゲームについ
て説明する。いわゆるダンス判定ゲームを例に挙げて説
明する。ダンス判定ゲームとは、例えば、ゲーム装置が
出力する音楽や画像に合わせて、使用者（ゲームプレー
ヤ）がダンスをしているか否かを判定するゲームであ
る。

【０１５５】このようなゲームを実行するゲーム装置１
は、図２８に示すように、ゲームの内容に同期させて、
スピーカー５から音楽を流したり、画像表示部３にその
音楽に同期して動くキャラクター３ａを表示したり、或
いは画像表示部３にその音楽に同期して変化する音符等
の記号３ｂを表示したりする。使用者１０００は、この
ようなゲーム装置の音楽或いは表示による出力に対し
て、スピーカー５から出力される音楽に合わせて体を動
かし、又はその音楽に同期して動く画像表示部３に表示
されたキャラクター３ａの動き或いは音符等の記号３ｂ
の動きに合わせて体を動かし、一方で、ゲーム装置１
は、その使用者の動きを入力情報としてダンスの判定を
行う。このようなゲーム装置１により、使用者は、ダン
スを音楽に合わせて踊れているかどうかを楽しむことが
できる。

【０１５６】このようなタイプのゲーム装置では、従
来、６０fpsの接触センサーが用いられており、このセ
ンサーのサンプリングレートでは、ナイキスト限界でも
２２５（＝60/2×60×4/3）拍までの曲の３２分音符ま
でしか判定できず、タイミングよく動けたかどうかを精
度よく測定するためには、もっと遅い曲か１６分音符で
判定する等、判定の分解能を落とすしかなかった。

【０１５７】しかし、本発明を適用することにより、ゲ
ーム装置１は、３０fps読み出し、Ｎ＝４、の多重露光
撮影を実現すれば、ナイキスト限界ぎりぎりで４５０
（＝120/2×60×4/32）拍までの曲の３２分音符を判定
できることになる。これにより、ゲーム装置１による判
定の誤差範囲は、人間の感覚の誤差範囲内に抑えられる
ようになる。

【０１５８】なお、本発明をダンス判定ゲームを実行す
るゲーム装置を例に挙げて説明したが、ダンス判定ゲー
ム以外にも他のゲームを実行するゲーム装置に本発明を
適用できることはいうまでもない。例えば、楽器の演奏
シミュレーション、スポーツのシミュレーション或いは
釣りのシミュレーション等、使用者の体を使って入力情
報を獲得できるようなあらゆるシミュレーションゲーム
を実行するゲーム装置に本発明を適用することもでき
る。

【０１５９】次に、任意のタイミングで撮像する場合に
ついて説明する。図２９中（Ａ）には、従来の固定され
たタイミングにより撮像する場合を説明するための図を
示し、図２９中（Ｂ）には、本発明が適用されたゲーム
装置が任意のタイミングで撮像する場合を説明するため
の図を示している。

【０１６０】従来では、図２９中（Ａ）に示すように、
前の画像１０１０₁と後の画像１０１０₂とは１／３０秒
間隔で固定のタイミングにより撮像がなされており、最
初の撮像から１／３０秒までの間の任意のタイミングで
の撮像は不可能であった。

【０１６１】しかし、本発明が適用されたゲーム装置
は、任意のタイミングにて撮像を行うことができる。す
なわち、ゲーム装置は、図２９中（Ｂ）に示すように、
画像１０１０₃を任意のタイミングで得ることができ
る。これは、図２４や図２６を用いて説明した非同期に
よる撮像技術を利用することにより実現される。なお、
任意のタイミングにより得た画像の直前の画像（本来の
固定のタイミングにより撮像された画像）１０１０
₁は、掃き捨てられるため読めない。しかし、任意のタ
イミングにより得た画像１０１０₃の後の画像１０１０₄
は、通常の撮像タイミングとして、１/３０秒のＣＣＤ
の読み取りタイミングに合わせて読み取られる。

【０１６２】従来の撮像装置を使用した場合、１／３０
秒等のＣＣＤの読み出しタイミングで得た画像からだけ
しか特徴点の位置検出ができなかった。また、上述した
ように、多重露光撮影により撮像した場合でも、１／３
０秒等のＣＣＤの読み出しタイミングをＮ＝４程度まで
の小さな整数で時分割したタイミングで得た画像からだ
けしか位置検出ができなかった。このように特徴点の位
置検出が制限されたのでは、精度よく動き検出をするこ
とはできない。

【０１６３】しかし、本発明を適用したゲーム装置は、
任意のタイミングで撮像することができるので、任意の
タイミングでの使用者の特徴点の位置を測定でき、例え
ば、補間で特徴点の位置を類推するのに比べ、より高精
度に動き検出ができる。また、ゲーム装置は、決定的な
瞬間をトリガにして動き検出をかけることもできる。

【０１６４】以上のような高サンプリングレートによる
撮像が可能とされることにより実現されるゲームについ
て説明する。いわゆるピッチング判定ゲームを例に挙げ
て説明する。ピッチング判定ゲームとは、例えば、ボー
ルを投げた際のピッチングフォームを判定するゲームで
ある。

【０１６５】このゲーム装置は、図３０に示すように、
使用者がボール３１を投げたことを検出する。例えば、
使用者の手からボールが離れた瞬間は、電磁共鳴センサ
ー３２により検出する。そして、ゲーム装置１は、その
ような電磁共鳴センサー３２の検出信号をトリガとし
て、任意のタイミングによる撮像が可能な非同期シャッ
ターが適用された撮像部４により投球の瞬間を撮影す
る。

【０１６６】これにより、図３０に示すように、画像表
示部（以下、モニターという。）３には、使用者のフォ
ーム３ｄと、投球された瞬間のボール３ｃとからなる投
球の瞬間の画像が映し出される。さらに、モニター３に
は、同一画面内に、投球速度が表示される。例えば、投
球速度は、投球した瞬間のシャッタータイミングにより
撮像された画像と、次のフレームの画像を用いること
で、特徴点をボールとする動き検出を行うことにより求
めることができる。

【０１６７】従来のこのタイプのゲーム装置では、スピ
ードセンサーと画像の撮像装置が全く非同期に動いてい
るため、撮影される投球フォームは、ＣＣＤの読み出し
タイミングと投球のタイミングによって一様ではなかっ
た。また、ゲーム装置は、スピードセンサーが別途必要
なため、高価で大掛かりな装置になっていた。

【０１６８】しかし、ゲーム装置１は、本発明を適用す
ることにより、常に投球に対して同じタイミングで撮像
できるので、使用者は自分の投球フォームを正確に把握
できる。また、ゲーム装置は、投球速度を撮像部４によ
り得た撮影画像により得ているので、安価なものとして
構成され、これにより、使用者にサービスを安価に提供
することができる。

【０１６９】なお、本発明が適用されるゲーム装置１に
ついては、上述の例に限定されないことはいうまでもな
い。例えば、多重露光撮影により投球フォームを撮像す
るようにすることもできる。

【０１７０】また、投球の瞬間を検出する検出手段とし
て電磁共鳴センサーを挙げて説明したが、これに限定さ
れない。例えば、投球を検出する検出手段として、赤外
線センサー等の非接触センサーや、すだれ状の接触セン
サーであってもよい。また、ボール３１に紐がついてい
て、ボール３１が投球された際の張力を利用して投球の
瞬間を検知するセンサーであってもよい。また、撮像部
４により撮像した画像で予測した投球タイミングをトリ
ガにすることもできる。また、ゲームにより撮像対象と
されるものとしては、野球のピッチングフォーム以外
に、バスケットの投球フォーム、ボーリングの投球フォ
ーム、サッカーボールのキックのフォーム、野球のバッ
ティングフォーム、ゴルフのショットのフォーム、テニ
スのショットのフォーム、卓球のショットのフォーム、
バトミントンのショットのフォーム或いはダンスのきめ
のステップ等が挙げられる。

【０１７１】

【発明の効果】本発明に係る動き検出装置は、非同期の
シャッターにより任意のタイミングで撮像を行う撮像部
から出力された時間的に異なる撮影画像を比較して動き
検出を動き検出手段により行うことにより、任意のタイ
ミングにより撮像された撮影画像に基づいて動き検出を
することができる。

【０１７２】また、本発明に係る動き検出方法は、非同
期のシャッターにより任意のタイミングで撮像を行う撮
像工程と、撮像工程にて出力された時間的に異なる撮影
画像を比較して動き検出をする動き検出工程とを有する
ことにより、任意のタイミングにより撮像された撮影画
像に基づいて動き検出をすることができる。

【０１７３】また、本発明に係る動き検出装置は、撮像
部により、撮像のための同期信号の一周期内において複
数の撮像を行う多重露光撮影により撮像を行い、撮像部
にて一周期内において撮像された時間的に異なる撮影画
像を比較して動き検出を動き検出手段により行うことに
より、撮像のための同期信号の周期より短い時間間隔で
撮像された撮影画像に基づいて動き検出をすることがで
きる。

【０１７４】また、本発明に係る動き検出方法は、撮像
のための同期信号の一周期内において複数の撮像を行う
多重露光撮影により撮像を行う撮像工程と、撮像工程に
て一周期内において撮像された時間的に異なる撮影画像
を比較して動き検出をする動き検出工程とを有すること
により、撮像のための同期信号の周期より短い時間間隔
で撮像された撮影画像に基づいて動き検出をすることが
できる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態のゲーム装置の外観
を示す斜視図である。

【図２】上述のゲーム装置の構成を示すブロック図であ
る。

【図３】多重露光撮影を説明するために使用した図であ
る。

【図４】撮影画像を取り込む際の処理手順を示すフロー
チャートである。

【図５】動き検出を行うための上述のゲーム装置の具体
的な構成を示すブロック図である。

【図６】動き検出をして、その動き検出結果をゲームに
利用するまでの処理手順を示すフローチャートである。

【図７】撮影画像からベクトル場を算出して、動きベク
トルを求め、当該動きベクトルをゲームに利用する場合
の処理手順を示すフローチャートである。

【図８】ベクトル場の概念図を示す図である。

【図９】濃度変化から動きベクトルを算出する手順を説
明するために使用した特性図である。

【図１０】本発明の第２の実施の形態であるゲームシス
テムの外観を示す図である。

【図１１】上述のゲームシステムの構成を示すブロック
図である。

【図１２】動き検出を行うための上述のゲームシステム
の具体的な構成を示すブロック図である。

【図１３】動き検出の機能を有しているカメラ一体型ビ
デオ装置を説明するために使用したゲームシステムの外
観を示す図である。

【図１４】撮影画像を取り込む際の処理手順であって、
取り込まれた画像の圧縮工程を含むフローチャートであ
る。

【図１５】動き検出をして、その動き検出結果をゲーム
に利用するまでの処理手順であって、圧縮画像を展開す
る工程を含むフローチャートである。

【図１６】撮影画像からベクトル場を算出して、動きベ
クトルを求め、当該動きベクトルをゲームに利用する場
合の処理手順であって、圧縮画像を展開する工程を含む
フローチャートである。

【図１７】投光部を備えたゲーム装置の外観を示すゲー
ム装置である。

【図１８】特徴点の特定を容易にするために、使用者に
されるマーカーを備えたゲーム装置の外観を示す斜視図
である。

【図１９】使用者に特徴点の動作を看板により要求する
ゲーム装置の外観を示す斜視図である。

【図２０】使用者に特徴点の動作を画像表示により要求
するゲーム装置の外観を示す斜視図である。

【図２１】非同期シャッターによる撮影及び多重露光撮
影を行うように構成されている撮像装置の構成を示すブ
ロック図である。

【図２２】上述の撮像装置の固体撮像装部における受光
・電荷転送部を説明するために使用した図である。

【図２３】上述の受光・電荷転送部の一部を示す図であ
る。

【図２４】上述の撮像装置の動作説明に使用したタイム
チャートである。

【図２５】図２４に示したタームチャートの一部詳細を
示すタイムチャートである。

【図２６】上述の撮像装置の動作説明に使用したタイム
チャートである。

【図２７】上述の撮像装置の動作説明に使用したタイム
チャートである。

【図２８】多重露光撮影を行う撮像部を備えたゲーム装
置の外観を示す斜視図である。

【図２９】非同期シャッターによる撮影を説明するため
に使用した図である。

【図３０】非同期シャッターの撮像部を備えたゲーム装
置の外観を示す斜視図である。

【符号の説明】

３画像表示部、４撮像部、１１ＣＣＤ部、１２
Ｓ／Ｈ部、１３ＡＧＣ部、１４Ａ／Ｄ部、１５信
号処理部、１６ＴＧ部、１７撮像駆動部、１８撮
像制御部、１９ＳＤＲＡＭ、２０メインメモリ、２
１機械的Ｉ／Ｆ部、２２ゲーム制御部、２４ＲＯ
Ｍ、２５画像処理部、２６フレームメモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｃ 5/335 5/335 ＺＱ 7/18 7/18 ＰＧＦターム(参考） 2C001 AA00 AA03 AA05 AA15 BA07 BB00 BB05 CA00 CA08 CA09 CB01 CC02 CC08 5C022 AA01 AA14 AA15 AB12 AB17 AB20 AB22 AB63 AB64 AB65 AB66 AC42 AC52 AC54 AC69 CA00 5C024 AX07 CX53 CX55 CY20 EX42 GY01 HX22 HX23 HX29 HX58 5C054 CC05 CD03 EB05 EF06 EH02 FC01 FC12 FC13 FF07 GA04 HA15 HA31 5L096 AA03 BA01 CA04 HA02

Claims

【特許請求の範囲】

【請求項１】非同期のシャッターにより任意のタイミ
ングで撮像を行う撮像部と、上記撮像部から出力された時間的に異なる撮影画像を比
較して動き検出をする動き検出手段とを備えたことを特
徴とする動き検出装置。
【請求項２】上記撮像部は、受光により電荷を蓄積す
る複数の受光素子部、電荷を転送する電荷転送部、上記
複数の受光素子部に蓄積された電荷を上記電荷転送部に
読み出す電荷読出ゲート部、及び、上記電荷転送部によ
り転送された電荷を撮像出力信号に変換する出力部を含
む受光・電荷転送部を備えた固体撮像部と、ライン同期信号及びフレーム同期信号を発生する同期信
号発生部と、上記フレーム同期信号と同位相若しくは上記フレーム同
期信号との間に一定の位相差を有した第１の内部フレー
ム同期信号及び上記フレーム同期信号とは非同期とされ
る第２の内部フレーム同期信号を選択的に発生するとと
もに、当該第１の内部フレーム同期信号若しくは第２の
内部フレーム同期信号に同期した電荷読出タイミング信
号及び電荷転送タイミング信号を送出するタイミング信
号発生部と、当該タイミング信号発生部から送出される電荷読出タイ
ミング信号及び電荷転送タイミング信号に夫々応じたゲ
ート駆動信号及び電荷転送駆動信号を形成して、当該ゲ
ート駆動信号及び電荷転送駆動信号を上記固体撮像部に
おける電荷読出ゲート部及び電荷転送部に夫々供給する
駆動信号形成部と、受光指令信号が供給されるとともに、上記タイミング信
号発生部についての動作制御を行う動作制御部とを備
え、上記動作制御部が、上記受光指令信号が供給されると
き、当該受光指令信号に応じて上記タイミング信号発生
部に所定の期間に亙って上記第２の内部フレーム同期信
号を発生するとともに当該第２の内部フレーム同期信号
に同期した電荷読出タイミング信号及び電荷転送タイミ
ング信号を送出する状態をとらせ、それにより上記固体
撮像部の受光・電荷転送部についての受光期間を上記第
２の内部フレーム同期信号に応じて設定される期間とな
されており、上記動き検出手段は、上記撮像部により得た撮影画像に
基づいて動き検出をすることを特徴とする請求項１記載
の動き検出装置。
【請求項３】上記タイミング信号発生部が、電荷転送
タイミング信号として電荷掃出し転送タイミング信号と
信号電荷転送タイミング信号とを送出し、駆動信号形成
部が、上記電荷掃出し転送タイミング信号に応じた掃出
し転送駆動信号を固体撮像部における電荷転送部に供給
して、当該電荷転送部における電荷が掃き出される状態
となし、また、上記信号電荷転送タイミング信号に応じ
た信号電荷転送駆動信号を上記固体撮像部における電荷
転送部に供給して、当該電荷転送部における電荷が信号
電荷として出力部へと転送される状態となすことを特徴
とする請求項２記載の動き検出装置。
【請求項４】上記動作制御部が、受光指令信号が供給
されるとき、先ず、タイミング信号発生部に第２の内部
フレーム同期信号に同期した電荷読出タイミング信号及
び電荷掃出し転送タイミング信号を送出させて、固体撮
像部における複数の受光素子部及び電荷転送部における
電荷が掃き出される状態となし、続いて、上記固体撮像
部の受光・電荷転送部についての受光期間が経過したと
き、上記タイミング信号発生部に第２の内部フレーム同
期信号に同期した電荷読出タイミング信号及び信号電荷
転送タイミング信号を送出させて、上記固体撮像部にお
ける複数の受光素子部に蓄積された電荷を信号電荷とし
て上記電荷転送部を通じて出力部へと転送される状態と
なすことを特徴とする請求項３記載の動き検出装置。
【請求項５】上記動作制御部が、タイミング信号発生
部に第２の内部フレーム同期信号に同期した時点から電
荷読出タイミング信号及び電荷掃出し転送タイミング信
号を継続的に送出する受光指令待状態をとらせて、固体
撮像部における複数の受光素子部及び電荷転送部におけ
る電荷が継続的に掃き出される状態となし、上記タイミ
ング信号発生部が上記受光指令待状態にあるもとで受光
指令信号が供給されるとき、上記タイミング信号発生部
に上記電荷読出タイミング信号及び電荷掃出し転送タイ
ミング信号の送出を停止させて、上記固体撮像部の受光
・電荷転送部についての受光期間を開始させ、当該受光
期間が経過したとき、上記タイミング信号発生部に上記
電荷読出タイミング信号及び信号電荷転送タイミング信
号を送出させて、上記固体撮像部における複数の受光素
子部における電荷が信号電荷として上記電荷転送部を通
じて出力部へと転送される状態となすことを特徴とする
請求項３記載の動き検出装置。
【請求項６】上記動き検出手段は、ベクトル演算手段
により動き検出をすることを特徴とする請求項１記載の
動き検出装置。
【請求項７】非同期のシャッターにより任意のタイミ
ングで撮像を行う撮像工程と、上記撮像工程にて出力された時間的に異なる撮影画像を
比較して動き検出をする動き検出工程とを有することを
特徴とする動き検出方法。
【請求項８】撮像のための同期信号の一周期内におい
て複数の撮像を行う多重露光撮影により撮像を行う撮像
部と、上記撮像部にて上記一周期内において撮像された時間的
に異なる撮影画像を比較して動き検出をする動き検出手
段とを備えたことを特徴とする動き検出装置。
【請求項９】上記撮像部は、受光により電荷を蓄積す
る複数の受光素子部、電荷を転送する電荷転送部、上記
複数の受光素子部に蓄積された電荷を上記電荷転送部に
読み出す電荷読出ゲート部、及び、上記電荷転送部によ
り転送された電荷を撮像出力信号に変換する出力部を含
む受光・電荷転送部を備えた固体撮像部と、ライン同期信号及びフレーム同期信号を発生する同期信
号発生部と、上記フレーム同期信号と同位相若しくは上記フレーム同
期信号との間に一定の位相差を有した第１の内部フレー
ム同期信号及び上記フレーム同期信号とは非同期とされ
る第２の内部フレーム同期信号を選択的に発生するとと
もに、当該第１の内部フレーム同期信号若しくは第２の
内部フレーム同期信号に同期した電荷読出タイミング信
号及び電荷転送タイミング信号を送出するタイミング信
号発生部と、当該タイミング信号発生部から送出される電荷読出タイ
ミング信号及び電荷転送タイミング信号に夫々応じたゲ
ート駆動信号及び電荷転送駆動信号を形成して、当該ゲ
ート駆動信号及び電荷転送駆動信号を上記固体撮像部に
おける電荷読出ゲート部及び電荷転送部に夫々供給する
駆動信号形成部と、受光指令信号が供給されるとともに、上記タイミング信
号発生部についての動作制御を行う動作制御部とを備
え、上記動作制御部が、上記受光指令信号が供給されると
き、当該受光指令信号に応じて上記タイミング信号発生
部に所定の期間に亙って上記第２の内部フレーム同期信
号を発生するとともに当該第２の内部フレーム同期信号
に同期した電荷読出タイミング信号及び電荷転送タイミ
ング信号を送出する状態をとらせ、それにより上記固体
撮像部の受光・電荷転送部についての受光期間を上記第
２の内部フレーム同期信号に応じて設定される期間とな
され、且つ上記第２の内部フレーム同期信号に基づいて
設定される所定の単位期間において、タイミング信号発
生部に電荷読出タイミング信号を所定回数だけ繰り返し
送出させて、固体撮像部における複数の受光素子部に蓄
積される電荷が上記所定回数だけ間欠的に電荷転送部へ
と読み出されて該電荷転送部に蓄積される状態となし、
その後、タイミング信号発生部に信号電荷転送タイミン
グ信号を送出させて、上記電荷転送部に蓄積された電荷
が信号電荷として出力部へと転送される状態をなし、上記タイミング信号発生部が、電荷転送タイミング信号
として電荷掃出し転送タイミング信号と信号電荷転送タ
イミング信号とを送出し、駆動信号形成部が、上記電荷
掃出し転送タイミング信号に応じた掃出し転送駆動信号
を固体撮像部における電荷転送部に供給して、当該電荷
転送部における電荷が掃き出される状態となし、また、
上記信号電荷転送タイミング信号に応じた信号電荷転送
駆動信号を上記固体撮像部における電荷転送部に供給し
て、当該電荷転送部における電荷が信号電荷として出力
部へと転送される状態をなすことを特徴とする請求項８
記載の動き検出装置。
【請求項１０】上記動き検出手段は、ベクトル演算手
段により動き検出をすることを特徴とする請求項８記載
の動き検出装置。
【請求項１１】撮像のための同期信号の一周期内にお
いて複数の撮像を行う多重露光撮影により撮像を行う撮
像工程と、上記撮像工程にて上記一周期内において撮像された時間
的に異なる撮影画像を比較して動き検出をする動き検出
工程とを備えたことを特徴とする動き検出方法。