JP4054091B2 - Image playback device - Google Patents

Image playback device Download PDF

Info

Publication number
JP4054091B2
JP4054091B2 JP24448097A JP24448097A JP4054091B2 JP 4054091 B2 JP4054091 B2 JP 4054091B2 JP 24448097 A JP24448097 A JP 24448097A JP 24448097 A JP24448097 A JP 24448097A JP 4054091 B2 JP4054091 B2 JP 4054091B2
Authority
JP
Japan
Prior art keywords
image
reproduction
display
image data
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP24448097A
Other languages
Japanese (ja)
Other versions
JPH1188842A (en
Inventor
明夫 寺根
英明 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP24448097A priority Critical patent/JP4054091B2/en
Publication of JPH1188842A publication Critical patent/JPH1188842A/en
Application granted granted Critical
Publication of JP4054091B2 publication Critical patent/JP4054091B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、固体撮像素子を用いた撮像装置で撮像され、記録媒体に記録された画像を再生する画像再生装置に関する。
【0002】
【従来の技術】
近年、固体撮像素子を撮像手段に用い、この固体撮像素子で撮像した画像をメモリカードなどの画像の記憶媒体(記録媒体)に記録するデジタルカメラなどの電子的撮像装置が広く用いられるようになった。
【0003】
この場合、画像データをそのまま記憶すると、そのデータ量が大きいため、記録できる駒数(枚数)が非常に制約されてしまうので、一般に画像圧縮回路で圧縮して画像データ量を小さくして記憶する。
最近の電子的撮像装置にはLCD等の表示装置を備え、記録媒体に記録された画像データを再生表示できる機能を備えたものが多くある。
【0004】
そして、ユーザが記録媒体に記録された画像を確認等するために画像を連続再生させるスイッチ操作を行った場合には、記録媒体に圧縮された画像データを読み出し、伸長回路で伸長する処理を行って圧縮前の画像を復元した後、一定時間ディスプレイに表示し、次の画像データに対しても同様に処理して記録媒体に記録された画像を順次表示する。
【0005】
このように、記録された画像を連続再生表示する場合、画像を復号化処理した画像データが再生可能ではあるが、画質が悪いのもがあったり、再生不能である場合にはそのまま表示すると、ノイズが目立つ画像を表示することになるため、そのような場合には全面を青にしたブルーバック表示を行う等していた。
【0006】
従来例では画像を復号化処理した画像データが再生に適しないと判断した場合には、その情報をメモリ等に記憶しておき、次に記録媒体から再びその画像データを表示する際には、メモリ等に記憶した情報により、全面を青にしたブルーバック表示を行う等していた。
【0007】
【発明が解決しようとする課題】
しかしながら、再生画質が悪い場合でも、その画像データそのものに、欠陥がある場合以外にも、一過性による原因で読み出された画像データがたまたま良くない画像データとなってしまう場合もある。
【0008】
例えば、メモリカードの接続状態がたまたま接触不良に近い状態であったり、その読み出し時では何らかの原因でノイズが多かったために画像データの状態が良くなかった場合もある。このような一過性の原因の場合には、少し時間をおいた状態等の条件が異なる時に、読み出しを行った場合には、より良い画像データが得られる場合があり得る。これに対し、従来例ではメモリなどに再生不能という情報を記憶した場合には、次回にはその情報を参照して、再び複合化処理を行わないようにしているので、単に一過性の原因のために再生不能と判定された貴重な画像を再生することができないという問題があった。
【0009】
(発明の目的)
本発明は、上述した点に鑑みてなされたもので、再生不能となった画像があっても、再生画像がとぎれることなく表示され、観察する場合の不快感を解消するこのができ、また上記再生不能となった原因が単に一過性のものであった場合には、次に再生できる可能性を確保した画像再生装置を提供することを目的としている。
【0010】
上記目的を達成するため本発明の一態様による画像再生装置は、記憶手段に記憶された複数の画像データを連続して再生する画像再生装置において、
上記再生された画像を表示する表示手段と、
上記複数の画像データを一定時間毎に連続して循環して再生し、上記表示手段に表示させる連続再生モードに設定する設定手段と、
上記連続再生モードに設定された際に、上記記憶手段より読み出された画像データの再生処理を行う再生処理手段と、
上記再生処理手段によって処理された処理画像データが再生可能か否かを、連続再生を行う度に再生画像として所定のフォーマットを満たしているか否かによって判定する判定手段と、
を具備し、
上記判定手段によって上記処理画像データが再生可能でないと判定された際には、当該処理画像データを上記表示手段へ送出することを行わない或いは禁止して、上記再生処理手段によって上記処理画像データの次の画像データの再生処理を開始し、当該次の画像データが上記判定手段によって再生可能であると判定された場合には、上記表示手段に現在表示されている画像の表示を、当該再生可能であると判定された上記次の画像に更新する。
また、本発明による他の態様による画像再生装置は、記憶手段に記憶された複数の画像データを連続して再生する画像再生装置において、
上記再生された画像を表示する表示手段と、
上記複数の画像データを一定時間毎に連続的に循環して再生し、上記表示手段に表示させる連続再生モードに設定する設定手段と、
上記連続再生モードに設定された際に、上記記憶手段より読み出された画像データの再生処理を行う再生処理手段と、
上記再生処理手段によって処理された処理画像が再生可能か否かを、連続再生を行う度に再生画像として所定のフォーマットを満たしているか否かによって判定する判定手段と、
具備し、
上記判定手段によって上記処理画像データが再生可能でないと判定された際には、当該処理画像データを上記表示手段へ送出することを行わない或いは禁止して、上記再生処理手段に当該処理画像データを再度再生処理させ、当該再度再生処理された画像データが、上記判定手段によって再生可能であると判定された場合には、上記表示手段に現在表示されている画像の表示を、当該再度再生処理された画像に更新する。
【0011】
また、本発明の他の態様による画像再生装置は、記憶手段に記憶された複数の画像を連続して再生する画像再生装置において、
上記再生された画像を表示する表示手段と、
上記複数の画像を一定時間毎に連続的に循環して再生し、上記表示手段に表示させる連続再生モードに設定する設定手段と、
上記連続再生モードに設定された際に、上記記憶手段より読み出された画像の再生処理を行う再生処理手段と、
上記再生処理手段によって処理された処理画像が再生可能か否かを判定する判定手段と
具備し
上記判定手段によって上記処理画像が再生可能でないと判定された際には、当該処理画像を上記表示手段へ送出することを行わない或いは禁止して、上記再生処理手段に当該処理画像を再度再生処理させ、当該再度再生処理された画像が、上記判定手段によって再生可能であると判定された場合には、上記表示手段に現在表示されている画像の表示を、上記一定時間の経過後に当該再度再生処理された画像に更新する。
【0017】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
図1ないし図4は本発明の第1の実施の形態に係り、図1は第1の実施の形態の画像再生装置の機能を備えた電子的撮像装置1の全体構成を示し、図2は連続再生の場合の処理内容をフローチャートで示す、図3は連続再生の動作の説明図を示し、図4は連続再生モードにおける再生表示される画像の具体例を示す。
【0018】
図1に示すように本実施の形態の画像再生装置の機能を備えた電子的撮像装置1は、被写体像を結像し、焦点調節にも使用されるフォーカシングレンズを備えた光学系2と、この光学系2によって撮像面に結像された被写体像を光電変換する固体撮像素子と、その固体撮像素子の出力信号に対しアナログ信号からデジタル信号に変換して出力するA/D変換器とを有する撮像部3と、この撮像部3から出力されるデジタル信号に各種の処理を施す信号処理部4と、この信号処理部4の出力データを圧縮すべく(JPEG圧縮回路等で)符号化を行い、また圧縮して記録されているデータを再び伸張するために復号化を行う符号化/復号化部5と、この符号化/復号化部5により符号化されたデータを記録して保存しておくものであって、本電子的撮像装置1に着脱自在で、例えばフラッシュメモリ等を用いたメモリカードで構成される記録媒体6と、上記信号処理部4の出力を受けて画像を表示するための信号を出力するものであって駒番号や警告表示用のキャラクタ等を生成するキャラクタジェネレータを内蔵する駒番号重畳手段を備えた表示制御部7と、この表示制御部7の出力に基づいて制御され画像や駒番号等の表示を行う該電子的撮像装置1の背面側に配設された例えば液晶表示素子等で構成されるディスプレイ8と、上記光学系2のフォーカシングレンズの駆動を行うフォーカシングモータ9と、上述した各回路を含む電子的撮像装置1の統括的な制御を行う制御部10と、この制御部10に接続され、外部の図示しないプリンタに接続するためのプリンタインタフェース16と、以下に説明する各種スイッチとを有している。
【0019】
上記各種の操作スイッチは、この電子的撮像装置1のモードを撮影モードと再生モードとに切り換えるための撮影/再生切換スイッチ11と、順序が規定されている対象、例えば駒番号等を昇順させて次の駒を再生表示させる昇順スイッチ12と、逆に降順させて次の駒を再生表示させる降順スイッチ13と、一定時間毎に連続的に循環して再生表示させる連続再生スイッチ14と、電子的撮像装置1に撮影して記録させる旨を指示入力するためのトリガスイッチ15等を有している。
【0020】
上記撮影/再生切換スイッチ11は、例えば電子的撮像装置1の上面の略中央部に略リング状をなす回動スイッチとして配設され、上記トリガスイッチ15は右手で電子的撮像装置1を把持したときにその人差し指で押圧可能となる位置に押圧スイッチとして配設され、上記昇順スイッチ12と降順スイッチ13は上記ディスプレイ8の右側部に押圧スイッチとして各配列されている。
【0021】
本実施の形態では撮影/再生切換スイッチ11で再生モードに設定し、連続再生スイッチ14を操作した場合には、図3(A)等に示すように再生処理された画像をサイクリック(循環的)に順次再生表示する。
【0022】
本電子的撮像装置1には、画像を連続して再生表示する表示手段としてのディスプレイ8と、符号化された複数の画像を記憶する記憶手段としての記録媒体6と、この記憶手段より符号化/復号化部5により画像信号(画像データ)を連続して(或いは順次)読み出し、復号化処理して信号処理部4を介して制御部10にその復号化した結果の情報を送り、制御部10で再生可能かどうかを判定し、この判定結果に応じて再生可能な画像を表示制御部7を介して表示手段に送出するか否かを制御部10で制御し、連続して画像を順次再生する場合には再生対象となる画像が再生可能か否かを必ず判定する画像再生装置を備えていることが特徴となっており、この構成により、単に一過性の原因で再生不能となった画像に対して、再生できる可能性を確保している。
【0023】
なお、制御部10で再生可能か否かの判定を行うようにしているが、信号処理部でその判定を行うようにしても良いし、再生可能か否かの判定結果に応じて再生可能な画像を表示制御部7を介して表示手段に送出する否かを制御することも信号処理部4で行うようにしても良い。
【0024】
次に、このような構成の電子的撮像装置1による動作についてまず、撮像(画像記録)動作を説明する。
撮影を行う際には、撮影/再生切換スイッチ11により、電子的撮像装置1のモードを撮影モードに設定する。
【0025】
これにより上記撮像部3やフォーカシングモータ9等の撮像系に電力が供給されて、光学系2により撮像部3の撮像面に結像された被写体像はデジタル電気信号に変換され、信号処理部4において信号処理が行われた後に、表示制御部7を介してディスプレイ8に表示される。ユーザは、このディスプレイ8の表示を見ながら、被写体の構図等を決定する。
【0026】
一方、上記信号処理部4の出力は制御部10にも入力されて、該制御部10において焦点位置が適切であるか否かが判断され、適切でない場合には、フォーカシングモータ9を制御して光学系2のフォーカシングレンズを駆動し、合焦位置になるように制御する。
【0027】
そして、焦点位置や構図等が良好となってユーザが画像の記録を行いたい場合には、トリガスイッチ15を押下すると、信号処理部4の出力が符号化/復号化部5により符号化されて、画像データが圧縮され、所定のフォーマットに基づいて、例えば1画像につき1ファイル単位として記録媒体6に記録される。
【0028】
このとき、この画像ファイルには、上記画像データと、この画像データに対して規定された駒番号を含む付加データとが、データとして含まれるようになっている。
【0029】
次に、本電子的撮像装置1により記録した画像を再生する際の動作について説明する。
再生を行う際には、撮影/再生切換スイッチ11により、電子的撮像装置1のモードを再生モードに設定する。また、図示しない再生駒番号指定スイッチを操作すると、指定された駒番号の画像の再生が開始されて、該駒番号に対応する画像データが記録媒体6から読み出される。
【0030】
ここで例えば2駒目の番号を指定した場合には、2駒目の画像データが読み出されて、符号化/復号化部5により復号化され、信号処理部4と表示制御部7を介してディスプレイ8には2駒目の画像が表示される。このとき、表示制御部7は、内蔵するキャラクタジェネレータにより駒番号(この場合には2)に対応するキャラクタを生成して、画像データに重畳して表示を行う。
【0031】
一方、この再生モードにおいて、連続再生スイッチ14をONした場合には図2に示すフローチャートに従って、一定の表示時間毎に順次画像をサイクリックに再生表示する。
【0032】
まず、制御部10(のCPU)は最初のステップS1の表示画像中であるか否かの判断を行う。そして、表示中の画像が無い場合にはウエートをかけるか否かに対応する変数(或いはフラグ)wに0を設定し、さらにステップS3のブルーバック表示の処理を行い、ステップS5に移る。
【0033】
このブルーバック表示の処理では表示制御部7の画像メモリに全面青に対応した画像データを書込み、この画像データを繰り返しディスプレイ8に表示して、ブルーバック表示を行う。
【0034】
ステップS1の判断で表示中の画像がある場合には、ステップS4に示すように変数wに1をセットし、ステップS5のタイマリセット、或いは計測スタートの処理に移る。
制御部10はその内部のタイマをリセットして再生表示する時間の計測を開始し、符号化/復号化部5に対し、ステップS6の次駒再生処理を開始させる。なお、初回の処理に際して次コマの再生処理とは、すなわち第1駒の再生処理である。
【0035】
本実施の形態では圧縮された1駒の画像データを複号化して再生するまでの時間は各駒の画像をディスプレイ8に表示する表示時間よりは短くなるように設定している、つまり、再生処理時間<表示時間としている。このように設定することにより、再生処理及び再生処理後の再生可能か否かの判定のための時間を十分に確保している。
例えば、再生処理に要する時間は図3では2秒(2s)程度としており、表示時間はこれに対し十分な時間になるよう5秒(5s)に設定している。
【0036】
ステップS6の次駒再生処理を開始した後、次のステップS7で制御部10はタイムUPか否かの判断を行う。つまり、所定の表示時間に達したか否かの判断を行う。
【0037】
この判断は通常の場合にはタイムUPに該当しないで、ステップS10の再生処理完了の判断処理に移る。一方、ステップS7の判断で、タイムUPした場合にはステップS8の警告表示をONとして、警告表示を行わせ、次のステップS9で変数wに0をセットしてステップS10に移る。
ステップS10で再生処理が完了していない場合にはステップS7に戻り、完了している場合には次のステップS11の再生可能か否かの判断を行う。
【0038】
例えば、再生処理の際に符号化/複号化部5の複号化部は複号化の処理の結果の情報を信号処理部4を介して制御部10に送り、制御部10は処理結果が例えば再生画像として所定のフォーマットを満たしているか等をチェックして、再生処理された画像データが再生可能か否かの判断を行う。
【0039】
そして、再生可能でないと判断した場合には、複号化の処理の結果、画質の良くない画像データが生成されてもその画像データを表示制御部7の画像メモリ7に送出することを行わない或いは禁止して、ステップS6に戻り、直ちに次駒再生処理を開始する。このため、その画像データは廃棄されるのと同等の結果になる(複号化の処理の途中で画像データの生成が不可能となるような場合もあり、そのような場合は例えばその時点で再生処理が中断され、適宜行われるエラー処理の中で再生不可能との情報が制御部10に送られる)。
【0040】
一方、ステップS11の判断で、再生可能と判断した場合には、次のステップS12で、警告表示をOFFにする処理をした後、さらに次のステップS13で変数wが0か否かの判断を行う。
【0041】
変数wが0でない場合には次のステップS14でタイムUPか否かの判断を行い、タイムUPするまで待って次のステップS15に移る。一方、変数wが0の場合には、ステップS15の表示更新の処理を行う。
【0042】
この表示更新の処理では、表示制御部7を介してディスプレイ8に表示されている再生画像を更新する。具体的には符号化/複号化部5の複号化部で複号化された、つまり再生処理された画像データが信号処理部4を介して表示制御部7の画像メモリに格納(送出)される。この場合、この画像データで前の画像データが更新される。この画像メモリに格納された画像データは図示しないD/A変換器を介してアナログの画像信号に変換され、ディスプレイ8で表示されることにり、表示の更新となる。
【0043】
ステップS15の表示更新の処理の後、次のステップS16で変数wに1がセットされた後、ステップS5に戻り、再びタイマリセットして表示時間に対する計測スタートとなり、次の駒の再生処理を開始する。
【0044】
このような連続再生モードでは、ステップS1の判断で、表示中の画像がないと判断した場合にはステップS3でブルーバック表示を行う。このブルーバック表示を図4の最初の画面で示す。また、図3では表示と再生処理の内容を時間経過と共に示し、表示の最初のBBはブルーバック表示を略記して示している。
【0045】
再生処理により、各駒とも再生可能と判断された場合には、例えば図4(A)に示すように1駒目、2駒目、3駒目の画像が一定時間(例えば5s)毎に順次表示される。
【0046】
次に、再生不能な場合が発生した場合に対する本実施の形態の特徴的な動作内容を図3を参照して説明する。
例えば2駒目が再生不能と判断された場合には、図3(A)或いは図3(B)のようなタイミング図となり、2、3駒目が再生不能と判断された場合には図3(C)のようなタイミング図となり、さらに1駒目以外が再生不能と判断された場合には図3(D)のようになる。
【0047】
なお、図3(A)〜(D)において、表示及び再生処理のタイミング図の横軸は時間経過を示し、1、2等の数字は表示或いは再生処理される駒の番号を示し、また再生処理側で数字の後のNGは再生不能と判断された場合を示している。また、説明を簡単にするために、記録媒体6には1駒目から5駒目までの画像が圧縮して記録されているものとする。
【0048】
最初にブルーバック表示(表示中の画像が無い場合)して、直ちにタイマリセットにより、表示時間の計測を開始し、かつ次駒再生処理(この場合には最初の再生処理となるので、1駒目の再生処理)を開始する。そして、再生処理時間(例えば2秒)の後に、この再生処理された1駒目の画像が表示される。この様子を図3では下から斜め上側の矢印で示している。
【0049】
1駒目の画像が表示されると、直ちに次の2駒目の再生処理が開始する。そして、再生処理時間後にこの2駒目の画像が再生不能と判断される(図3ではNG)と、直ちに次の3駒目の再生処理が開始する。
【0050】
この3駒目の再生処理が再生可能となった場合には、図3(A)に示すように1駒目の表示時間の後に3駒目の画像が表示される。そして、3駒目の表示が行われると、直ちに次の4駒目の再生処理が開始する。
【0051】
この3駒目の再生処理で再生不能の場合には、図3(C)に示すように、直ちに次の4駒目の再生処理を開始する。この4駒目の再生処理を開始すると、その再生処理が終わらない前に所定の表示時間が経過する。この場合には図2のステップS7でタイムUPした場合に該当し、ステップS8の警告表示ONの処理が行われ、再生処理が完了するまで、この状態が続く。つまり、警告表示を行うと共に、前の駒の画像を延長して表示する。
【0052】
前の画像を延長して表示することにより、再生不可能な画像が連続した場合にも、再生画像が途切れることなく、表示でき、観察するユーザに不快感を与えないようにできる。
【0053】
このように延長して前の画像を表示し、かつ警告表示を行う状態の表示画面の具体例としては例えば図4(B)に示すように1駒目の画像中に再生不能の駒、つまり2、3の画像がNGであり、次の画像をサーチしている警告表示を行うようにしても良い。
【0054】
そして、4駒目の画像の再生処理が完了して、その画像が再生可能であると、直ちにその4駒目の画像を表示しかつ5駒目の再生処理を開始する(図3(C)参照)。
【0055】
一方、この4駒目も再生不能であると、図3(D)のように直ちに次の5駒目の画像の再生処理を開始すると共に、警告表示ONの状態が継続する。
そして、5駒目の画像の再生処理が完了して、その画像が再生可能であると、直ちにその5駒目の画像を表示しかつ循環的には次の駒となる1駒目の再生処理を開始する。
【0056】
2、3、4駒及びこの5駒目も再生不能であると、図3(D)のように直ちに次の1駒目の画像の再生処理を開始すると共に、警告表示ONの状態が継続する。そして、1駒目の再生処理が完了してその画像が再生可能であると、警告表示をOFFにし、直ちにこの1駒目の画像が表示されると共に、2駒目の再生処理を開始する。そして、上述した動作を循環的に繰り返す。
【0057】
図3(D)のような場合には1駒目が継続して表示されることになり、このような場合でも、本実施の形態では警告表示を行うので、例えば本撮像装置1が故障して1駒目だけの画像を継続して表示している場合とは異なり、正常に動作していることをユーザは確認できるし、不快感を軽減できる。
【0058】
また、再生可能か否かの判断により、再生不可能と判断した場合には、直ちに次に駒の再生処理を開始することにより、再生不可能な画像が連続した場合にも、すでに表示している画像を延長表示しなければならない事態を最小限に抑制できる。
【0059】
このような再生処理及び画像表示を行う本実施の形態では例えば図3(A)に示すように2駒目が再生不能になった場合にも、循環的に再び1駒目の表示を開始した場合には直ちに2駒目の画像に対して再生処理を開始し、再生処理完了後にその画像が再生可能か否かの判断をして不能であれば直ちに3駒目の再生処理を開始する。つまり、記録媒体6に記録されて再生対象となる画像全てに対して、再生可能か否かの判定を必ず行うようにしている。
【0060】
このような判定を行うことにより、単に一過性の原因(例えば記録媒体6を構成する着脱自在のメモリカードがそのメモリカード受けに接触がたまたま振動などで例えば1つのピンのみが不十分な接触状態になってしまい、再び外力等が加えられると通常の接続状態に戻るような原因とか、連続再生モードを選択した時の周囲の環境がたまたまノイズの発生源がある悪い環境であった場合等)でたまたま再生不能と判断された場合の画像が、その再生不能となった一過性の原因が解消された場合には再生可能な画像となり、その画像を再生表示できるようにしている。
【0061】
例えば、図3(A)で2駒目の画像は最初の再生処理では再生不能と判断され、2回目も同様に再生不能と判断されているが、1回目と2回目の再生処理の間で、再生不能となった一過性の原因が解消された場合には、2回目の再生処理の完了後の再生可能か否かの判定で再生可能となり、図3(B)に示すようにこの2駒目の画像を再生表示することができる。
【0062】
このように過去に撮影されて記録媒体6に圧縮保存された画像は、撮影し直すことが不可能な場合が殆どである。従って、単に、一過性の原因でたまたま再生が不可能になった画像を再生できるメリットは大きい。
【0063】
また、本実施の形態のような機能を備えない従来例では最初に再生不能と判定すると、その判定された情報を記憶しておいて、再びその画像に対し、再生処理する場合にはそれを行わないで再生不能という情報を用いて、ブルーバック表示等で代替していた。
【0064】
このため、一過性で再生不能となった画像が常に再生不能であるような印象をユーザに与え、ユーザは再生不能ということから、その画像の上に新たな画像を記録(オーバライト)して完全に再生できなくしてしまう可能性があった。
【0065】
また、ユーザがオーバライトしないでも、撮像装置側でオーバライトしてしまう場合もあり得る。これに対し、本実施の形態によれば、単に一過性でたまたま再生できない貴重な画像を、完全に再生不能にしてしまうことを未然に防止できる。
【0066】
ここで、上記第1の実施の形態に関連したいくつかの変形例を示す。
上記ではステップS6に於いて行われる再生処理は常に「次コマ」であったが、ステップS11でN(再生不能)と判断された後のすぐ次の回については次のコマではなく、前と同じコマについての再生処理を開始するようにしても良い。すなわち、1つのコマを再度再生処理を行って、なおかつ2回共、再生不能であった場合に次のコマの再生処理に移行する構成である。
【0067】
この第1の変形例では、再生不能なコマに対して再度再生処理を行うから、既に例示したようなサイクリックな連続再生の場合に限らず、任意の連続再生について(すなわち同一コマの再生が1回限りの場合を含めて)一過性の原因による再生不良に対する再生可能性を高める効果がある。
【0068】
第2の変形例は、ステップS6の処理に際し、[次コマ=現在表示中のコマ]であった場合は以下の全てのステップの処理をジャンプして(ただし現在警告表示が出ている場合にはステップS12と同様の警告表示オフのみを行ってから)直ちにステップS5に戻る(この際、その後のステップS6における「次コマ」は当然その次のコマの処理にインクリメントされる)構成である。
【0069】
この第2の変形例では、既に再生表示中の画像が再度再生処理の対象とされた際に、新たに生じた一過性の原因のために再生不能と判断され、そのため再生されるべきコマが飛ばされたり、不当な警告表示がなされたりする不具合を回避できる効果がある(なお詳述すれば、この場合「現在表示中のコマ」とは、「例えば表示用のバッファメモリを大量に有するような構成の装置にあっては、現在実際には表示されてはいないが、既に再生処理が正常に完了したデータとしてバッファメモリ上に展開されている画像」のように、「必ず表示可能なものとして待機中の画像のコマ」を含むものである)。
【0070】
ところで、上記第1、第2の変形例は主として構成に関する例であったが、第3の変形例として主として適用機能に関する変形例を次に示すと、連続再生の例としては上記サイクリック(循環的)に行われるもの以外にも例えば操作者が任意にプログラミングした再生順に従って順次再生を行うプログラム再生が挙げられる。
【0071】
この場合再生順は任意に決められるから、サイクリックでなくても同一のコマが複数回再生対象となることがあるから、上記一過性の原因による再生不良に対する本発明の効果は極めて有意義である。
【0072】
同様に、第4の変形例として、全ての(或いは選ばれた)コマに関して乱数発生プログラムに基づいたランダムな順番で連続再生を行うランダム再生を挙げれば、本発明の適用の意義は上記第3の変形例と同様である。
【0073】
(第2の実施の形態)
次に本発明の第2の実施の形態を説明する。本実施の形態を含む撮像装置の構成は基本的には図1と同様であり、記録媒体6に画像を記録する操作を行った場合には、記録媒体6の記録容量に余裕があると、圧縮された同じ画像を2つの画像ファイルとして記録する。そして、一方をメインの画像とし、他方をサブの画像とする。そして、このメインの画像を1つの画像のみの場合の画像と同様に扱う(再生不可能となった場合にサブの画像がその役割を発揮し、それ以外ではその存在は無いと等しい)。
【0074】
そして、再生モードで連続再生が選択された場合には、それぞれメインの画像のみに対して順次再生処理を行うが、再生不可能と判断された駒の画像に対してはサブの画像で同様の処理を行うようにしたものである。
【0075】
図5は本実施の形態の処理内容を示すフローチャートである。このフローチャートは図2において、ステップS11の再生可能かの判断で、再生不可能と判断された場合にはステップS7に戻らないで、さらにステップS21のサブの駒(の画像)があるかの判断を行い、サブの駒が無い場合にはステップS7に戻り、サブの駒がある場合にはステップ22のサブ駒再生処理開始の処理を行い、この処理後にステップS7に移るようにしたものである。
【0076】
その他は図2と同様である。本実施の形態では記録媒体6の記録容量に余裕があると、圧縮された同じ画像を2つ生成して保存するので、仮にメインの画像が再生不能の場合にも、サブの画像では再生可能となる確率を大きくできる。なお、メインの画像で再生不可能で、サブの画像が再生可能となった場合にはこのサブの画像をメインの画像とし、再生不可能になったメインの画像をサブの画像にしたり、或いはこの再生不可能になったメインの画像を消去しても良い。
【0077】
本実施の形態によれば、記録媒体6の記録容量の半分程度の画像駒数までは、メインとサブの画像として記録し、この状態からさらに記録を続けると、例えば古い順にサブの画像を消去して新しいメインだけの画像が記録される。
【0078】
従って、記録駒数が少ない場合には各画像を高い信頼性で保存できる。そして、記録容量近くまで画像を記録した場合には通常の画像記録と同様となる。
本実施の形態によれば、記録媒体の記録容量を有効に利用する効果があり、それによって画像保存の信頼性を向上できる。
【0079】
なお、上述の実施の形態では記録媒体6に圧縮された画像を記録(記憶)し、一方再生する場合には伸張して元の画像を復元(可逆的な場合も含むし、非可逆的な場合も含む)するようにしているが、記録媒体6に圧縮しないで記録し、表示する場合には読み出して再生表示する場合も含む。
また、上述した実施の形態を部分的などで組み合わせて構成される実施の形態も本発明に属する。
【0080】
[付記]
1.画像を連続して再生表示する表示手段と、複数の画像を記憶する記憶手段と、この記憶手段より画像信号を連続して読み出し、表示可能かどうかを判定する判定手段と、この判定手段による判定結果に応じて再生可能な画像を表示手段に送出するか否かを制御する制御手段とを有し、上記連続して画像を再生する場合には再生対象となる画像が再生可能か否かを必ず判定する事を特徴とする画像再生装置。
(効果)
一過性の原因で再生不能と判定した画像に対しては、一過性の原因が解消した場合には再生可能と判定して表示手段にその画像を表示できる。
【0081】
2.上記表示可能かどうかの判定は既に上記再生表示がなされている間に実行する事を特徴とする請求項1に記載の画像再生装置。
(効果)
再生画像がとぎれることなく表示され、観察する場合の不快感がない。
【0082】
3.上記連続した再生表示は再生時間が所定時間以上である事を特徴とする請求項2に記載の画像再生装置。
(効果)
再生可能か否かの判定のための時間が充分に確保できる。
【0083】
4.上記所定時間に達してなお次の画像の表示手段への送出が不可能な場合は、現在表示されている画像の表示を延長し、新たに次たる画像の表示手段への送出が可能になった時点で該次たる画像の表示手段への再生表示を行なうことを特徴とする請求項3に記載の画像再生装置。
(効果)
再生不可能な画像が連続している場合にも、再生画像がとぎれることなく表示され、観察する場合の不快感がない。
【0084】
5.上記所定時間に達した後の上記現在表示されている画像の表示を延長する場合は、所定の警告表示を行なうことを特徴とする請求項4に記載の画像再生装置。
(効果)
同じ画像が徒に長時間再生されることによる故障との誤認を防止し、また不快感を軽減する。
【0085】
6.上記判定手段が再生不可能な画像と判定した場合には、該再生不可能と判定された画像または次の画像に対して表示可能か否かの判定するための動作に着手することを特徴とする請求項1に記載の画像再生装置。
(効果)
再生不可能な画像が連続した場合にも、表示されている画像を延長して表示しなければ、途切れてしまう事態を抑制できると共に、既に表示されている画像を延長して表示しなければならない事態を最小限に抑制できる。
【0086】
7.画像を連続して再生表示する表示手段と、複数の画像を記憶する記憶手段と、この記憶手段より画像信号を連続して読み出し、表示可能かどうかを判定する判定手段と、この判定手段による判定結果に応じて再生可能な画像を表示手段に送出するか否かを制御する制御手段とを有し、上記連続して画像を再生する場合には、再生対象となる画像が現在表示中の画像である場合を除いて、再生可能か否かを必ず判定する事を特徴とする画像再生装置。
(効果)
既に再生表示中の画像が再度再生処理の対象とされた際に、新たに生じた一過性の原因のために再生不能と判断され、そのため再生されるべきコマが飛ばされたり、不当な警告表示がなされたりする不具合を回避できる。
【0087】
【発明の効果】
以上説明したように本発明によれば、再生不能となった画像があっても、再生画像がとぎれることなく表示され、観察する場合の不快感を解消するこのができ、また上記再生不能となった原因が単に一過性のものであった場合には、その原因が解消すれば次に再生できる可能性を確保でき、さらに所定時間内に再生処理が終了しない場合に、警告表示を行うことにより現在表示されている画像の表示時間を延長し、同じ画像が長時間再生されることによる故障との誤認を防止し、不快感を軽減することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の画像再生装置の機能を備えた電子的撮像装置の全体構成を示すブロック図。
【図2】連続再生の場合の処理内容を示すフローチャート図。
【図3】連続再生の動作のタイミング図。
【図4】連続再生モードにおける再生表示される画像の具体例を示す図。
【図5】本発明の第2の実施の形態における連続再生の場合の処理内容を示すフローチャート図。
【符号の説明】
1…電子的撮像装置
3…撮像部
4…信号処理部
5…符号化/復号化部
6…記録媒体
7…表示制御部
8…ディスプレイ
10…制御部
11…撮影/再生切換スイッチ
14…連続再生スイッチ
15…トリガスイッチ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image reproducing apparatus that reproduces an image captured by an imaging apparatus using a solid-state imaging device and recorded on a recording medium.
[0002]
[Prior art]
2. Description of the Related Art In recent years, electronic imaging devices such as digital cameras that use a solid-state imaging device as imaging means and record an image captured by the solid-state imaging device on an image storage medium (recording medium) such as a memory card have been widely used. It was.
[0003]
In this case, if the image data is stored as it is, the amount of data is large and the number of frames (number of frames) that can be recorded is very limited. Therefore, the image data is generally compressed by the image compression circuit and stored. .
Many recent electronic imaging devices include a display device such as an LCD and have a function of reproducing and displaying image data recorded on a recording medium.
[0004]
When the user performs a switch operation for continuously reproducing the image in order to confirm the image recorded on the recording medium, the image data compressed on the recording medium is read and decompressed by the decompression circuit. After restoring the image before compression, the image is displayed on the display for a certain period of time, and the next image data is processed in the same manner to sequentially display the images recorded on the recording medium.
[0005]
As described above, when the recorded image is continuously reproduced and displayed, the image data obtained by decoding the image can be reproduced, but if the image quality is poor or the image data cannot be reproduced, the image data is displayed as it is. Since an image in which noise is conspicuous is displayed, in such a case, a blue back display with a blue surface is performed.
[0006]
In the conventional example, when it is determined that the image data obtained by decoding the image is not suitable for reproduction, the information is stored in a memory or the like, and then when the image data is displayed again from the recording medium, For example, a blue-back display with the entire surface made blue is performed based on information stored in a memory or the like.
[0007]
[Problems to be solved by the invention]
However, even when the reproduction image quality is poor, the image data read out due to a temporary cause may become unsatisfactory image data other than when the image data itself has a defect.
[0008]
For example, there are cases where the connection state of the memory card happens to be close to contact failure, or the image data state is not good due to a lot of noise for some reason at the time of reading. In the case of such a temporary cause, better image data may be obtained when reading is performed when conditions such as a little time are different. On the other hand, in the conventional example, when information indicating that playback is impossible is stored in a memory or the like, the information is referred to next time so that the decryption process is not performed again. For this reason, there is a problem that it is impossible to reproduce a precious image that is determined to be unreproducible.
[0009]
(Object of invention)
  The present invention has been made in view of the above points.Even if there is an image that cannot be played back, the playback image will be displayed without interruption, and this can eliminate discomfort when observing, andAn object of the present invention is to provide an image reproducing apparatus that ensures the possibility of the next reproduction when the cause of the incapability of reproduction is merely temporary.
[0010]
  In order to achieve the above object, an image reproduction apparatus according to an aspect of the present invention is an image reproduction apparatus that continuously reproduces a plurality of image data stored in a storage unit.
  Display means for displaying the reproduced image;
  A setting means for setting the continuous reproduction mode in which the plurality of image data is continuously circulated and reproduced at regular time intervals and displayed on the display means;
  Reproduction processing means for performing reproduction processing of image data read from the storage means when the continuous reproduction mode is set;
  Whether the processed image data processed by the reproduction processing means can be reproduced,Depending on whether or not a predetermined format is satisfied as a playback image every time continuous playback is performedDetermination means for determining;
  Comprising
  When it is determined by the determination means that the processed image data is not reproducible, the processed image data is not sent or prohibited from being sent to the display means, and the reproduction processing means When reproduction processing of the next image data is started and the next image data is determined to be reproducible by the determination means, display of the image currently displayed on the display means is displayed.ThisUpdate to the next image determined to be reproducible.
  An image reproducing apparatus according to another aspect of the present invention is an image reproducing apparatus that continuously reproduces a plurality of image data stored in a storage unit.
  Display means for displaying the reproduced image;
  Setting means for setting the continuous reproduction mode to continuously circulate and reproduce the plurality of image data at regular time intervals and display on the display means;
  Reproduction processing means for performing reproduction processing of image data read from the storage means when the continuous reproduction mode is set;
  Whether or not the processed image processed by the reproduction processing means can be reproduced,Depending on whether or not a predetermined format is satisfied as a playback image every time continuous playback is performedDetermination means for determining;
  Equipped,
  When the determination means determines that the processed image data is not reproducible, the processed image data is not transmitted or prohibited to the display means, and the processed image data is sent to the reproduction processing means. If the image data that has been reproduced again is determined to be reproducible by the determination means, the image currently displayed on the display means is displayed.ThisThe image is updated to the replayed image.
[0011]
  In addition, an image reproducing device according to another aspect of the present invention provides:In an image reproduction apparatus for continuously reproducing a plurality of images stored in a storage means,
Display means for displaying the reproduced image;
A setting means for continuously circulating and reproducing the plurality of images at regular intervals and setting the continuous reproduction mode to be displayed on the display means;
Reproduction processing means for performing reproduction processing of an image read from the storage means when the continuous reproduction mode is set;
Determining means for determining whether the processed image processed by the reproduction processing means is reproducible;,
  Equipped,
  When the determination means determines that the processed image is not reproducible, the processed image is not transmitted or prohibited to the display means, and the processed image is reproduced again by the reproduction processing means. In the case where the replayed image is determined to be reproducible by the determination means, the display of the image currently displayed on the display means is replayed after the predetermined time has elapsed. Update to processed image.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
1 to 4 relate to a first embodiment of the present invention. FIG. 1 shows an overall configuration of an electronic imaging apparatus 1 having the function of the image reproducing apparatus of the first embodiment, and FIG. The processing contents in the case of continuous reproduction are shown in a flowchart, FIG. 3 is an explanatory diagram of the operation of continuous reproduction, and FIG. 4 shows a specific example of an image reproduced and displayed in the continuous reproduction mode.
[0018]
As shown in FIG. 1, an electronic imaging device 1 having the function of the image reproducing device of the present embodiment forms an object image and includes an optical system 2 having a focusing lens that is also used for focus adjustment, A solid-state imaging device that photoelectrically converts a subject image formed on the imaging surface by the optical system 2 and an A / D converter that converts an output signal of the solid-state imaging device from an analog signal to a digital signal and outputs the signal. The image pickup unit 3, the signal processing unit 4 that performs various processes on the digital signal output from the image pickup unit 3, and encoding (in a JPEG compression circuit or the like) to compress the output data of the signal processing unit 4. The encoding / decoding unit 5 for performing decoding and decoding in order to decompress the recorded data again, and recording and storing the data encoded by the encoding / decoding unit 5 The main power The image pickup apparatus 1 is detachable and outputs a signal for displaying an image in response to an output from the signal processing unit 4 and a recording medium 6 constituted by a memory card using a flash memory, for example. A display control unit 7 having a frame number superimposing means incorporating a character generator for generating a frame number, a character for warning display, etc., and display of images, frame numbers, etc. controlled based on the output of the display control unit 7 For example, a display 8 including a liquid crystal display element or the like disposed on the back side of the electronic imaging apparatus 1 for performing the focusing operation, a focusing motor 9 for driving the focusing lens of the optical system 2, and the above-described circuits. A control unit 10 that performs overall control of the electronic imaging apparatus 1 including the printer, and a printer interface that is connected to the control unit 10 and connected to an external printer (not shown). And scan 16, and a variety of switches to be described below.
[0019]
The above-mentioned various operation switches are arranged in ascending order of the photographing / reproducing change-over switch 11 for switching the mode of the electronic imaging apparatus 1 between the photographing mode and the reproducing mode, and the objects whose order is defined, for example, frame numbers. An ascending switch 12 for reproducing and displaying the next frame, a descending switch 13 for reproducing and displaying the next frame in reverse order, a continuous reproduction switch 14 for continuously circulating and reproducing and displaying at regular intervals, an electronic A trigger switch 15 and the like for inputting an instruction to the imaging apparatus 1 to shoot and record are provided.
[0020]
  The photographing / reproducing change-over switch 11 is arranged as a rotation switch having a substantially ring shape at a substantially central portion of the upper surface of the electronic imaging apparatus 1, for example, and the trigger switch15Is arranged as a push switch at a position where it can be pressed with the index finger when the electronic imaging device 1 is gripped with the right hand, and the ascending order switch 12 and the descending order switch 13 are arranged as push switches on the right side of the display 8. Has been.
[0021]
In this embodiment, when the playback mode is set by the shooting / playback change-over switch 11 and the continuous playback switch 14 is operated, the playback-processed image is cyclically (circulated) as shown in FIG. ) Are displayed in sequence.
[0022]
  The electronic imaging apparatus 1 includes a display 8 as display means for continuously reproducing and displaying images, a recording medium 6 as storage means for storing a plurality of encoded images, and encoding from the storage means. The image signal (image data) is read out continuously (or sequentially) by the decoding unit 5, the decoding process is performed, and the decoded information is sent to the control unit 10 via the signal processing unit 4. 10RegenerationWhen determining whether or not it is possible and controlling the control unit 10 whether or not to send a reproducible image to the display means via the display control unit 7 according to the determination result, and successively reproducing the image sequentially Is characterized in that it is equipped with an image playback device that always determines whether or not an image to be played back can be played back. On the other hand, the possibility of reproduction is secured.
[0023]
  In the control unit 10RegenerationI'm trying to determine whether it is possible, but the signal processor4Or you can make that decision,RegenerationA reproducible image is sent to the display means via the display control unit 7 according to the determination result of whether or not it is possible.OrControl whether or notthingAlternatively, the signal processing unit 4 may perform the processing.
[0024]
Next, the operation of the electronic image pickup apparatus 1 having such a configuration will be described first.
When shooting, the mode of the electronic imaging device 1 is set to the shooting mode by the shooting / playback changeover switch 11.
[0025]
As a result, power is supplied to the image pickup system such as the image pickup unit 3 and the focusing motor 9, and the subject image formed on the image pickup surface of the image pickup unit 3 by the optical system 2 is converted into a digital electric signal. After the signal processing is performed, the display 8 displays the signal on the display 8. The user determines the composition of the subject while viewing the display 8.
[0026]
On the other hand, the output of the signal processing unit 4 is also input to the control unit 10, where it is determined whether or not the focal position is appropriate. If not, the focusing motor 9 is controlled. The focusing lens of the optical system 2 is driven and controlled so as to be in focus.
[0027]
  If the focus position, composition, etc. are good and the user wants to record an image, the trigger switch15Is pressed, the output of the signal processing unit 4 is encoded by the encoding / decoding unit 5, and the image data is compressed and recorded on the recording medium 6 as one file unit per image, for example, based on a predetermined format. Is done.
[0028]
At this time, the image file includes the image data and additional data including a frame number defined for the image data as data.
[0029]
Next, an operation for reproducing an image recorded by the electronic imaging apparatus 1 will be described.
When reproduction is performed, the mode of the electronic imaging device 1 is set to the reproduction mode by the photographing / reproduction switch 11. When a reproduction frame number designation switch (not shown) is operated, reproduction of an image with a designated frame number is started, and image data corresponding to the frame number is read from the recording medium 6.
[0030]
For example, when the number of the second frame is designated, the image data of the second frame is read out, decoded by the encoding / decoding unit 5, and passed through the signal processing unit 4 and the display control unit 7. Then, the second frame image is displayed on the display 8. At this time, the display control unit 7 generates a character corresponding to the frame number (2 in this case) by the built-in character generator, and displays the character superimposed on the image data.
[0031]
On the other hand, in this playback mode, when the continuous playback switch 14 is turned on, images are cyclically played back and displayed sequentially at a constant display time according to the flowchart shown in FIG.
[0032]
First, the control unit 10 (CPU) determines whether or not it is in the display image of the first step S1. If there is no image being displayed, the variable (or flag) w corresponding to whether or not weighting is set to 0, and the blue back display process of step S3 is performed, and the process proceeds to step S5.
[0033]
In this blue back display processing, image data corresponding to the entire blue color is written in the image memory of the display control unit 7, and this image data is repeatedly displayed on the display 8 to perform the blue back display.
[0034]
If there is an image being displayed as determined in step S1, 1 is set in the variable w as shown in step S4, and the process proceeds to timer reset or measurement start in step S5.
The control unit 10 resets the internal timer and starts measuring the time for reproduction and display, and causes the encoding / decoding unit 5 to start the next frame reproduction process in step S6. In the initial process, the next frame playback process is the first frame playback process.
[0035]
In the present embodiment, the time until the compressed image data of one frame is decoded and reproduced is set to be shorter than the display time for displaying the image of each frame on the display 8, that is, the reproduction processing time. <Display time. By setting in this way, sufficient time is ensured for determining whether or not playback processing and playback after playback processing are possible.
For example, the time required for the reproduction process is set to about 2 seconds (2 s) in FIG. 3, and the display time is set to 5 seconds (5 s) so that the time is sufficient.
[0036]
After starting the next frame reproduction process in step S6, the control unit 10 determines whether or not the time is up in the next step S7. That is, it is determined whether or not a predetermined display time has been reached.
[0037]
In the normal case, this determination does not correspond to the time UP, and the process proceeds to the determination process of the reproduction process completion in step S10. On the other hand, if it is determined in step S7 that the time is up, the warning display in step S8 is turned on to display the warning, and in the next step S9, 0 is set to the variable w, and the process proceeds to step S10.
If the reproduction process is not completed in step S10, the process returns to step S7, and if completed, it is determined whether or not reproduction is possible in the next step S11.
[0038]
For example, during the reproduction process, the decoding unit of the encoding / decoding unit 5 sends information on the result of the decoding process to the control unit 10 via the signal processing unit 4, and the control unit 10 For example, it is checked whether or not a reproduction image satisfies a predetermined format, and it is determined whether or not the reproduction-processed image data can be reproduced.
[0039]
If it is determined that the data cannot be reproduced, even if image data with poor image quality is generated as a result of the decoding process, the image data is not sent to the image memory 7 of the display control unit 7. Alternatively, the process is prohibited, and the process returns to step S6 to immediately start the next frame reproduction process. For this reason, the image data is equivalent to being discarded (in some cases, it may become impossible to generate image data during the decoding process. The reproduction process is interrupted, and information indicating that reproduction is not possible is sent to the control unit 10 in error processing performed as appropriate).
[0040]
On the other hand, if it is determined in step S11 that playback is possible, in the next step S12, the warning display is turned off. Then, in the next step S13, it is determined whether or not the variable w is 0. Do.
[0041]
If the variable w is not 0, it is determined whether or not the time is up in the next step S14, and the process waits until the time is up before moving to the next step S15. On the other hand, if the variable w is 0, the display update process in step S15 is performed.
[0042]
In this display update process, the reproduced image displayed on the display 8 is updated via the display control unit 7. Specifically, the image data decoded by the decoding unit of the encoding / decoding unit 5, that is, the reproduced data is stored (sent out) in the image memory of the display control unit 7 through the signal processing unit 4. ) In this case, the previous image data is updated with this image data. The image data stored in the image memory is converted into an analog image signal via a D / A converter (not shown) and displayed on the display 8 to update the display.
[0043]
After the display update process in step S15, the variable w is set to 1 in the next step S16, and then the process returns to step S5, the timer is reset again, the measurement for the display time is started, and the next frame reproduction process is started. .
[0044]
In such a continuous playback mode, if it is determined in step S1 that there is no image being displayed, blue-back display is performed in step S3. This blue back display is shown in the first screen of FIG. Further, in FIG. 3, the contents of the display and reproduction processing are shown with time, and the first BB of the display is abbreviated as blue back display.
[0045]
If it is determined by the reproduction process that each frame can be reproduced, for example, as shown in FIG. 4A, the images of the first frame, the second frame, and the third frame are sequentially sequentially at regular intervals (for example, 5 s). Is displayed.
[0046]
Next, a characteristic operation content of the present embodiment when a case where reproduction is impossible occurs will be described with reference to FIG.
For example, when it is determined that the second frame is not reproducible, the timing diagram is as shown in FIG. 3A or 3B, and when it is determined that the second and third frames are unreproducible, FIG. If the timing diagram is as shown in (C) and it is determined that reproduction is not possible except for the first frame, it is as shown in FIG. 3 (D).
[0047]
3A to 3D, the horizontal axis of the timing chart of the display and reproduction processing indicates the passage of time, numbers such as 1 and 2 indicate the numbers of the frames to be displayed or reproduced, and the reproduction processing. On the side, NG after the number indicates a case where it is determined that reproduction is impossible. For the sake of simplicity, it is assumed that images from the first frame to the fifth frame are compressed and recorded on the recording medium 6.
[0048]
First, a blue background is displayed (when there is no image being displayed), immediately after the timer is reset, measurement of the display time starts, and the next frame reproduction process (in this case, the first reproduction process is performed, so one frame) Eye reproduction process) is started. Then, after the playback processing time (for example, 2 seconds), the first frame image that has been played back is displayed. In FIG. 3, this state is indicated by an arrow on the upper side from the bottom.
[0049]
As soon as the first frame image is displayed, the reproduction process for the next second frame starts. When it is determined that the second frame image cannot be reproduced after the reproduction processing time (NG in FIG. 3), the reproduction process for the next third frame starts immediately.
[0050]
When the reproduction process of the third frame becomes possible, the third frame image is displayed after the display time of the first frame as shown in FIG. When the third frame is displayed, the reproduction process for the next fourth frame starts immediately.
[0051]
If reproduction is impossible in the third frame reproduction process, the next fourth frame reproduction process is immediately started as shown in FIG. When the fourth frame reproduction process is started, a predetermined display time elapses before the reproduction process is not completed. In this case, this corresponds to the case where the time is up in step S7 of FIG. 2, the warning display ON process in step S8 is performed, and this state continues until the reproduction process is completed. That is, the warning display is performed and the previous frame image is extended and displayed.
[0052]
By extending the previous image and displaying it, even when images that cannot be reproduced continue, it is possible to display the reproduced image without interruption, and to avoid discomfort for the observing user.
[0053]
As a specific example of the display screen in such a state that the previous image is extended and the warning is displayed in this way, for example, as shown in FIG. A few images may be NG, and a warning display for searching for the next image may be performed.
[0054]
When the fourth frame image reproduction process is completed and the image can be reproduced, the fourth frame image is immediately displayed and the fifth frame reproduction process is started (FIG. 3C). reference).
[0055]
On the other hand, if the fourth frame cannot be reproduced, the reproduction process of the next fifth frame image is started immediately as shown in FIG. 3D, and the warning display ON state continues.
When the reproduction of the fifth frame image is completed and the image can be reproduced, the fifth frame image is immediately displayed and the first frame reproduction process which becomes the next frame cyclically. To start.
[0056]
If the second, third and fourth frames and the fifth frame are also unreproducible, the next first frame image reproduction process starts immediately as shown in FIG. 3D, and the warning display ON state continues. . When the reproduction process for the first frame is completed and the image can be reproduced, the warning display is turned off, the image for the first frame is immediately displayed, and the reproduction process for the second frame is started. And the operation | movement mentioned above is repeated cyclically.
[0057]
In the case of FIG. 3D, the first frame is continuously displayed. Even in such a case, the warning display is performed in the present embodiment. Unlike the case where the image of only the first frame is continuously displayed, the user can confirm that the image is operating normally and can reduce discomfort.
[0058]
Also, if it is determined that playback is impossible by determining whether playback is possible or not, the next frame playback process is immediately started, so that even when images that cannot be played back are continuously displayed, they are already displayed. The situation in which the image must be extended can be minimized.
[0059]
In this embodiment for performing such playback processing and image display, for example, as shown in FIG. 3A, even when the second frame becomes unplayable, the display of the first frame is started again cyclically. In this case, the reproduction process is immediately started for the second frame image. After the reproduction process is completed, it is determined whether or not the image can be reproduced. That is, it is always determined whether or not playback is possible for all images recorded on the recording medium 6 and to be played back.
[0060]
By making such a determination, a temporary cause (for example, contact of the removable memory card constituting the recording medium 6 with the memory card holder happens to be inadequate, for example, only one pin is insufficient. If the external environment is applied again, the normal connection state may be restored, or the ambient environment when the continuous playback mode is selected may be a bad environment with a noise source. The image when it is determined that it is impossible to reproduce in step) becomes a reproducible image when the temporary cause of the reproducibility is resolved, and the image can be reproduced and displayed.
[0061]
For example, in FIG. 3A, the second frame image is determined to be unreproducible in the first reproduction process, and similarly determined to be unreproducible in the second time, but between the first and second reproduction processes. When the temporary cause of the reproduction failure is resolved, the reproduction can be performed by determining whether or not the reproduction can be performed after the completion of the second reproduction process. As shown in FIG. The second frame image can be reproduced and displayed.
[0062]
As described above, in most cases, the image captured in the past and compressed and stored in the recording medium 6 cannot be recaptured. Therefore, there is a great merit that it is possible to reproduce an image that cannot be reproduced due to a temporary cause.
[0063]
Also, in the conventional example that does not have the function as in the present embodiment, when it is first determined that reproduction is not possible, the determined information is stored, and when the image is reproduced again, it is processed. It was replaced with a blue back display or the like using information that reproduction was impossible without performing it.
[0064]
For this reason, the user is given the impression that an image that is temporarily unreproducible cannot always be replayed, and the user cannot replay, so a new image is recorded (overwritten) on the image. There is a possibility that it cannot be completely reproduced.
[0065]
In addition, even if the user does not overwrite, there is a possibility that the image capturing apparatus side overwrites it. On the other hand, according to the present embodiment, it is possible to prevent the precious image that cannot be reproduced simply and temporarily from being completely unreproducible.
[0066]
Here, some modified examples related to the first embodiment will be described.
In the above description, the reproduction process performed in step S6 is always “next frame”. However, the next time after the determination of N (unreproducible) in step S11 is not the next frame, The playback process for the same frame may be started. In other words, when one frame is reproduced again and the reproduction cannot be performed twice, the process proceeds to the reproduction processing for the next frame.
[0067]
In the first modified example, since the reproduction process is performed again on the frames that cannot be reproduced, the present invention is not limited to the cyclic continuous reproduction as already exemplified, but any continuous reproduction (that is, reproduction of the same frame is performed). There is an effect of increasing the reproducibility for a reproduction failure due to a temporary cause (including a one-time case).
[0068]
In the second modified example, when [next frame = currently displayed frame] at the time of the processing of step S6, the processing of all the following steps is jumped (however, when a warning display is currently displayed). (Since only the warning display is turned off as in step S12), the process immediately returns to step S5 (in this case, the “next frame” in subsequent step S6 is naturally incremented to the processing of the next frame).
[0069]
In this second modification, when an image that is already being reproduced and displayed is again subject to reproduction processing, it is determined that reproduction is impossible due to a temporary cause that has newly occurred. Is effective in avoiding problems such as being skipped or displaying an illegal warning (more specifically, in this case, “currently displayed frame” means “for example, having a large amount of buffer memory for display” In an apparatus with such a configuration, it is possible to display without fail, as in “an image that is not actually displayed at present but is already developed on the buffer memory as data that has already been successfully reproduced”. As well as “frames of waiting images”).
[0070]
By the way, the first and second modified examples are mainly related to the configuration, but as a third modified example, the modified example mainly related to the application function is described below. For example, there is program playback in which playback is performed sequentially according to the playback order arbitrarily programmed by the operator.
[0071]
In this case, since the playback order is arbitrarily determined, even if it is not cyclic, the same frame may be subject to playback multiple times. Therefore, the effect of the present invention on the playback failure due to the temporary cause is extremely significant. is there.
[0072]
Similarly, as a fourth modified example, if random reproduction is performed in which continuous reproduction is performed in a random order based on a random number generation program for all (or selected) frames, the significance of application of the present invention is the above third. This is the same as the modified example.
[0073]
(Second Embodiment)
Next, a second embodiment of the present invention will be described. The configuration of the imaging apparatus including the present embodiment is basically the same as that in FIG. 1. When an operation for recording an image on the recording medium 6 is performed, if the recording capacity of the recording medium 6 has a margin, Record the same compressed image as two image files. One is a main image and the other is a sub-image. Then, this main image is handled in the same manner as an image in the case of only one image (the sub image plays its role when it becomes impossible to reproduce, and otherwise it does not exist).
[0074]
When continuous playback is selected in the playback mode, each main image is sequentially played back, but the same processing is performed on the sub-image for the frame image that is determined to be unplayable. Is to do.
[0075]
FIG. 5 is a flowchart showing the processing contents of the present embodiment. In this flowchart, in FIG. 2, when it is determined whether reproduction is possible in step S <b> 11, if it is determined that reproduction is not possible, the process does not return to step S <b> 7, and further, it is determined whether there is a sub frame (image). If there is no sub-frame, the process returns to step S7. If there is a sub-frame, the process of starting the sub-frame reproduction process in step 22 is performed. After this process, the process proceeds to step S7. .
[0076]
Others are the same as FIG. In this embodiment, if the recording capacity of the recording medium 6 has a margin, two identical compressed images are generated and stored, so that even if the main image cannot be reproduced, the sub image can be reproduced. The probability of becoming can be increased. If the main image cannot be played back and the sub-image can be played back, the sub-image becomes the main image, and the main image that cannot be played back becomes the sub-image, or The main image that cannot be reproduced may be deleted.
[0077]
According to the present embodiment, up to about half the number of image frames of the recording capacity of the recording medium 6 is recorded as main and sub images, and if further recording is continued from this state, for example, the sub images are erased in the oldest order. A new main-only image is then recorded.
[0078]
Therefore, when the number of recording frames is small, each image can be stored with high reliability. When an image is recorded close to the recording capacity, it is the same as normal image recording.
According to the present embodiment, there is an effect of effectively using the recording capacity of the recording medium, thereby improving the reliability of image storage.
[0079]
In the above-described embodiment, the compressed image is recorded (stored) in the recording medium 6, and when reproduced, the original image is restored by decompression (including a reversible case or an irreversible case). However, in the case of recording and displaying without compression on the recording medium 6, it includes the case of reading and reproducing and displaying.
In addition, embodiments configured by partially combining the above-described embodiments also belong to the present invention.
[0080]
[Appendix]
1. Display means for continuously reproducing and displaying images, storage means for storing a plurality of images, determination means for continuously reading out image signals from the storage means and determining whether or not display is possible, and determination by the determination means Control means for controlling whether or not a reproducible image is sent to the display means according to the result, and in the case of continuously reproducing the image, whether or not the image to be reproduced is reproducible. An image reproducing apparatus characterized by being always judged.
(effect)
For an image that has been determined to be unreproducible due to a temporary cause, it can be determined that the image can be displayed and displayed on the display means when the cause of the transient has been resolved.
[0081]
2. 2. The image reproducing apparatus according to claim 1, wherein the determination as to whether or not display is possible is performed while the reproduction display is already being performed.
(effect)
The reproduced image is displayed without interruption, and there is no discomfort when observing.
[0082]
3. The image reproducing apparatus according to claim 2, wherein the continuous reproduction display has a reproduction time of a predetermined time or more.
(effect)
Sufficient time for determining whether or not playback is possible can be secured.
[0083]
4). If it is not possible to send the next image to the display means after the predetermined time has been reached, the display of the currently displayed image is extended, and the next next image can be sent to the display means. 4. The image reproducing apparatus according to claim 3, wherein the next image is reproduced and displayed on the display means at a point in time.
(effect)
Even when images that cannot be reproduced are continuous, the reproduced images are displayed without interruption, and there is no discomfort when observing.
[0084]
5. 5. The image reproducing apparatus according to claim 4, wherein a predetermined warning is displayed when the display of the currently displayed image after the predetermined time is reached.
(effect)
It prevents misidentification as a failure caused by the same image being reproduced for a long time, and reduces discomfort.
[0085]
6). When the determination means determines that the image is not reproducible, an operation for determining whether or not the image determined to be reproducible or the next image can be displayed is started. The image reproducing device according to claim 1.
(effect)
Even when images that cannot be played back are continuous, if the displayed image is not extended and displayed, it is possible to suppress the situation where the image is interrupted, and the already displayed image must be extended and displayed. The situation can be minimized.
[0086]
7. Display means for continuously reproducing and displaying images, storage means for storing a plurality of images, determination means for continuously reading out image signals from the storage means and determining whether or not display is possible, and determination by the determination means Control means for controlling whether or not a reproducible image is sent to the display means in accordance with the result, and when the image is reproduced continuously, the image to be reproduced is the currently displayed image. An image reproducing apparatus that always determines whether or not reproduction is possible, except in the case of
(effect)
When an image that is already being played back is selected for playback processing again, it is determined that playback cannot be performed due to a temporary cause that has newly occurred. The trouble that the display is made can be avoided.
[0087]
【The invention's effect】
  As described above, according to the present invention,Even if there is an image that cannot be played back, the playback image will be displayed without interruption, and this can eliminate discomfort when observing, andIf the cause of the non-reproduction is only temporary, the possibility of the next playback can be secured if the cause is resolved,In addition, when the playback process does not end within a predetermined time, the display time of the currently displayed image is extended by performing a warning display, preventing the misperception of failure due to the same image being played for a long time, Discomfort can be reduced.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of an electronic imaging apparatus having a function of an image reproduction apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing processing contents in the case of continuous reproduction.
FIG. 3 is a timing chart of the continuous playback operation.
FIG. 4 is a diagram showing a specific example of an image reproduced and displayed in the continuous reproduction mode.
FIG. 5 is a flowchart showing the processing contents in the case of continuous reproduction in the second embodiment of the present invention.
[Explanation of symbols]
1. Electronic imaging device
3 ... Imaging unit
4 ... Signal processor
5: Encoding / decoding unit
6. Recording medium
7. Display control unit
8 ... Display
10. Control unit
11 ... Shooting / playback switch
14: Continuous playback switch
15 ... Trigger switch

Claims (7)

記憶手段に記憶された複数の画像データを連続して再生する画像再生装置において、
上記再生された画像を表示する表示手段と、
上記複数の画像データを一定時間毎に連続して循環して再生し、上記表示手段に表示させる連続再生モードに設定する設定手段と、
上記連続再生モードに設定された際に、上記記憶手段より読み出された画像データの再生処理を行う再生処理手段と、
上記再生処理手段によって処理された処理画像データが再生可能か否かを、連続再生を行う度に再生画像として所定のフォーマットを満たしているか否かによって判定する判定手段と、
を具備し、
上記判定手段によって上記処理画像データが再生可能でないと判定された際には、当該処理画像データを上記表示手段へ送出することを行わない或いは禁止して、上記再生処理手段によって上記処理画像データの次の画像データの再生処理を開始し、当該次の画像データが上記判定手段によって再生可能であると判定された場合には、上記表示手段に現在表示されている画像の表示を、当該再生可能であると判定された上記次の画像に更新するようにしたことを特徴とする画像再生装置。
In an image reproduction apparatus for continuously reproducing a plurality of image data stored in a storage means,
Display means for displaying the reproduced image;
A setting means for setting the continuous reproduction mode in which the plurality of image data is continuously circulated and reproduced at regular time intervals and displayed on the display means;
Reproduction processing means for performing reproduction processing of image data read from the storage means when the continuous reproduction mode is set;
Determining means for determining whether or not the processed image data processed by the reproduction processing means is reproducible depending on whether or not a predetermined format is satisfied as a reproduced image every time continuous reproduction is performed ;
Comprising
When it is determined by the determination means that the processed image data is not reproducible, the processed image data is not sent or prohibited from being sent to the display means, and the reproduction processing means starts playback processing of the next image data, when the next image data is determined to be reproducible by the determination means, the display of the image currently displayed on the display means, those regeneration An image reproducing apparatus, wherein the image is updated to the next image determined to be possible.
上記表示手段に画像が表示される一定時間は、上記再生処理手段による再生処理の時間よりも長いことを特徴とする請求項1に記載の画像再生装置。  2. The image reproducing apparatus according to claim 1, wherein a predetermined time during which an image is displayed on the display means is longer than a reproduction processing time by the reproduction processing means. 上記表示手段に現在表示されている画像の表示時間の経過後であっても、上記再生処理手段による再生処理が終了しない場合には、当該再生処理が完了するまで当該表示手段に警告表示を行って、現在表示手段に表示されている画像の表示を延長することを特徴とする請求項1に記載の画像再生装置。  If the reproduction process by the reproduction processing unit does not end even after the display time of the image currently displayed on the display unit has elapsed, a warning is displayed on the display unit until the reproduction process is completed. The image reproduction apparatus according to claim 1, wherein the display of the image currently displayed on the display means is extended. 上記表示手段に現在表示されている画像の次に表示される予定の画像が、連続して再生不可能であると判定され、該表示手段に現在表示されている画像の表示時間が経過しても上記再生処理手段による再生処理が終了しない場合には、当該再生処理が完了するまで上記表示手段に警告表示を行って、該表示手段に現在表示されている画像の表示を延長することを特徴とする請求項1に記載の画像再生装置。  The image scheduled to be displayed next to the image currently displayed on the display means is determined to be unreproducible continuously, and the display time of the image currently displayed on the display means has elapsed. If the reproduction processing by the reproduction processing means does not end, a warning is displayed on the display means until the reproduction processing is completed, and the display of the image currently displayed on the display means is extended. The image reproducing apparatus according to claim 1. 上記再生処理手段による再生処理が終了した場合に、上記表示手段に表示されている警告表示をオフにして、上記表示手段に現在表示されている画像を再生処理が終了した画像に更新することを特徴とする請求項3または4に記載の画像再生装置。  When the reproduction processing by the reproduction processing means is completed, the warning display displayed on the display means is turned off, and the image currently displayed on the display means is updated to the image for which the reproduction processing has been completed. The image reproduction apparatus according to claim 3 or 4, wherein the image reproduction apparatus is characterized in that: 上記複数の画像を一定時間毎に連続に循環して再生するに際し、n循環目に再生不可能であると判定された画像であっても、n+1循環目に再生可能であると判定された場合には、上記表示手段に現在表示されている画像を、n+1循環目に再生処理が終了した画像として更新することを特徴とする請求項1から4の何れか一つに記載の画像再生装置。  When the above plurality of images are continuously circulated at a certain time and reproduced, even if it is determined that the image cannot be reproduced in the nth cycle, it can be reproduced in the (n + 1) th cycle. 5. The image reproduction apparatus according to claim 1, wherein the image currently displayed on the display means is updated as an image that has been reproduced in the (n + 1) th cycle. 記憶手段に記憶された複数の画像データを連続して再生する画像再生装置において、
上記再生された画像を表示する表示手段と、
上記複数の画像データを一定時間毎に連続的に循環して再生し、上記表示手段に表示させる連続再生モードに設定する設定手段と、
上記連続再生モードに設定された際に、上記記憶手段より読み出された画像データの再生処理を行う再生処理手段と、
上記再生処理手段によって処理された処理画像が再生可能か否かを、連続再生を行う度に再生画像として所定のフォーマットを満たしているか否かによって判定する判定手段と、
具備し、
上記判定手段によって上記処理画像データが再生可能でないと判定された際には、当該処理画像データを上記表示手段へ送出することを行わない或いは禁止して、上記再生処理手段に当該処理画像データを再度再生処理させ、当該再度再生処理された画像データが、上記判定手段によって再生可能であると判定された場合には、上記表示手段に現在表示されている画像の表示を、当該再度再生処理された画像に更新するようにしたことを特徴とする画像再生装置。
In an image reproduction apparatus for continuously reproducing a plurality of image data stored in a storage means,
Display means for displaying the reproduced image;
Setting means for setting the continuous reproduction mode to continuously circulate and reproduce the plurality of image data at regular time intervals and display on the display means;
Reproduction processing means for performing reproduction processing of image data read from the storage means when the continuous reproduction mode is set;
A determination unit that determines whether or not the processed image processed by the reproduction processing unit is reproducible based on whether or not a predetermined format is satisfied as a reproduction image every time continuous reproduction is performed ;
Equipped,
When the determination means determines that the processed image data is not reproducible, the processed image data is not transmitted or prohibited to the display means, and the processed image data is sent to the reproduction processing means. regenerated processed again, image data to which the are again playback process, if it is determined to be reproduced by said judging means, the display of the image currently displayed on the display means, those該再degree reproduction process An image reproduction apparatus characterized in that the image is updated to a new image.
JP24448097A 1997-09-09 1997-09-09 Image playback device Expired - Lifetime JP4054091B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24448097A JP4054091B2 (en) 1997-09-09 1997-09-09 Image playback device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24448097A JP4054091B2 (en) 1997-09-09 1997-09-09 Image playback device

Publications (2)

Publication Number Publication Date
JPH1188842A JPH1188842A (en) 1999-03-30
JP4054091B2 true JP4054091B2 (en) 2008-02-27

Family

ID=17119301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24448097A Expired - Lifetime JP4054091B2 (en) 1997-09-09 1997-09-09 Image playback device

Country Status (1)

Country Link
JP (1) JP4054091B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4989239B2 (en) * 2007-01-22 2012-08-01 アイホン株式会社 TV door phone device

Also Published As

Publication number Publication date
JPH1188842A (en) 1999-03-30

Similar Documents

Publication Publication Date Title
JP3764493B2 (en) Electronic still camera and image data processing method
JPH08331498A (en) Image data recompressing device
US20060256203A1 (en) Image sensing apparatus and its control method
JP2001078137A (en) Electronic camera
US7855733B2 (en) Electronic camera and recording medium for images and image information and recording image reproduction program
US20050140798A1 (en) Digital still camera
JP4253395B2 (en) Electronic camera
JP4653019B2 (en) Display control device
JPH10178619A (en) Image reproducing device and electronic camera
JP4054091B2 (en) Image playback device
JP2005039792A (en) Recording apparatus and reproducing apparatus
JP4360781B2 (en) Digital camera
JP3880489B2 (en) IMAGING DEVICE, DATA PROCESSING METHOD IN IMAGING DEVICE, STORAGE MEDIUM, AND PROGRAM
KR100215304B1 (en) Video camera capable of recording still image
JP3103699B2 (en) Digital electronic still camera with continuous shooting function
JP3964330B2 (en) Video signal processing apparatus and video camera
JP4570234B2 (en) Electronic camera
JP4147935B2 (en) Imaging apparatus, image reproducing apparatus, and program
JP2004056741A (en) Digital camera
JP2000270248A (en) Image pickup device
JP4305473B2 (en) Electronic still camera, image information erasing method, and image information state setting method
JP3807488B2 (en) Imaging apparatus, image processing method, and image processing program
JP2002044499A (en) Electronic camera and image-reproducing device and method for recording image data
JP4830044B2 (en) Display control device
JPH02222384A (en) Picture recording and reproducing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term