JP2006005539A - Image and audio recording apparatus and reproduction apparatus - Google Patents
Image and audio recording apparatus and reproduction apparatus Download PDFInfo
- Publication number
- JP2006005539A JP2006005539A JP2004178228A JP2004178228A JP2006005539A JP 2006005539 A JP2006005539 A JP 2006005539A JP 2004178228 A JP2004178228 A JP 2004178228A JP 2004178228 A JP2004178228 A JP 2004178228A JP 2006005539 A JP2006005539 A JP 2006005539A
- Authority
- JP
- Japan
- Prior art keywords
- image
- audio
- synchronization signal
- recording
- recorded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
- G11B31/006—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with video camera or receiver
Abstract
Description
本発明は、特に、写真を使った効果的なビジュアルプレゼンテーションを行うのに好適な画像音声記録装置及び再生装置に関する。 The present invention particularly relates to an image / audio recording apparatus and a reproduction apparatus suitable for performing an effective visual presentation using photographs.
写真を効果的に使ったビジュアルプレゼンテーションは、聴き手にプレゼンテーションの内容に対する興味を抱かせ、伝えたい情報を正確且つ効果的に提供するのに重要である。例えば、製品開発を行っているエンジニアがプレゼンテーションを行う場合には、製品開発に至った背景を説明しながら、実験装置や試作品の写真を見せることで、開発過程で起こった問題点や、それに対する改善点を、効果的に伝えることができる。このような写真を使ったビジュアルプレゼンテーションの素材を作成するために、従来では、ビデオカメラが使われている。 Visual presentations that use photos effectively are important for making listeners interested in the content of the presentation and providing the information they want to convey accurately and effectively. For example, when a product development engineer gives a presentation, he explains the background of the product development and shows photographs of experimental equipment and prototypes. Can effectively convey improvements to Conventionally, video cameras are used to create visual presentation materials using such photos.
また、ディジタルスチルカメラの中には、例えば特許文献1に示すように、動画記録や音声記録が行えるものがある。このようなディジタルカメラを使って、写真を使ったプレゼンテーションを作成することが考えられる。
しかしながら、プレゼンテーションに使用する写真は静止画像であるのに対して、ビデオカメラは動画撮影を行うものである。このため、ビデオカメラを使って写真を用いたプレゼンテーションの素材を作成すると、動画記録と同じだけのデータ量が使われることになり、記録容量が無駄になる。また、写真を使ったプレゼンテーションをビデオカメラで撮影する場合には、静止している写真を動画として撮影することになるので、三脚等でカメラをしっかりと固定して撮影を行い、通常再生でも画像がぶれないように、撮影を行う必要がある。更に、ビデオカメラでは、テレビジョン画面上に動画を再生させるという制約から、スチルカメラに比べて、静止画の解像度が良くない。 However, a picture used for presentation is a still image, whereas a video camera shoots a moving image. For this reason, if a presentation material using photographs is created using a video camera, the same amount of data as that of moving image recording is used, and the recording capacity is wasted. In addition, when shooting a presentation using photos with a camcorder, you will shoot a still photo as a video, so take a picture with the camera firmly fixed on a tripod, etc. It is necessary to shoot to avoid blurring. Furthermore, with a video camera, the resolution of a still image is not as good as that of a still camera due to the restriction that a moving image is reproduced on a television screen.
一方、ディジタルスチルカメラでは、撮影した画像に対するコメントを音声で残せるものがある。このような機能は、音声メモと呼ばれている。この音声メモを利用して、写真を使ったプレゼンテーションの素材を作成することが考えられる。 On the other hand, some digital still cameras can leave a comment on a captured image by voice. Such a function is called a voice memo. It is conceivable to use this voice memo to create a presentation material using photographs.
ところが、音声メモは、撮影した画像に対して音声を関連させて記録を行うものである。これに対して、プレゼンテーションの場合には、音声による連続した説明の中で、音声に対して画像を関連させて記録していく必要がある。音声メモでは、このように音声に対して画像を関連付けて記録していくことはできない。 However, the voice memo records a recorded image in association with the voice. On the other hand, in the case of a presentation, it is necessary to record an image in association with the sound in a continuous explanation by sound. In the case of a voice memo, it is not possible to record an image in association with the voice.
本発明は、上述の課題を鑑み、写真を使った効果的なビジュアルプレゼンテーションが行えるように、音声に対して画像を関連付けて記録再生できるようにした画像音声記録装置及び再生装置を提供することを目的とするものである。 In view of the above-described problems, the present invention provides an audio / video recording apparatus and a reproduction apparatus that can record and reproduce an image in association with audio so that an effective visual presentation using photographs can be performed. It is the purpose.
上述の課題を解決するために、請求項1に係わる発明は、撮像素子で撮像された画像信号を記録媒体に記録する画像記録手段と、入力された音声信号を記録媒体に記録する音声記録手段と、音声信号を連続的に記録している間に画像のキャプチャー要求があったら、撮像素子からの画像を取り込み、記録媒体に画像を記録すると共に、画像を記録したタイミングを示す同期信号を記録するように制御する制御手段とを備えるようにしたことを特徴とする。
In order to solve the above-described problem, the invention according to
請求項2に係わる発明では、同期信号は、音声信号の下位ビットに記録するようにしたことを特徴とする。
The invention according to
請求項3に係わる発明では、同期信号は、周波数領域に変換された音声信号の所定の周波数情報に記録するようにしたことを特徴とする。
The invention according to
請求項4に係わる発明では、同期信号は、音声信号にマルチプレクスして記録するようにしたことを特徴とする。 The invention according to claim 4 is characterized in that the synchronization signal is multiplexed and recorded on the audio signal.
請求項5に係わる発明では、同期信号は、同期ファイルに記録するようにしたことを特徴とする。
The invention according to
請求項6に係わる発明では同期信号は、画像を記録したことを識別するものフラグであることを特徴とする。
The invention according to
請求項7に係わる発明では、同期信号は、画像を記録したことを識別すると共に、取り込んだ画像のシーケンシャル番号を含むものであることを特徴とする。 The invention according to claim 7 is characterized in that the synchronization signal identifies that an image has been recorded and includes a sequential number of the captured image.
請求項8に係わる発明では、取り込んだ画像の順番を示すシーケンシャル番号をカウントし、シーケンシャル番号を画像ファイル名に含めるようにしたことを特徴とする。
The invention according to
請求項9に係わる発明は、記録媒体から読み出された画像信号を再生する画像再生手段と、記録媒体から読み出された音声信号を再生する音声再生手段と、記録媒体から読み出された信号中から同期信号を検出し、音声信号を連続的に再生している間に、同期信号が検出されたら、対応する画像を記録媒体から読み出して再生するように制御する制御手段とを備えるようにしたことを特徴とする。
The invention according to
請求項10に係わる発明では、画像ファイル名には取り込んだ画像の順番を示すシーケンシャル番号が含められており、同期信号が検出されたら、画像ファイル名に含められたシーケンシャル番号の順番で、記録媒体から画像を読み出して再生するようにしたことを特徴とする。 In the invention according to claim 10, the image file name includes a sequential number indicating the order of the captured images, and when a synchronization signal is detected, the recording medium is recorded in the order of the sequential numbers included in the image file name. An image is read out from the image and reproduced.
請求項11に係わる発明では、同期信号には取り込んだ画像の順番を示すシーケンシャル番号が含められており、同期信号が検出されたら、同期信号から得られたシーケンシャル番号の順番で、記録媒体から画像を読み出して再生するようにしたことを特徴とする。 In the invention according to the eleventh aspect, the synchronization signal includes a sequential number indicating the order of the captured images. When the synchronization signal is detected, the images are read from the recording medium in the order of the sequential numbers obtained from the synchronization signal. Is read and played back.
本発明によれば、プレゼンテーションレコーディングモードに設定して記録を行うと、音声信号が連続的に記録されている間に画像のキャプチャー要求があると、撮像素子からの画像が取り込まれ、記録媒体に画像が記録されると共に、画像を記録したタイミングを示す同期信号が記録される。そして、再生時には、音声信号が連続的に再生されている間に、同期信号が検出されると、対応する画像が記録媒体から読み出されて再生される。このように、本発明では、プレゼンテーションレコーディングモードに設定すると、音声による連続した説明の中で、音声に対して画像を関連させて記録させることができる。このような機能を利用して、写真を効果的に使ったビジュアルプレゼンテーションを行うことができる。 According to the present invention, when recording is performed with the presentation recording mode set, if there is an image capture request while the audio signal is continuously recorded, the image from the image sensor is captured and stored in the recording medium. An image is recorded, and a synchronization signal indicating the timing at which the image is recorded is recorded. During reproduction, if a synchronization signal is detected while the audio signal is being reproduced continuously, the corresponding image is read from the recording medium and reproduced. As described above, in the present invention, when the presentation recording mode is set, an image can be recorded in association with audio in a continuous description by audio. Using these functions, you can make visual presentations that use photos effectively.
以下、本発明の実施形態について図面を参照しながら説明する。
1.ディジタルカメラの外観構成.
図1(A)及び図1(B)は、本発明が適用されたディジタルカメラの正面図及び背面図である。図1(A)に示すように、カメラボディ1の前面1aには、レンズ鏡筒2と、光学ファインダ3と、ストロボ発光部4が設けられる。また、カメラボディ1の上側面1bには、シャッターキー5が設けられる。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
1. Appearance structure of digital camera.
1A and 1B are a front view and a rear view of a digital camera to which the present invention is applied. As shown in FIG. 1A, a
カメラボディ1の背面1cには、図1(B)に示すように、光学ファインダ3と、LCD(Liquid Crystal Display)ディスプレイ6と、操作部7と、音声再生用のスピーカ8と、録音用のマイクロホン9とが設けられている。マイクロホン9は、カメラボディ1の背面1cに対して回動自在の取り付けられており、録音時のみ、カメラボディ1からマイクロホン9を倒立させ、不使用時には、マイクロホン9を折り畳んでおくことができる。
On the
本発明が適用されたディジタルカメラでは、通常撮影モードの他に、プレゼンテーションレコーディングモードが設定できる。プレゼンテーションレコーディングモードでは、マイクロホン9から入力される音声信号が連続的に記録され、その間に、シャッターキー5が押されると、そのときの画像が音声と関連して記録される。モードの設定は、操作部7を操作することにより行うことができる。
In the digital camera to which the present invention is applied, the presentation recording mode can be set in addition to the normal shooting mode. In the presentation recording mode, an audio signal input from the
また、プレゼンテーションレコーディングーモードに設定して再生した場合には、録画した音声が連続して再生されていき、その音声に関連して記録された画像があると、そのタイミングで、画像が再生される。 In addition, when playback is set in the presentation recording mode, the recorded sound is played back continuously, and if there is an image recorded in association with the sound, the image is played back at that timing. The
つまり、プレゼンテーションレコーディングモードでは、図2(A)に示すように、連続した音声が入力されると、その音声が連続して記録される。このように連続した音声の記録を行いながら、図2(B)に示すように、時点t1でシャッターキー5が押されると、そのときの画像P1(図2(C))が音声と関連して記録される。そして、時点t2でシャッターキー5が押されると、そのときの画像P2が音声と関連して記録され、時点t3でシャッターキー5が押されると、そのときの画像P3が音声と関連して記録される。画像を記録するときには、後に説明するように、画像を記録したタイミングを示す同期信号が記録される。
That is, in the presentation recording mode, as shown in FIG. 2A, when continuous sound is input, the sound is continuously recorded. As shown in FIG. 2 (B), when the
再生時には、図3(A)に示すように、音声が連続して再生される。そして、図3(B)に示すように時点t1になると、その音声に対応する画像P1(図3(C))が映し出され、時点t2になると、その音声に対応する画像P2が映し出され、時点t3になると、その音声に対応する画像P3が映し出される。画像を再生するタイミングは、同期信号により検出される。 At the time of reproduction, as shown in FIG. 3A, the sound is reproduced continuously. Then, as shown in FIG. 3B, at time t1, an image P1 corresponding to the sound (FIG. 3C) is displayed, and at time t2, an image P2 corresponding to the sound is displayed. At time t3, an image P3 corresponding to the sound is displayed. The timing for reproducing the image is detected by a synchronization signal.
このように、本発明が適用されたディジタルカメラでは、プレゼンテーションレコーディングモードに設定すると、音声による連続した説明の中で、音声に対して画像を関連させて記録させることができる。このような機能を利用して、写真を効果的に使ったビジュアルプレゼンテーションを行うことができる。 As described above, in the digital camera to which the present invention is applied, when the presentation recording mode is set, images can be recorded in association with the sound in the continuous explanation by the sound. Using these functions, you can make visual presentations that use photos effectively.
2.ディジタルカメラの内部構成.
図4は、本発明が適用されたディジタルカメラの内部構成を示すブロック図である。図4において、光学系21は、レンズやアイリス等の光学系の素子から構成される。光学系21を介された被写体像光が撮像素子22の受光面に結像される。なお、小型、軽量化を図ったカメラでは、レンズとして単焦点のものが用いられる。一般的なものでは、レンズにオートフォーカス機構が備えられている。また、レンズ部には、光学ズーム機構が備えられたものもある。
2. Internal configuration of digital camera.
FIG. 4 is a block diagram showing an internal configuration of a digital camera to which the present invention is applied. In FIG. 4, the
撮像素子22は、その受光面に結像された被写体像光を光電変換する。撮像素子22としては、CCD(Charge Coupled Device) 撮像素子や、CMOS(Complementary MOS)撮像素子が用いられる。撮像素子の前面には、色フィルタが配列されている。色フィルタの配列の構成としては、R(赤)、G(碧)、B(青)の原色系フィルタを用いる場合と、Cy(シアン)、Mg(マゼンタ)、Ye(黄色)の補色系フィルタを用いる場合とがある。
The
撮影時には、撮像素子22で1フレーム分の画像が取り込まれる。撮像素子22の出力が、サンプルホールド及びAGC(Automatic Gain Control)回路23を介してA/D(Analog to Digital)コンバータ24に供給され、A/Dコンバータ24でディジタル化される。A/Dコンバータ24の出力信号が画像信号処理回路25に供給される。
At the time of shooting, an image for one frame is captured by the
画像信号処理回路25は、撮像素子22からの撮像信号に対して、色温度調整、ガンマ補正、エッジ強調等の画像処理を行う。また、画像信号処理回路25は、画像データの解像度を指定された解像度に変換し、画像データを圧縮符号化する処理を行う。画像データの圧縮方式としては、例えば、JPEG(Joint Photographic Experts Group)が用いられる。JPEGはDCT(Discrete Cosine Transform)を用いて画像圧縮するためのISO(International Organization for Standardization)/ITU(International Telecommunication Union)規格である。なお、画像データの圧縮方式は、JPEGに限定されるものではない。また、画像データを圧縮せずに記録するようにしてもよい。
The image
圧縮符号化された画像信号は、メモリコントローラ26を介して、メモリカード27に供給され、画像ファイルとして、メモリカード27に記録される。メモリカード27は、フラッシュメモリを使ったカード型の着脱自在のメモリである。なお、この例では、記録媒体としてメモリカードを使っているが、これに限定されるものではない。内蔵の不揮発メモリに記録したり、磁気テープや磁気ディスク、光ディスク等に記録したりしてもよい。
The compression-encoded image signal is supplied to the
画像の再生時には、メモリカード27の画像ファイルがオープンされ、画像データが読み出される。メモリカード27から読み出された画像データは、画像信号処理回路25に送られる。画像信号処理回路25で画像の伸長処理が行われ、画像信号がデコードされる。デコードされた画像信号がLCDドライバ33を介してLCDディスプレイ6に供給され、LCDディスプレイ6に再生画像が映出される。
At the time of image reproduction, the image file in the
なお、LCDディスプレイ6は、撮影時には電子ビューファインダ等として利用される。また、このLCDディスプレイには、各種の設定状態や動作状態が表示される。
The
音声の記録時には、マイクロホン9からの音声信号がA/Dコンバータ31に供給され、A/Dコンバータ31で音声信号がディジタル化される。このディジタル音声信号がエンコーダ32に供給される。エンコーダ32で、音声信号が圧縮符号化される。音声データの圧縮方式としては、MP3(MPEG1 Audio Layer-3)が用いられる。なお、音声データの圧縮方式は、MP3に限定されるものではない。また、音声データを圧縮せずに記録するようにしてもよい。圧縮された音声信号は、メモリコントローラ26を介して、メモリカード27に送られ、音声ファイルとしてメモリカード27に記録される。
When recording audio, the audio signal from the
音声の再生時には、メモリカード27の音声ファイルがオープンされ、音声データが読み出される。メモリカード27から読み出された音声データは、デコーダ35に送られる。デコーダ35で、音声の伸長処理が行われ、音声信号がデコードされる。デコードされた音声信号は、D/Aコンバータ36でアナログ信号に変換され、スピーカ8から出力される。
At the time of audio reproduction, the audio file in the
CPU(Central Processing Unit)41は、ディジタルカメラ全体の制御を行っている。CPU41に対して入力ユニット42が設けられる。入力ユニット42はユーザからの入力を受け付けるもので、シャッターキー5や操作部7に配列されるキーを含んでいる。ROM44には制御プログラムが格納されている。RAM43は、作業領域として用いられる。
A CPU (Central Processing Unit) 41 controls the entire digital camera. An
本発明が適用されたディジタルカメラでは、通常の撮影モードの他に、プレゼンテーションレコーディングモードが設定できる。プレゼンテーションレコーディングモードでは、マイクロホン9から入力される音声信号がメモリカード27に連続して記録される。録音の開始は、プレゼンテーションレコーディングモードの開始と同時でもよいし、別のユーザインターフェースを設けて開始を指示するようにしてもよい。プレゼンテーションレコーディングモードに設定されると、マイクロホン9から入力される音声信号が連続して記録されている間に、シャッターキー5が押されると、キャプチャー要求が発生され、撮像素子22からの画像が取り込まれてメモリカード27に記録されると共に、画像を記録したタイミングを示す同期信号が発生され、同期信号が記録される。この同期信号により、音声に関連する画像が記録されていることが分かる。
In the digital camera to which the present invention is applied, the presentation recording mode can be set in addition to the normal shooting mode. In the presentation recording mode, the audio signal input from the
再生時には、メモリカード27から音声ファイルがオープンされ、音声が連続して再生されていく。連続した音声の再生に間に、同期信号の検出が行われる。同期信号が検出された場合には、そのタイミングで、メモリカード27からその画像が読み出されて再生される。
At the time of reproduction, the audio file is opened from the
3.同期信号について.
上述のように、本発明が適用されたディジタルカメラでは、プレゼンテーションレコーディングモードに設定されると、録音の間にシャッターキー5が押されると、撮像素子22からの画像が取り込まれてメモリカード27に記録されると共に、画像を記録したタイミングを示す同期信号が発生される。この同期信号について、以下に説明する。
3. About the sync signal.
As described above, in the digital camera to which the present invention is applied, when the presentation recording mode is set, when the
同期信号は、画像を記録したタイミングを識別するためのものであり、最も簡単には、1ビットのフラグでよい。また、同期信号に、画像を記録したタイミングを識別すると共に、例えば画像ファイルのシーケンシャル番号を記録しておくようにしてもよい。更に、同期信号に種々の情報を記録するようにしてもよい。 The synchronization signal is used to identify the timing at which an image is recorded, and may be a 1-bit flag in the simplest case. Further, the timing at which the image is recorded may be identified in the synchronization signal, and for example, the sequential number of the image file may be recorded. Furthermore, various information may be recorded in the synchronization signal.
同期信号の記録方法としては、以下のものが考えられる。
(1)音声信号の下位ビットに同期信号を記録する。
(2)周波数領域に変換された音声信号の所定の周波数情報に同期信号を記録する。
(3)音声信号と同期信号とをマルチプレクスして記録する。
(4)同期用の別ファイルを設け、この同期用の別ファイルに同期信号を記録する。
As a method for recording the synchronization signal, the following can be considered.
(1) A synchronization signal is recorded in the lower bits of the audio signal.
(2) A synchronization signal is recorded in predetermined frequency information of the audio signal converted into the frequency domain.
(3) Audio signals and synchronization signals are multiplexed and recorded.
(4) A separate file for synchronization is provided, and a synchronization signal is recorded in this separate file for synchronization.
図5は、音声信号の下位ビットに同期信号を記録するものである。図5に示すように、音声信号をディジタル化するA/Dコンバータ31の出力は、エンコーダ32に送られる。このとき、A/Dコンバータ31の最下位ビットの出力を用いずに、その代わり、スイッチ回路50の出力をエンコーダ32に供給する。スイッチ回路50は、通常時には、例えばLレベルに設定され、画像を記録するタイミングでHレベルに設定される。これにより、音声信号の最下位ビットが同期信号となる。再生時には、音声信号の最下位ビットを検出することで、同期信号が検出される。
FIG. 5 shows the recording of the synchronization signal in the lower bits of the audio signal. As shown in FIG. 5, the output of the A /
図6は、周波数領域に変換された音声信号の所定の周波数情報に同期信号を記録する方法を示すものである。例えば、音声信号を記録する場合には、エンコーダ32で音声信号が圧縮符号化される。音声信号の圧縮符号化する場合、例えば、図6に示すように、DCT(Discrete Cosine Transform)変換回路51により、時間領域の信号TDが周波数領域の信号FDに変換される。この周波数領域に変換された信号FD中の所定のデータが同期信号として使用される。再生時には、所定の周波数領域のデータを検出することで、同期信号が検出される。
FIG. 6 shows a method of recording a synchronization signal in predetermined frequency information of an audio signal converted into the frequency domain. For example, when recording an audio signal, the
図7は、音声信号と同期信号とをマルチプレクスして記録する方法を示すものである。図7に示すように、特定のパターンの同期信号を発生する同期信号発生回路52が設けられると共に、A/Dコンバータ31の出力と、同期信号発生回路52の出力とを多重化してエンコーダ32に供給するマルチプレクサ53が設けられる。通常記録時には、A/Dコンバータ31からの音声信号がエンコーダ32に供給される。画像を記録するタイミングで、同期信号発生回路52から同期信号が発生され、A/Dコンバータ31からの音声信号と、同期信号発生回路52からの同期信号とが多重化されてエンコーダ32に供給される。再生時には、所定のパターンの信号を検出することで、同期信号が検出される。
FIG. 7 shows a method for multiplexing and recording audio signals and synchronization signals. As shown in FIG. 7, a synchronization
図8は、同期用の別ファイルを設ける方法を示すものである。音声ファイルや画像ファイルとは別に、同期信号を記録するための同期ファイル55が設けられる。この同期ファイル55には、図8に示すように、画像を記録したタイミングを示すタイムコード56が記録される。なお、同期ファイル55には、画像を記録したタイミングを示すタイムコード56と共に、画像ファイルのファイル名やシーケンシャル番号を記録してもよい。再生時には、この同期ファイル55をオープンすることで、タイムコード56から画像を記録したタイミングが検出される。
FIG. 8 shows a method of providing another file for synchronization. In addition to the audio file and the image file, a
図5に示した音声信号の下位ビットに同期信号を記録する方法は、音声の記録フォーマットにかかわらず、同期信号を記録することができる。下位ビットの情報が捨てられているので、音質が劣化することになるが、最下位ビットのみ用いた場合には、音質の劣化は僅かであり、聴感上、殆ど問題は生じない。 The method of recording the synchronization signal in the lower bits of the audio signal shown in FIG. 5 can record the synchronization signal regardless of the audio recording format. Since the information of the lower bits is discarded, the sound quality is deteriorated. However, when only the least significant bit is used, the deterioration of the sound quality is slight and hardly causes a problem in terms of hearing.
図6に示した周波数領域に変換された音声信号の所定の周波数情報に同期信号を記録する方法では、特定の周波数情報が捨てられるので、音質に影響が生じる。この場合、高周波領域の信号を同期信号として使うと、聴感上の問題が生じにくい。 In the method of recording the synchronization signal in the predetermined frequency information of the audio signal converted into the frequency domain shown in FIG. 6, since specific frequency information is discarded, the sound quality is affected. In this case, if a signal in a high frequency region is used as a synchronization signal, a problem in hearing is unlikely to occur.
なお、上述のようにして、音声ファイルに同期信号を記録した場合には、そのファイルがプレゼンテーションレコーディングモードで記録されたことを示すマーカーを付けるようにしてもよい。マーカーは、例えば、ファイルヘッダに書き込むことが考えられる。また、特殊なファイル名や識別子を与えるようにしてもよい。また、同期信号の記録方法は、これに限らず、他の方法を用いてもよい。 As described above, when a synchronization signal is recorded in an audio file, a marker indicating that the file has been recorded in the presentation recording mode may be attached. For example, the marker may be written in a file header. A special file name or identifier may be given. The method for recording the synchronization signal is not limited to this, and other methods may be used.
4.同期信号としてフラグを用いた場合の動作説明.
図9は、プレゼンテーションレコーディングモードに設定して、記録を行ったときの処理の一例を示すフローチャートである。この例では、同期信号として、画像を記録したタイミングを識別するためのフラグが用いられる。
4). Explanation of operation when flag is used as synchronization signal.
FIG. 9 is a flowchart illustrating an example of processing when recording is performed with the presentation recording mode set. In this example, a flag for identifying the timing at which an image is recorded is used as the synchronization signal.
図9において、プレゼンテーションレコーディングモードでの記録開始が指示されると(ステップS1)、画像ファイルのシーケンシャル番号Nが「1」に初期化される(ステップS2)。そして、音声ファイルが作成される(ステップS3)。このときの音声ファイルのファイル名は、どのようなファイル名であってもよい。通常、MP3で圧縮された音声ファイルなら、拡張子として、「MP3」が付加される。そして、マイクロホン9からの音声が録音される(ステップS4)。
In FIG. 9, when the start of recording in the presentation recording mode is instructed (step S1), the sequential number N of the image file is initialized to “1” (step S2). Then, an audio file is created (step S3). The file name of the audio file at this time may be any file name. Normally, an MP3 compressed audio file is appended with “MP3” as an extension. Then, the sound from the
録音を行っている間に、キャプチャー要求があるかどうかが判断される(ステップS5)。キャプチャー要求は、録音を継続している間に、シャッターキー5が押されると発生する。キャプチャー要求がなければ、プレゼンテーションレコーディングモードでの記録終了が指示されたかどうかが判断され(ステップS6)、プレゼンテーションレコーディングモードの終了が指示されなければ、ステップS4に戻り、録音が継続される。
While recording, it is determined whether there is a capture request (step S5). The capture request is generated when the
プレゼンテーションレコーディングモードでは、ユーザは、プレゼンテーションの音声を録音しながら、その音声の説明に関連して、シャッターキー5を押して、画像の取り込みを行う。録音を継続している間に、シャッターキー5が押されると、ステップS5でキャプチャー要求があると判断される。
In the presentation recording mode, the user captures an image by recording the sound of the presentation and pressing the
ステップS5で、キャプチャー要求があったと判断されると、画像ファイルが作成される(ステップS7)。このとき、画像ファイルのファイル名は、音声ファイルと関連して決められる。また、画像ファイルのファイル名には、画像ファイルのシーケンシャル番号Nが含められる。また、通常、JPEGで圧縮された画像ファイルなら、拡張子として、「JPG」が付加される。 If it is determined in step S5 that there is a capture request, an image file is created (step S7). At this time, the file name of the image file is determined in association with the audio file. The file name of the image file includes the sequential number N of the image file. Normally, “JPG” is added as an extension for an image file compressed by JPEG.
画像ファイルが作成されると、画像を記録したタイミングを示す同期信号が記録される(ステップS8)。同期信号は、音声データと画像を取り込んだタイミングとを関連付けるものであり、例えば1ビットのフラグでよい。そして、撮像素子22からの1フレーム分の撮像信号が取り込まれ、この撮像信号が圧縮符号化されて記録される(ステップS9)。画像の記録が完了したら、ファイル番号Nがインクリメントされる(ステップS10)。そして、ステップS4にリターンされ、録音が継続される。
When the image file is created, a synchronization signal indicating the timing of recording the image is recorded (step S8). The synchronization signal associates audio data with the timing of capturing an image, and may be a 1-bit flag, for example. Then, an image pickup signal for one frame from the
以上のような処理により、キャプチャー要求が起こる毎に、画像が取り込まれて記録されると共に、同期信号が記録され、その画像ファイルのファイル名には、画像を取り込んだ順番を示すシーケンシャル番号Nが付加される。 With the above processing, every time a capture request occurs, an image is captured and recorded, and a synchronization signal is recorded. The file name of the image file includes a sequential number N indicating the order in which the images are captured. Added.
プレゼンテーションレコーディングモードでの記録を終了する場合には、ユーザは、操作部7を操作して、プレゼンテーションレコーディングモードの終了を指示する。プレゼンテーションレコーディングモードの終了が指示されると、ステップS6で、プレゼンテーションレコーディングモードの終了が検出され、プレゼンテーションレコーディングモードでの記録が終了する。 When ending the recording in the presentation recording mode, the user operates the operation unit 7 to instruct the end of the presentation recording mode. When the end of the presentation recording mode is instructed, the end of the presentation recording mode is detected in step S6, and the recording in the presentation recording mode is ended.
図10は、プレゼンテーションレコーディングモードで記録を行った場合に、メモリカード27に残されるファイルを示すものである。図10に示すように、プレゼンテーションレコーディングモードで記録されると、音声ファイル61(ABCD.MP3)が残される。また、取り込まれた複数の画像ファイル62a、62b、62cが残される。音声ファイル61のファイル名が例えば「ABCD.MP3」であれば、画像ファイル62a、62b、62cのファイル名はこれに関連したものになり、シーケンシャル番号が含められ、例えば「ABCD_001.JPG」、「ABCD_002.JPG」、「ABCD_003.JPG」となる。
FIG. 10 shows files left on the
図11は、プレゼンテーションレコーディングモードでの再生処理を示すものである。 図11において、再生開始が指示されると(ステップS21)、シーケンシャル番号Nが初期化される(ステップS22)。そして、メモリカード27から音声ファイルがオープンされ(ステップS23)、音声が再生される(ステップS24)。例えば、メモリカード27に、図10に示すようなファイルが記録されている場合には、音声ファイル61の「ABCD.MP3」がオープンされ、この音声が再生される。
FIG. 11 shows the playback process in the presentation recording mode. In FIG. 11, when an instruction to start reproduction is given (step S21), a sequential number N is initialized (step S22). Then, an audio file is opened from the memory card 27 (step S23), and the audio is reproduced (step S24). For example, when a file as shown in FIG. 10 is recorded on the
そして、同期信号が検出されるかどうかが判断される(ステップS25)。ステップS25で、同期信号が検出されたら、ファイル名にシーケンシャル番号Nを含む画像ファイルがオープンされる(ステップS26)。すなわち、例えば、メモリカード27に、図10に示すようなファイルが記録されている場合には、最初に、画像ファイル62aの「ABC_001.JPG」のファイル名の画像ファイルがオープンされる。そして、この画像が再生される(ステップS27)。そして、シーケンシャル番号Nがインクリメントされ(ステップS28)、ステップS24にリターンされ、音声の再生が継続される。
Then, it is determined whether or not a synchronization signal is detected (step S25). If a synchronization signal is detected in step S25, an image file including a sequential number N in the file name is opened (step S26). That is, for example, when a file as shown in FIG. 10 is recorded in the
以下、同様に、音声の再生が継続されている間に、ステップS25で同期信号が検出されるかどうかが判断され、同期信号が検出されると、ステップS26でN番目のファイル名の画像ファイルがオープンされ、ステップS27でその画像が再生され、ステップS28でシーケンシャル番号Nがインクリメントされ、ステップS24にリターンされる。これにより、同期信号が検出されるタイミングで、ファイル番号Nの順に、画像(ABCD_001.JPG、ABCD_002.JPG、ABCD_003.JPG、…)が順次再生されていく。 Hereinafter, similarly, while the sound reproduction is continued, it is determined whether or not the synchronization signal is detected in step S25. If the synchronization signal is detected, the image file having the Nth file name is detected in step S26. Is opened, the image is reproduced in step S27, the sequential number N is incremented in step S28, and the process returns to step S24. As a result, images (ABCD_001.JPG, ABCD_002.JPG, ABCD_003.JPG,...) Are sequentially reproduced in the order of the file number N at the timing when the synchronization signal is detected.
再生を終了する場合には、ユーザは、操作部7を操作して、再生の終了を指示する。再生の終了が指示されると、ステップS29で、再生終了が検出され、プレゼンテーションレコーディングモードでの再生が終了する。 When ending the reproduction, the user operates the operation unit 7 to instruct the end of the reproduction. When the end of playback is instructed, the end of playback is detected in step S29, and playback in the presentation recording mode ends.
5.同期信号にシーケンシャル番号を含めた場合の動作説明.
図12は、プレゼンテーションレコーディングモードに設定して、記録を行ったときの処理の他の例を示すフローチャートである。この例では、同期信号として、画像ファイルのシーケンシャル番号を含むものが用いられる。
5. Explanation of operation when sequential number is included in sync signal.
FIG. 12 is a flowchart showing another example of processing when recording is performed with the presentation recording mode set. In this example, a synchronization signal including a sequential number of an image file is used.
図12において、プレゼンテーションレコーディングモードでの記録が指示されると(ステップS51)、画像ファイルのシーケンシャル番号Nが「1」に初期化される(ステップS52)。そして、音声ファイルが作成される(ステップS53)。そして、マイクロホン9から音声が録音される(ステップS54)。 In FIG. 12, when recording in the presentation recording mode is instructed (step S51), the sequential number N of the image file is initialized to “1” (step S52). Then, an audio file is created (step S53). Then, sound is recorded from the microphone 9 (step S54).
録音を行っている間に、キャプチャー要求があるかどうかが判断される(ステップS55)。キャプチャー要求は、録音を継続している間に、シャッターキー5が押されると発生する。キャプチャー要求がなければ、プレゼンテーションレコーディングモードの終了が指示されたかどうかが判断され(ステップS56)、プレゼンテーションレコーディングモードの終了が指示されなければ、ステップS54に戻り、録音が継続される。
During recording, it is determined whether there is a capture request (step S55). The capture request is generated when the
プレゼンテーションレコーディングモードでは、ユーザは、プレゼンテーションの音声を録音しながら、その音声の説明に関連して、シャッターキー5を押して、画像の取り込みを行う。録音を継続している間に、シャッターキー5が押されると、ステップS55でキャプチャー要求があると判断される。
In the presentation recording mode, the user captures an image by recording the sound of the presentation and pressing the
ステップS55で、キャプチャー要求があったと判断されると、画像ファイルが作成される(ステップS57)。このとき、画像ファイルのファイル名には、シーケンシャル番号Nが含められる。また、通常、JPEGで圧縮された画像ファイルなら、拡張子として、「JPG」が付加される。 If it is determined in step S55 that there is a capture request, an image file is created (step S57). At this time, the sequential number N is included in the file name of the image file. Normally, “JPG” is added as an extension for an image file compressed by JPEG.
画像ファイルが作成されると、画像を記録したタイミングを示す同期信号が音声データ中に記録される(ステップS58)。この同期信号中には、画像ファイルのシーケンシャル番号Nが含められる。そして、撮像素子22からの1フレーム分の撮像信号が取り込まれ、この撮像信号が圧縮符号化されて記録される(ステップS59)。画像の記録が完了したら、ファイル番号Nがインクリメントされる(ステップS60)。そして、ステップS53にリターンされ、録音が継続される。
When the image file is created, a synchronization signal indicating the timing when the image is recorded is recorded in the audio data (step S58). This synchronization signal includes the sequential number N of the image file. Then, an image pickup signal for one frame from the
以上のような処理により、キャプチャー要求が起こる毎に、画像が取り込まれて記録されると共に、同期信号が記録され、この同期信号には、画像を取り込んだ順番を示すシーケンシャル番号が含められる。 With the above processing, every time a capture request occurs, an image is captured and recorded, and a synchronization signal is recorded. This synchronization signal includes a sequential number indicating the order in which the images are captured.
プレゼンテーションレコーディングモードでの記録を終了する場合には、ユーザは、操作部7を操作して、プレゼンテーションレコーディングモードの終了を指示する。プレゼンテーションレコーディングモードの終了が指示されると、ステップS56で、プレゼンテーションレコーディングモードの終了が検出され、プレゼンテーションレコーディングモードでの記録が終了する。 When ending the recording in the presentation recording mode, the user operates the operation unit 7 to instruct the end of the presentation recording mode. When the end of the presentation recording mode is instructed, the end of the presentation recording mode is detected in step S56, and the recording in the presentation recording mode is ended.
図13は、プレゼンテーションレコーディングモードでの再生処理を示すものである。図13において、再生開始が指示されると(ステップS71)、メモリカード27から音声ファイルがオープンされ(ステップS72)、音声が再生される(ステップS73)。 FIG. 13 shows playback processing in the presentation recording mode. In FIG. 13, when an instruction to start reproduction is given (step S71), an audio file is opened from the memory card 27 (step S72), and audio is reproduced (step S73).
そして、音声の再生中に、同期信号が検出されるかどうかが判断される(ステップS74)。ステップS74で、同期信号が検出されたら、同期信号中からシーケンシャル番号Nが抽出され(ステップS75)、抽出されたシーケンシャル番号Nの画像ファイルがオープンされ(ステップS76)、画像が再生される(ステップS77)。そして、ステップS73にリターンされ、音声の再生が継続される。 Then, it is determined whether or not a synchronization signal is detected during audio reproduction (step S74). When the synchronization signal is detected in step S74, the sequential number N is extracted from the synchronization signal (step S75), the image file with the extracted sequential number N is opened (step S76), and the image is reproduced (step S76). S77). Then, the process returns to step S73, and the sound reproduction is continued.
以下、同様に、音声の再生が継続されている間に、ステップS74で同期信号が検出されるかどうかが判断され、同期信号が検出されると、ステップS75で同期信号からシーケンシャル番号Nが抽出され、ステップS76で、N番目のファイル名の画像ファイルがオープンされ、ステップS77でその画像が再生され、ステップS73にリターンされる。これにより、同期信号が検出されるタイミングで、ファイル番号Nの順に、画像が順次再生されていく。 Hereinafter, similarly, while the sound reproduction is continued, it is determined whether or not the synchronization signal is detected in step S74, and when the synchronization signal is detected, the sequential number N is extracted from the synchronization signal in step S75. In step S76, the image file having the Nth file name is opened, the image is reproduced in step S77, and the process returns to step S73. As a result, the images are sequentially reproduced in the order of the file number N at the timing when the synchronization signal is detected.
再生を終了する場合には、ユーザは、操作部7を操作して、再生の終了を指示する。再生の終了が指示されると、ステップS78で、再生終了が検出され、プレゼンテーションレコーディングモードでの再生が終了する。 When ending the reproduction, the user operates the operation unit 7 to instruct the end of the reproduction. When the end of playback is instructed, the end of playback is detected in step S78, and playback in the presentation recording mode ends.
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。また、本発明に係わるはプレゼンテーションレコーディングモードは、ディジタルカメラばかりでなく、ビデオカメラに設けるようにしてもよい。 The present invention is not limited to the above-described embodiments, and various modifications and applications can be made without departing from the gist of the present invention. Further, according to the present invention, the presentation recording mode may be provided not only in a digital camera but also in a video camera.
本発明は、特に、ディジタルカメラを使って、写真を用いた効果的なビジュアルプレゼンテーションの素材を作成するのに用いて好適である。 The present invention is particularly suitable for use in creating effective visual presentation material using photographs using a digital camera.
1 カメラボディ
2 レンズ鏡筒
3 光学ファインダ
4 ストロボ発光部
5 シャッターキー
6 LCDディスプレイ
7 操作部
8 スピーカ
9 マイクロホン
21 光学系
22 撮像素子
25 画像信号処理回路
27 メモリカード
32 エンコーダ
35 デコーダ
42 入力ユニット
DESCRIPTION OF
Claims (11)
入力された音声信号を記録媒体に記録する音声記録手段と、
音声信号を連続的に記録している間に画像のキャプチャー要求があったら、前記撮像素子からの画像を取り込み、前記記録媒体に画像を記録すると共に、前記画像を記録したタイミングを示す同期信号を記録するように制御する制御手段と
を備えるようにしたことを特徴とする画像音声記録装置。 Image recording means for recording an image signal captured by the image sensor on a recording medium;
Audio recording means for recording the input audio signal on a recording medium;
If there is an image capture request while recording an audio signal continuously, an image from the image sensor is captured, an image is recorded on the recording medium, and a synchronization signal indicating the timing at which the image is recorded is displayed. An audio / video recording apparatus comprising: control means for controlling to record.
前記記録媒体から読み出された音声信号を再生する音声再生手段と、
前記記録媒体から読み出された信号中から同期信号を検出し、音声信号を連続的に再生している間に、前記同期信号が検出されたら、対応する画像を前記記録媒体から読み出して再生するように制御する制御手段と
を備えるようにしたことを特徴とする画像音声再生装置。 Image reproducing means for reproducing the image signal read from the recording medium;
Audio reproduction means for reproducing an audio signal read from the recording medium;
While the synchronization signal is detected from the signals read from the recording medium and the audio signal is continuously reproduced, if the synchronization signal is detected, the corresponding image is read from the recording medium and reproduced. And a control means for controlling the video and audio reproduction apparatus.
The synchronization signal includes a sequential number indicating the order of the captured images. When the synchronization signal is detected, the images are read from the recording medium and reproduced in the order of the sequential number obtained from the synchronization signal. The video / audio reproduction device according to claim 9, which is configured as described above.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004178228A JP4699715B2 (en) | 2004-06-16 | 2004-06-16 | Image / audio recording apparatus and reproducing apparatus |
KR1020050006087A KR100627070B1 (en) | 2004-06-16 | 2005-01-22 | Video and audio signal recording device and reproducing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004178228A JP4699715B2 (en) | 2004-06-16 | 2004-06-16 | Image / audio recording apparatus and reproducing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006005539A true JP2006005539A (en) | 2006-01-05 |
JP4699715B2 JP4699715B2 (en) | 2011-06-15 |
Family
ID=35773567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004178228A Expired - Fee Related JP4699715B2 (en) | 2004-06-16 | 2004-06-16 | Image / audio recording apparatus and reproducing apparatus |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4699715B2 (en) |
KR (1) | KR100627070B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007213710A (en) * | 2006-02-09 | 2007-08-23 | Ricoh Co Ltd | Data recorder and data recording system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06276478A (en) * | 1993-03-24 | 1994-09-30 | Olympus Optical Co Ltd | Voice picture recording display device |
JPH11203769A (en) * | 1998-01-09 | 1999-07-30 | Sony Corp | Recorder and reproducing device |
JP2001069453A (en) * | 1999-08-27 | 2001-03-16 | Hitachi Ltd | Still picture camera |
JP2001358980A (en) * | 2000-06-14 | 2001-12-26 | Ricoh Co Ltd | Digital camera |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR910006319B1 (en) * | 1988-11-30 | 1991-08-19 | 삼성전자 주식회사 | Remote control |
KR0165264B1 (en) * | 1993-03-08 | 1999-03-20 | Samsung Electronics Co Ltd | Television receiver having music room function |
JP2003319324A (en) * | 2002-04-19 | 2003-11-07 | Sony Corp | Information recording medium, information recording apparatus, information recording and reproducing apparatus, and information recording and reproducing method |
-
2004
- 2004-06-16 JP JP2004178228A patent/JP4699715B2/en not_active Expired - Fee Related
-
2005
- 2005-01-22 KR KR1020050006087A patent/KR100627070B1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06276478A (en) * | 1993-03-24 | 1994-09-30 | Olympus Optical Co Ltd | Voice picture recording display device |
JPH11203769A (en) * | 1998-01-09 | 1999-07-30 | Sony Corp | Recorder and reproducing device |
JP2001069453A (en) * | 1999-08-27 | 2001-03-16 | Hitachi Ltd | Still picture camera |
JP2001358980A (en) * | 2000-06-14 | 2001-12-26 | Ricoh Co Ltd | Digital camera |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007213710A (en) * | 2006-02-09 | 2007-08-23 | Ricoh Co Ltd | Data recorder and data recording system |
JP4582590B2 (en) * | 2006-02-09 | 2010-11-17 | 株式会社リコー | Data recording apparatus and data recording system |
Also Published As
Publication number | Publication date |
---|---|
KR20050119621A (en) | 2005-12-21 |
JP4699715B2 (en) | 2011-06-15 |
KR100627070B1 (en) | 2006-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4777180B2 (en) | Imaging apparatus and control method thereof | |
US7535495B2 (en) | Digital camera, control method thereof and portable terminal | |
JP2004201282A (en) | Photographing device and photographing method | |
JP2009038649A (en) | Signal processing circuit and imaging apparatus | |
JP4208613B2 (en) | Imaging device | |
JP4500465B2 (en) | Imaging apparatus and control method thereof | |
JP2005286551A (en) | Digital camera | |
KR20060123857A (en) | Divice and method taking the picture of digital camera | |
JP2005117369A (en) | Moving image recorder, moving image reproducer and digital camera | |
JP5836578B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
JP4467232B2 (en) | Image recording apparatus and method | |
JP4699715B2 (en) | Image / audio recording apparatus and reproducing apparatus | |
JP2007067660A (en) | Imaging apparatus, and reproduction control method | |
JP2005117077A (en) | Mobile electronic apparatus and data reproducing method | |
JP2000236508A (en) | Image recorder | |
JP3559499B2 (en) | Digital camera | |
JP2004228731A (en) | Digital camera and program used for the same | |
JP4637032B2 (en) | Image recording apparatus and control method thereof | |
JP2004153737A (en) | Sound recording method, sound reproducing method and electronic camera | |
JP2006314136A (en) | Photographic device and photographing method | |
JP2005117370A (en) | Digital camera | |
JP2004163485A (en) | Speech reproduction system and speech data code, and electronic camera | |
JP4085318B2 (en) | Audio recording method and electronic camera | |
JP2004297424A (en) | Digital camera | |
US20120069047A1 (en) | Image display apparatus, image editing apparatus, image display program, and image editing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070608 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090804 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100831 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20101025 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110303 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |