JP2009189065A - Video camera and information transmitting method - Google Patents
Video camera and information transmitting method Download PDFInfo
- Publication number
- JP2009189065A JP2009189065A JP2009127540A JP2009127540A JP2009189065A JP 2009189065 A JP2009189065 A JP 2009189065A JP 2009127540 A JP2009127540 A JP 2009127540A JP 2009127540 A JP2009127540 A JP 2009127540A JP 2009189065 A JP2009189065 A JP 2009189065A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- sound
- audio
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明はビデオカメラ及び情報送信方法に係り、特にネットワーク接続機能を持つメディア再生機能付きビデオカメラ及び情報送信方法に関する。 The present invention relates to a video camera and an information transmission method, and more particularly to a video camera with a media playback function having a network connection function and an information transmission method.
VTR付きビデオカメラ(ビデオ一体型VTR)は、その撮像素子で撮像して得られた映像信号を、本体に設けられた記録再生機構により磁気テープなどの記録メディアに記録し再生する機能を有している。また、ネットワーク接続機能を持つビデオカメラとしては、ネットワークを通じて画像を通信すると共に、カメラの撮影方向(パン/チルト)や撮影倍率(ズーム)の操作を遠隔制御できる装置が提案されている(例えば、特許文献1参照)。 A video camera with a VTR (video integrated type VTR) has a function of recording and reproducing a video signal obtained by imaging with an image sensor on a recording medium such as a magnetic tape by a recording / reproducing mechanism provided in the main body. ing. In addition, as a video camera having a network connection function, an apparatus capable of communicating an image through a network and remotely controlling a shooting direction (pan / tilt) and a shooting magnification (zoom) of the camera has been proposed (for example, Patent Document 1).
ところで、特許文献1記載の従来のネットワーク接続機能を持つビデオカメラには、メディア再生機能を制御する装置がなく、一方的にビデオカメラの映像をネットワークに接続した外部コンピュータに表示させるものであった。また、このようなビデオカメラにネットワークを介して接続した外部コンピュータなどによるビデオカメラに対しての遠隔操作は、ビデオカメラに関するズームやパン・チルトなどしかできない。 Incidentally, the conventional video camera having the network connection function described in Patent Document 1 does not have a device for controlling the media playback function, and unilaterally displays the video of the video camera on an external computer connected to the network. . In addition, remote control of the video camera by an external computer connected to the video camera via a network can only perform zooming, panning / tilting, etc. related to the video camera.
また、従来のVTR付きビデオカメラ(ビデオ一体型VTR)はネットワーク接続機能を有していないので、VTRで再生した映像信号及び音声信号は本体内部で表示、発音させることしかできず、ネットワークを介して外部へ送信できない。 In addition, since a conventional video camera with a VTR (video integrated VTR) does not have a network connection function, video and audio signals reproduced by the VTR can only be displayed and sounded inside the main body, and can be transmitted via the network. Cannot be sent to the outside.
さらに、上記のネットワーク接続機能を持つビデオカメラと従来のVTR付きビデオカメラ(ビデオ一体型VTR)とを仮に組み合わせたとしても、ネットワークを介して接続した外部コンピュータなどにより、VTRの遠隔制御をすると同時に、そのビデオカメラで撮影した映像信号などをネットワークへ送信することはできない。 Furthermore, even if a video camera having the above network connection function and a conventional video camera with a VTR (video integrated VTR) are temporarily combined, the VTR is controlled remotely by an external computer or the like connected via the network. Video signals shot with the video camera cannot be sent to the network.
本発明は以上の点に鑑みなされたもので、ネットワーク接続先から画像(静止画、動画ストリーミング)の閲覧に加え、記録媒体を再生して得た動画像などをカメラ表示部で表示すると共に内蔵スピーカで音声再生し、それに対する被写体の挙動を撮影してネットワーク経由で外部機器に確認させることができるVTR付きのビデオカメラを提供することを目的とする。 The present invention has been made in view of the above points. In addition to viewing images (still images, moving image streaming) from a network connection destination, a moving image obtained by playing a recording medium is displayed on a camera display unit and incorporated. It is an object of the present invention to provide a video camera with a VTR that can reproduce sound by a speaker, capture the behavior of a subject with respect to the sound, and allow an external device to check the behavior via a network.
上記の目的を達成するため、本発明のビデオカメラは、被写体を撮像する撮像手段と、記録媒体に記録された第1の画像信号を再生する画像再生手段と、前記画像再生手段によって再生した前記第1の画像信号と、前記画像再生手段によって再生した前記第1の画像信号による画像を表示手段が表示している状態で前記撮像手段によって被写体を撮像した第2の画像信号とを合成して合成画像信号を生成する画像合成手段と、前記画像合成手段によって生成された合成画像信号をネットワークを介してクライアントに送信する送信手段とを備えることを特徴とする。
前記画像合成手段は、前記第1の画像信号による画像を前記第2の画像信号による画像よりも小さい状態で前記第1及び第2の画像信号を合成することを特徴とする。
音声を収音するマイクと、前記記録媒体に記録された第1の音声信号を再生する音声再生手段とをさらに備え、前記送信手段は、前記合成画像信号に加えて、前記音声再生手段によって再生した前記第1の音声信号による音声をスピーカから出力している状態で前記マイクによって収音した音声の音声信号を、前記ネットワークを介して前記クライアントに送信することを特徴とする。
前記スピーカに供給する前記第1の音声信号に対して、前記スピーカから前記マイクまでの音声伝達関数に基づいたフィルタ処理を施して出力する音声フィルタと、前記マイクによって収音した音声の音声信号から前記音声フィルタの出力を減算する減算手段とをさらに備え、前記送信手段は、前記減算手段より出力された音声信号を送信することを特徴とする。
In order to achieve the above object, the video camera of the present invention includes an image pickup means for picking up an image of an object, an image reproduction means for reproducing a first image signal recorded on a recording medium, and the image reproduction means reproduced by the image reproduction means. A first image signal is combined with a second image signal obtained by imaging the subject by the imaging unit in a state where the display unit displays an image based on the first image signal reproduced by the image reproduction unit. An image synthesizing unit that generates a synthesized image signal and a transmission unit that transmits the synthesized image signal generated by the image synthesizing unit to a client via a network.
The image synthesizing unit synthesizes the first and second image signals in a state where an image based on the first image signal is smaller than an image based on the second image signal.
The apparatus further comprises a microphone that collects sound and a sound reproducing means for reproducing the first sound signal recorded on the recording medium, wherein the transmitting means reproduces the sound by the sound reproducing means in addition to the synthesized image signal. The voice signal of the voice collected by the microphone in a state where the voice based on the first voice signal is output from a speaker is transmitted to the client via the network.
An audio filter that outputs the first audio signal supplied to the speaker by performing a filtering process based on an audio transfer function from the speaker to the microphone, and an audio signal of the sound collected by the microphone Subtracting means for subtracting the output of the audio filter is further provided, wherein the transmitting means transmits the audio signal output from the subtracting means.
また、上記の目的を達成するため、本発明の情報送信方法は、記録媒体に記録された第1の画像信号を再生して前記第1の画像信号による画像を表示手段によって表示し、前記画像を前記表示手段によって表示している状態で被写体を撮像し、再生した前記第1の画像信号と、前記被写体を撮像した第2の画像信号とを合成して合成画像信号を生成し、前記合成画像信号をネットワークを介してクライアントに送信することを特徴とする。
前記第1の画像信号による画像を前記第2の画像信号による画像よりも小さい状態で前記第1及び第2の画像信号を合成することを特徴とする。
前記記録媒体に記録された第1の音声信号を再生して前記第1の音声信号による音声をスピーカから出力し、前記音声を前記スピーカから出力している状態でマイクによって音声を収音し、前記合成画像信号に加えて、前記マイクが収音した音声の音声信号を、前記ネットワークを介して前記クライアントに送信することを特徴とする。
前記スピーカに供給する前記第1の音声信号に対して、前記スピーカから前記マイクまでの音声伝達関数に基づいたフィルタ処理を施し、前記マイクによって収音した音声の音声信号から前記フィルタ処理を施した音声信号を減算した減算音声信号を生成し、前記減算音声信号を送信することを特徴とする。
In order to achieve the above object, the information transmission method of the present invention reproduces the first image signal recorded on the recording medium and displays the image based on the first image signal on the display means. The subject is imaged with the display means being displayed, the reproduced first image signal and the second image signal obtained by imaging the subject are combined to generate a combined image signal, and the combined An image signal is transmitted to a client via a network.
The first and second image signals are synthesized in a state where an image based on the first image signal is smaller than an image based on the second image signal.
Reproducing the first audio signal recorded on the recording medium and outputting the sound by the first audio signal from a speaker, and collecting the sound by a microphone in a state where the sound is output from the speaker; In addition to the synthesized image signal, an audio signal of sound collected by the microphone is transmitted to the client via the network.
The first audio signal supplied to the speaker is subjected to a filtering process based on an audio transfer function from the speaker to the microphone, and the filtering process is performed from the audio signal of the sound collected by the microphone A subtracted audio signal is generated by subtracting the audio signal, and the subtracted audio signal is transmitted.
本発明によれば、記録媒体を再生して得た動画像や音声をビデオカメラ本体で表示及び発音すると共に、それに対する被写体の挙動を撮影して得た映像信号や音声信号を通信ネットワークを介してクライアントへ送信させるようにしたため、クライアントから遠隔制御されることでビデオカメラ本体内部の記録媒体から動画像や音声を再生して、ビデオカメラ本体で画像表示及び音声発音させながら、それらを視聴した被写体の挙動を撮像及び収音して得た画像及び音声をネットワーク接続先の遠く離れた場所の外部機器(クライアント)で確認させることが可能となる。 According to the present invention, a moving image or sound obtained by reproducing a recording medium is displayed and pronounced on the video camera body, and a video signal or sound signal obtained by photographing the behavior of the subject with respect to the moving image or sound is transmitted via a communication network. Because it was sent to the client, the video and audio were played back from the recording medium inside the video camera body by remote control from the client, and they were viewed while displaying the image and sounding sound on the video camera body. It is possible to check the image and sound obtained by imaging and collecting the behavior of the subject with an external device (client) at a remote location of the network connection destination.
次に、発明を実施するための最良の形態について説明する。図1は本発明になるビデオカメラの一実施の形態のブロックを示す。本実施の形態は、ネットワーク接続可能なVTR付きビデオカメラ(カメラ一体型VTR)に適用した例を示している。以下、本実施の形態の各モードの動作について説明する。 Next, the best mode for carrying out the invention will be described. FIG. 1 shows a block of an embodiment of a video camera according to the present invention. This embodiment shows an example applied to a video camera with a VTR that can be connected to a network (camera-integrated VTR). Hereinafter, the operation of each mode of the present embodiment will be described.
(1)カメラ動画像のテープ録画モード
光学系11で画角、フォーカス、アイリスを調整された被写体(図示せず)からの入射光は、電荷転送素子(CCD)で構成された撮像素子12の受光面に結像される。撮像素子12は、垂直ドライブ信号及び水平ドライブ信号により駆動され、入射光を光電変換して2chの画像データとして並列に出力する。この2chの画像データは、画面の中心で左右に分割された画像データとなっている。これらの画像データはAFE13において、相関2重サンプリング(CDS)によるS/N改善処理、自動利得制御(AGC)によるレベル調整処理、及びA/D変換器によるA/D変換処理が順次行われて2chのデジタル信号として出力される。
(1) Camera moving image tape recording mode Incident light from a subject (not shown) whose angle of view, focus, and iris have been adjusted by the
上記の2chのデジタル信号は画像処理回路14において、それぞれゲイン、セットアップ調整されてから結合され、1枚の画像信号に合成されて出力される。ここで、画像処理回路14には、発振器(OSC)15により発振出力された一定周波数のクロック信号が供給されており、画像処理回路14はこのクロック信号を基準にしてAFE13内のCDSやA/D変換に用いるクロックを発生してそれらに供給すると共に、撮像素子12を駆動する垂直ドライブ信号を発生し、それを増幅器16で増幅した後撮像素子12に供給する。また、撮像素子12を駆動する水平ドライブ信号はAFE13で発生される。
The above 2ch digital signals are combined after gain and setup adjustment in the
1枚の画像となった画像信号は、画像処理回路14から出力されてカメラ/JPEGエンコーダ17に供給され、ここでカメラ信号処理され補色のCCDデータからYUVデータに変換され、さらに、ズーム、モザイク、ソラリゼーションなどの電子画像処理が行われ、最終的にデジタルビデオカメラ(DVG)の規格に合う有効画素(NTSC:720×480画素、PAL/SECAM:720×576画素)の動画像に画像サイズを変換されて出力端子18へビデオ信号として出力される。また、カメラ/JPEGエンコーダ17では、画像処理回路14からクロックが入力され、これに同期した同期信号を生成して画像処理回路14へ出力している。
The image signal that has become one image is output from the
ビデオエンコーダ/デコーダ19は、カメラ/JPEGエンコーダ17の出力端子18から供給されたビデオ信号をそのまま外部へ出力する一方、DVコーデック20でDV規格に準拠して圧縮した後、その圧縮ビデオ信号に音声セレクタ/マイクアンプ21から入力される音声信号をA/D変換して付加し、さらに誤り訂正符号を生成して付加してから、記録のための変調処理を行い、その変調後の信号をDVCデッキ22へ出力する。DVCデッキ22はDVコーデック20から入力された信号を、回転ヘッドを用いた公知のヘリカルスキャニング方式により磁気テープに記録する。
The video encoder /
このとき、ビデオエンコード/デコーダ19において、カメラ/JPEGエンコーダ17からの入力ビデオ信号に対して機器操作に必要となる文字を、オン・スクリーン・ディスプレイ(OSD)23への同期信号に同期させてOSD23から入力として受け、ビデオエンコード/デコーダ19内部で入力ビデオ信号に合成後に、NTSC方式またはPAL/SECAM方式のテレビジョン信号に変調して本体表示用の表示器(ビューファインダ、液晶表示装置など)24に出力すると共に、ビデオ信号として外部に出力する。
At this time, in the video encoder /
また、マイク25により収音された音声は、マイク25で音声信号に変換された後、音声セレクタ/マイクアンプ21でゲイン調整後にDVコーデック20を経由してDVCデッキ22に供給され、前述のように動画像と一緒に磁気テープに記録される。
The sound collected by the
一方、システムCPU(中央処理装置)26は、UI操作スイッチ、センサなどのユーザインタフェース(UI)27からのデータ、リアルタイムクロック(RTC)29からの時計信号を基に、電源回路(REG)28への制御信号や、DSC(デジタル・スチル・カメラシステム)30への制御信号や、図示しない各種の信号線により、このビデオカメラ全体を統括的に制御する。 On the other hand, the system CPU (central processing unit) 26 is supplied to a power supply circuit (REG) 28 based on data from a user interface (UI) 27 such as a UI operation switch and a sensor, and a clock signal from a real time clock (RTC) 29. The entire video camera is centrally controlled by a control signal of the above, a control signal to a DSC (digital still camera system) 30 and various signal lines (not shown).
カメラ画像処理時は、角速度検出器であるジャイロ(GYRO)31によりビデオカメラの手振れが検出され、その検出信号が画像処理回路14を経由し、外部バス32、33によりカメラ/JPEGエンコーダ17に取り込まれる。カメラ/JPEGエンコーダ17は、1フィールド分の画像バッファをカメラ/JPEGエンコーダ17に持ち、手ぶれ検出信号に基づき、現在と過去の1フィールド間の画像の動きベクトルを算出して、その動きベクトルが最小になるように、画像バッファからの読み出し位置を制御することで、手振れなどによる動画像の細かい揺れを生じさせないようにさせる。
At the time of camera image processing, the camera shake of the video camera is detected by a gyro (GYRO) 31, which is an angular velocity detector, and the detected signal is taken into the camera /
カメラオート系の処理は、カメラ/JPEGエンコーダ17に画像処理回路14からCCDデータのフィールド1枚1枚が入力される度に、その1フィールド画像を分割したブロック毎に、それぞれの平均輝度出力レベルを算出する。その算出データを所定のアルゴリズムでCCDデータの輝度レベルが一定の範囲内となるように計算し、外部バス33、32、画像処理回路14を経由してアイリスモータ34を駆動制御し、被写体の明るさに応じて光学系11内のアイリス調整(絞り調整/減光フィルタの挿入の調整)を行う。さらに、入射光量の多い場合には撮像素子12の電子シャッターを用いて調整を行う。
In the camera auto system processing, every time one field of CCD data is input from the
同様に、カメラ/JPEGエンコーダ17は、1フィールド画像を分割したブロック毎に、それぞれの輝度信号の高域成分レベルを算出し、そのデータを基に被写体に応じたフォーカス位置を計算し、外部バス33、32、画像処理回路14を経由してフォーカスモータ35を駆動制御して、撮像素子12の受光面に被写体光が焦点一致して結像するように光学系11内のフォーカスレンズを移動制御させる構成になっている。これらにより、接写体が変化しても常に適切な明るさで、焦点の合った動画像を記録できるようになる。
Similarly, the camera /
(2)テープ再生モード
DVCデッキ22により磁気テープから再生された信号は、DVコーデック20にて復調、誤り訂正されて再生動画像信号と再生音声信号とが得られ、再生動画像信号はDV規格の伸張処理が施された後、カメラ/JPEGエンコーダ17に一旦出力され、再生音声信号はDVコーデック20にてD/A変換された後、音声セレクタ/マイクアンプ21に出力されて増幅された後、スピーカ36により電気−音響変換されて発音される。
(2) Tape reproduction mode The signal reproduced from the magnetic tape by the
再生動画像信号は、カメラ/JPEGエンコーダ17にて必要に応じてズーム、スチル処理などが施された後、ビデオエンコーダ/デコーダ19に出力され、上記の(1)のカメラ動画像のテープ録画モードと同様に、表示器24やビデオ入出力端子に出力されて見ることができる。
The playback moving image signal is subjected to zooming and still processing as necessary by the camera /
(3)メモリへの動画録画モード
前述した(1)のカメラ動画像のテープ録画モードと同じ動作をしているときに、カメラ/JPEGエンコーダ17から、DSC30に対して被写体の撮像信号である動画像信号を出力する。また、マイク25から音声信号が、音声セレクタ/マイクアンプ21から音声用ADC/DAC37に入力され、ここでA/D変換され後DSC30に対して出力される。
(3) Video recording mode to memory A video that is an imaging signal of a subject from the camera /
DSC30は、このビデオカメラに挿入されたSDメモリカード38に記録・再生を行うためのデジタル・スチル・カメラシステムで、マイクロコンピュータとDSPで構成されており、入力動画像信号に対しては、CIF(352×288)、QVGA(320×240)など正方画素でパーソナルコンピュータ(PC)のツールで対応可能な所定のサイズ/フレームレートに変換後に、MPEG4等の動画圧縮を行う。また、DSC30では、入力音声信号に対しても、同様にPC上のツールで対応可能なサンプリングレート、ビット数に変換後圧縮を行う。そして、DSC30はその圧縮した動画像データと音声データを一つのファイルにまとめ、SDメモリカード38へ書き込む。このとき、DSC30に接続されるリード・オンリ・メモリ(ROM)39はプログラムコード、シンクロナス・ダイナミック・ランダム・アクセス・メモリ(SDRAM)40は画像バッファ、作業領域として使用している。
The
テープ再生時のメモリ録画も同様に、カメラ/JPEGエンコーダ17から、DSC30に対してテープ再生動画像信号が入力され、テープ再生音声信号が音声セレクタ/マイクアンプ21から音声用ADC/DAC37に入力され、ここでA/D変換され後DSC30に対して出力される。これにより、上記と同様にして、DSC30によりテープ再生動画信号及びテープ再生音声信号を一つのファイルにまとめてSDメモリカード38に書き込むことが可能となる。
Similarly, in memory recording during tape playback, a video playback video signal is input from the camera /
(4)メモリからの動画再生モード
DSC30は、そのSDIO−I/Fに接続されているSDメモリカード38からMPEG4等の動画ファイルを読み出し、動画圧縮データと音声圧縮データに分離後、それぞれ伸張する。動画圧縮データに対してはMPEG4等の動画伸張後にNTSC方式、PAL方式、SECAM方式などのテレビ規格に合うようにフレームレートやサイズを変換してビデオエンコーダ/デコーダ19へ出力し、音声圧縮データについても伸張後にサンプリング周波数を音声用ADC/DAC37で使用する周波数に合わせて変換を行い、音声用ADC/DAC37へ出力する。
(4) Video playback mode from memory The
ビデオエンコーダ/デコーダ19に入力された動画像信号は、デコードされた後表示器24で表示され、又はビデオ入出力端子へ出力される。音声信号は音声用ADC/DAC37でD/A変換後、音声セレクタ/マイクアンプ21を経由してスピーカ36へ出力され、これにより音声として発音される。
The moving image signal input to the video encoder /
(5)メモリへの静止画記録モード
前述した(1)のカメラ動画像のテープ録画モードと同様に、被写体の撮像信号である動画像信号がカメラ/JPEGエンコーダ17に取り込まれるが、カメラ/JPEGエンコーダ17はカメラ動画像のテープ録画モードとは異なり、入力動画像信号に対してJPEG圧縮を行う。
(5) Still Image Recording Mode in Memory Similar to the camera moving image tape recording mode of (1) described above, a moving image signal that is an imaging signal of a subject is captured by the camera /
その後、カメラ/JPEGエンコーダ17により得られたJPEG圧縮データは、外部バス33、32を経由して画像処理回路14に転送され、さらにこれより高速シリアル転送でDSC30に送信される。DSC30は受け取ったJPEG圧縮データをファイル化して、SDメモリカード38に記録する。
Thereafter, the JPEG compressed data obtained by the camera /
(6)メモリからの静止画再生モード
DSC30は、SDメモリカード38からJPEG圧縮データを読み出し、JPEG伸張した後、さらにNTSC方式、PAL方式、SECAM方式などのテレビ規格に合うようにサイズを変換して、ビデオエンコーダ/デコーダ19を経由して表示器24に静止画を表示させ、又はビデオ信号としてビデオ入出力端子へ出力する。
(6) Still image playback mode from memory The
(7)ネットワーク静止画転送とテープ再生同時モード
ネットワークモードでは、SDIO無線LANカード(SDIO−WLAN)41によって外部の無線アクセスポイント又は無線機能を搭載した外部コンピュータ(PC)42と無線接続される。DSC30内にはTCP/IPプロトコルスタック、Webサーバを搭載し、それら外部コンピュータ42をクライアントとするネットワークを介してのアクセスによって、このビデオカメラを遠隔制御することが可能な状態となっている。
(7) Network Still Image Transfer and Tape Playback Simultaneous Mode In the network mode, an external wireless access point or an external computer (PC) 42 equipped with a wireless function is wirelessly connected by an SDIO wireless LAN card (SDIO-WLAN) 41. The
具体的には、外部コンピュータ42からWebブラウザ等を用いて、DSC30に接続されたROM39に記憶されているWebページにアクセスし、これにより外部コンピュータ42の画面に表示されるWebページの項目選択やボタンをクリックすることで、その情報をネットワークを介してビデオカメラ側に伝え、ビデオカメラに対しての要求(動画選択、VTR制御など)を行う。
Specifically, the Web page stored in the
図2は外部コンピュータ42の画面に表示される上記のWebページの一例を示す。同図に示すように、このWebページは、画面50の中央やや下側に比較的大きな面積のカメラ静止画/動画ストリーム表示領域51があり、画面上部には静止がボタン52、動画ボタン53、早送りボタン54、停止ボタン55、再生ボタン56、巻戻しボタン57、カメラ画像サイズ選択メニュー58が整列して表示される。
FIG. 2 shows an example of the Web page displayed on the screen of the
いま、外部コンピュータ42の使用者が、カメラ画像サイズ選択メニュー58で所望のサイズを選び、静止画ボタン52をカーソルなどで押すと、DSC30からシリアル信号線によりシステムCPU26に静止画取り込み要求が出され、前述した(5)のメモリへのJPEG記録モードと同じ動作を開始する。このとき、静止画のサイズもWebページで選択された情報がシステムCPU26へ伝えられ、指定サイズの静止画であるJPEGデータが作成されてDSC30に入力される。
Now, when the user of the
DSC30では、入力されたこのJPEGデータを一旦SDRAM40に書き込み、そのJPEGデータを外部コンピュータ42に送り出す。外部コンピュータ42では、そのJPEGデータを受け取り、Webブラウザや専用ツールでJPEG伸張し、図2に示したWebページの画面50の表示領域51上に表示させる。これにより、インターネット等のネットワークを経由して、図1の構成のビデオカメラで撮像された静止画を見ることが可能となる。
In the
また、上記の静止画閲覧動作と同時に、Webページにアクセスし、Webページのボタンをクリックすることで、外部コンピュータ42から図1のビデオカメラのVTR制御を行うことが可能である。すなわち、外部コンピュータ42の使用者が図2に示したWebページの画面50に表示されている早送りボタン54、停止ボタン55、再生ボタン56、巻戻しボタン57のいずれかを表示されるカーソルなどで押すと、ネットワークを通じて図1のビデオカメラにその情報が通知され、DSC30からシリアル信号線によりシステムCPU26に押下したボタンに対応したVTR制御要求が出される。
Simultaneously with the still image browsing operation described above, the VTR control of the video camera of FIG. 1 can be performed from the
これにより、システムCPU26は、入力されたVTR制御要求に応じたコマンドを、図示しない信号線を介してVTRであるDVCデッキ22に供給してこれを制御する。Webページの再生ボタン56を押したときには、DVCデッキ22がシステムCPU26により再生モードに制御され、DVCデッキ22において磁気テープから再生された動画像信号や音声信号は、前記(2)のテープ再生モードと同じ信号ルートで再生出力され、ビデオカメラ本体の表示器24に動画像を表示し、本体のスピーカ36から音声が出力される。
As a result, the
これらの再生動画像を表示器24にて表示し、スピーカ36から再生音声を出力することにより、例えばこの表示器24の表示画像を見たときの被写体の状態をビデオカメラで撮影し、その撮影して得た静止画を上記のようにしてインターネット等のネットワークを介して外部コンピュータ42へ転送することができ、この外部コンピュータ42の画面で上記の被写体の状態を確認できる。
By displaying these reproduced moving images on the
従って、例えば、上記の被写体として、図1の構成のビデオカメラの撮影範囲内の場所で飼われている犬などのペットに対して、飼い主が話しかける動画像及び音声が記録されている磁気テープを遠隔操作でDVCデッキ22により再生して表示器24で動画像表示させ、かつ、スピーカ36から再生音声を出力させることで、その再生動画像及び再生音を視聴した犬などのペットの挙動を外部コンピュータ42の画面で確認できる。
Therefore, for example, a magnetic tape on which a moving image and sound spoken by the owner to a pet such as a dog kept in the shooting range of the video camera configured as shown in FIG. Remotely controlled by the
また、図1の構成のビデオカメラの撮影範囲内の場所に不審者が居ると思われるときに、磁気テープに予め記録されている何らかの注意を促す画像を遠隔操作でDVCデッキ22により再生して表示器24で表示させ、かつ、スピーカ36から注意を促すテープ再生音声を出力させることで、不審な相手に対して注意を与え、その反応をネットワーク接続先の外部コンピュータ42の画面で確認することが可能となる。
In addition, when a suspicious person is considered to be present within the shooting range of the video camera having the configuration shown in FIG. 1, an image for precautions recorded in advance on the magnetic tape is reproduced by the
なお、このテープ再生画像はビデオカメラ本体装着の表示器24で表示するが、表示器24は撮像素子12の撮影範囲外であるので、そのままでは本体のビデオカメラで表示器24に表示されているテープ再生画像を、そのビデオカメラで撮影してネットワークへ送出し、外部コンピュータ42で確認させることができない。
The tape playback image is displayed on the
そこで、本実施の形態では、表示器24に表示される再生画像の確認用としてDVCデッキ22によるテープ再生映像信号をDVコーデック20を介してカメラ/JPEGエンコーダ17へ入力し、ここで、撮像素子12で撮像して得られたビデオカメラ撮影映像信号と、図3に示すようにピクチャインピクチャとして静止画に合成する。
Therefore, in the present embodiment, the tape playback video signal from the
ここで、図3に示す一画面の静止画は、ビデオカメラ画像領域61内にメディア再生画像領域62が小面積で合成された構成であり、ビデオカメラ画像領域61には撮像素子12で撮像して得られたビデオカメラ撮影映像信号によるビデオカメラの静止画像が、また、メディア再生画像領域62にはDVCデッキ22で磁気テープから再生された映像信号の静止画がそれぞれ表示される。
Here, the still image of one screen shown in FIG. 3 has a configuration in which the media
上記の図3の構成の映像信号は、カメラ/JPEGエンコーダ17からJPEG圧縮された合成静止画とされて、ネットワークを介して外部コンピュータ42へ送出されることにより、外部コンピュータ42の画面でビデオカメラ本体の表示器24で表示されているテープ再生動画像のあるシーンの静止画と、そのときのビデオカメラで撮影して得た被写体の静止画との合成画像が外部コンピュータ42の画面で確認することができる。勿論、この画像合成はオン/オフ、サイズ、位置変更が可能である。
The video signal having the configuration shown in FIG. 3 is converted into a JPEG-compressed composite still image from the camera /
音声については、ビデオカメラ本体のスピーカ36とマイク25は1つに筐体に入っており距離も近いため、スピーカ36からのテープ再生音は被写体の音と混合されてマイク25に入力される。このため、テープ再生音がマイク36に大きな音で入力されてしまうため、外部音が聞こえない現象が起きる。
As for the sound, the
そのため、図4に示すように、スピーカ36に供給される音声信号を、ビデオカメラ本体の筐体の伝達関数と同じ特性を持つ音声フィルタ45に通し、その音声信号をマイク25から出力される音声信号から減算する回路46を使用する。この音声フィルタ45は、スピーカ36とマイク25間のインパルス応答を基にした周波数遅延フィルタであり、音声セレクタ/マイクアンプ21内で処理を行う。
Therefore, as shown in FIG. 4, the audio signal supplied to the
図4において、テープ再生音声信号を“a”とし、スピーカ36とマイク25の音声伝達関数を“f”とした場合、スピーカ36からの音声が本体の筐体や空気を伝播してマイク25に入る音は“f(a)”で表わされ、この音“f(a)”と撮像素子12が撮像する被写体からの音“b”とが混合された状態でマイク25に入力される。
In FIG. 4, when the tape playback audio signal is “a” and the audio transfer function between the
従って、マイク25の入力音声は“b+f(a)”で表わされ、この入力音声から、スピーカ36とマイク25の音声伝達をモデル化した音声フィルタ45でスピーカ36からマイク25へ入力する音声を擬似的に作り、その音声フィルタ45の出力音声信号を減算回路46においてマイク25からの音声信号から減算する。
Therefore, the input sound of the
これにより、減算回路46からは、マイク25から出力された音声信号(”b+f(a)”)中のスピーカ36からの音声が本体の筐体や空気を伝播してマイク25に入る音の成分“f(a)”が略相殺除去されて、被写体の音の成分”b”が取り出される。このような図4に示す電気的回路を用いて、被写体の音“b”を効果的に集音し、減算回路46から出力された被写体からの音に関する音声信号は、図1の音声セレクタ/マイクアンプ21、音声用ADC/DAC37及びDSC30を介してネットワークで接続された外部コンピュータ42へ伝送することにより、外部コンピュータ42で聞くことが可能である。
Thus, the sound component from the
また、ビデオカメラ本体の表示器24で音声付きのテープ再生動画像を表示せず、ビデオエンコーダ/デコーダ19を介して外部出力端子から外部のモニタ(図示せず)に音声付き動画像信号を出力し、そこで再生動画像を表示することも可能である。
In addition, the video playback video with sound is not displayed on the
(8)ネットワーク動画ストリーム転送とテープ再生同時モード
外部コンピュータ42から動画ストリーム転送の要求を受け取った場合は、DSC30からシステムCPU26にテープ再生動画モードの要請を出し、これに基づくシステムCPU26の制御により、DVCデッキ22がテープ再生モードとなって磁気テープから動画像信号を再生し、DVCコーデック20を経由して再生動画像信号がDSC30に供給される。
(8) Simultaneous network video stream transfer and tape playback mode When a request for video stream transfer is received from the
DSC30は入力された再生動画像信号をWebページで設定されたサイズで圧縮し、SDRAM40をバッファとして用いて外部コンピュータ42に対して、ネットワークを介して動画ストリームとして送り出す。また、DSC30は動画ストリームデータの初めに、コーデック種類、画像サイズ、ビットレートなどの情報を出力し、これを基に外部コンピュータ42上の動画再生ソフトが動画ストリームを再生する。そして、外部コンピュータ42との接続が切断されるまで動画ストリームを転送し続ける。
The
また、これと同時に、外部コンピュータ42はネットワークを介して上記のWebページにアクセスし、WebページのボタンをクリックすることでVTR制御を行うことが可能である。すなわち、上記の(7)のネットワーク静止画転送とメディア再生同時モードと同じように、DVCデッキ22を制御して本体の表示器24とスピーカ36での動画再生、または外部のモニタで動画像を表示できる。
At the same time, the
動画ストリームの場合は、カメラ/JPEGエンコーダ17からDSC30にビデオ画像信号を出力して、ネットワークに接続された外部コンピュータ42に動画像信号を出力するため、図1の信号線43を使用している。よって、テープ再生ビデオ信号は、DVコーデック20から直接ビデオエンコーダ/デコーダ19に出力されて、ここから表示器24に、又はビデオ入出力端子を介してモニタ装置(図示せず)に画像を表示する。
In the case of a moving image stream, the
DVCデッキ22のテープ再生画像確認は、DVコーデック20からのビデオ信号出力を行い、カメラ/JPEGエンコーダ17にて図3に示したようなピクチャインピクチャとして動画に合成し、信号線43を介してDSC30に入力後、ネットワークに出力して外部コンピュータ42で表示される。
The tape playback image confirmation of the
(9)ネットワーク静止画/動画ストリーム転送とメモリカード同時再生モード
ビデオカメラ本体で再生表示できる動画像は磁気テープから再生した動画像だけではなく、SDメモリカード38から読み出した動画像でも可能である。すなわち、記録媒体はDVCデッキ22で記録再生される磁気テープに限らず、SDメモリカード38も含む。上記の(7)のネットワーク静止画転送とテープ再生同時モードにおいて、DVCデッキ22でのテープ再生の替わりに、SDメモリカード38から動画ファイルを読み出し再生を行うことで同様の機能を実現できる。音声だけのファイルを用いて、音声再生だけを行うことも可能である。静止画のファイルならば静止画表示、音声無し動画ファイルならば動画のみの表示でもよい。
(9) Network still image / video stream transfer and memory card simultaneous playback mode The moving image that can be reproduced and displayed on the video camera body is not only a moving image reproduced from the magnetic tape but also a moving image read from the
SDメモリカード38から読み出された動画ファイルは、DSC30で伸張されて、ビデオ信号はビデオエンコーダ/デコーダ19へ出力されて復号された後、表示器24や外部へ出力される。DSC30からの音声信号は音声用ADC/DAC37へ出力されてD/A変換後、音声セレクタ/マイクアンプ21を経由してスピーカ36に供給されて発音され、または音声入出力端子を介して外部へ出力される。勿論、これと同時にカメラ静止画/動画ストリームのネットワークへの送信も行う。
The moving image file read from the
このように、本発明は被写体を撮像素子により撮像する機能と、記録媒体に記録された動画又は静止画の映像信号及び音声信号の両方又は一方を再生する再生機能と、ネットワークへの接続機能とを有するビデオカメラであって、音声信号を収音する音声入力手段と、記録媒体から再生された映像信号を表示する表示手段と、音声信号を発音する発音手段と、記録媒体から再生された映像信号の表示手段による表示、及び記録媒体から再生された音声信号の発音手段による発音の少なくとも一方を行わせると同時に、少なくとも撮像素子により撮像して得られた映像信号と音声入力手段により入力された音声信号とからなる合成信号をネットワークへ送出する再生出力手段とを有することを特徴とするビデオカメラである。 As described above, the present invention provides a function for capturing an image of a subject using an image sensor, a playback function for reproducing a video signal and / or an audio signal of a moving image or a still image recorded on a recording medium, and a function for connecting to a network. An audio input means for collecting an audio signal, a display means for displaying a video signal reproduced from a recording medium, a sounding means for generating an audio signal, and an image reproduced from the recording medium At least one of the display by the signal display means and the sound generation by the sound generation means of the sound signal reproduced from the recording medium is performed, and at the same time, the video signal obtained by imaging with the image sensor and the sound input means are input. A video camera comprising reproduction output means for sending a synthesized signal composed of an audio signal to a network.
本発明は、記録媒体から再生された映像信号や音声信号を表示手段や発音手段で表示あるいは発音させると同時に、少なくとも撮像素子により撮像して得られた映像信号と音声入力手段により入力された音声信号とからなる合成信号をネットワークへ送出するようにしたため、記録媒体を再生して得た動画像や音声をビデオカメラ本体で表示及び発音すると共に、それに対する被写体の挙動を撮影して得た映像信号や音声信号をネットワークへ送信させることができる。 According to the present invention, a video signal and an audio signal reproduced from a recording medium are displayed or sounded by a display means and a sounding means, and at the same time, at least a video signal obtained by imaging with an image sensor and a sound input by the sound input means Since the synthesized signal consisting of the signal is sent to the network, the video and audio obtained by playing the recording medium are displayed and pronounced on the video camera body, and the behavior of the subject is captured. Signals and audio signals can be transmitted to the network.
また、本発明は、発音手段から発音された音が空気を伝播して音声入力手段に入るときの音声伝達関数に関連した特性を持つ音声フィルタと、音声入力手段により音響−電気変換して得られた入力音声信号から、記録媒体から再生されて発音手段に供給される音声信号を音声フィルタを通して得た音声信号を減算して出力する減算回路とを有し、減算回路の出力音声信号を、再生出力手段によりネットワークへ送出することを特徴とするビデオカメラである。 The present invention also provides a sound filter having characteristics related to a sound transfer function when sound generated from the sound generation means propagates through the air and enters the sound input means, and is obtained by acoustic-electric conversion by the sound input means. A subtracting circuit for subtracting and outputting a sound signal obtained from the input sound signal, which is reproduced from the recording medium and supplied to the sound generation means, through a sound filter, and the output sound signal of the subtraction circuit is The video camera is characterized in that it is transmitted to a network by a reproduction output means.
本発明では、発音手段から発音された記録媒体からの再生音が、音声入力手段により入力されるべき被写体からの音と混合して音声入力手段に入力されても、音声フィルタにより上記の発音手段から音声入力手段へ入力されてしまう音声を擬似的に作り出すことにより、減算回路により上記の発音手段から音声入力手段へ入力されてしまう音声を相殺除去して被写体からの音声信号だけを取り出すことができる。 In the present invention, even if the reproduction sound from the recording medium sounded by the sound generation means is mixed with the sound from the subject to be input by the sound input means and input to the sound input means, the sound generation means is provided by the sound filter. By creating a pseudo sound that is input to the sound input means from the above, the sound input from the sound generation means to the sound input means is canceled out by the subtracting circuit, and only the sound signal from the subject is extracted. it can.
11 光学系
12 撮像素子
13 AFE
14 画像処理回路
17 カメラ/JPEGエンコーダ
19 ビデオエンコーダ/デコーダ
20 DVコーデック
21 音声セレクタ/マイクアンプ
22 DVCデッキ
23 OSD(オン・スクリーン・ディスプレイ)
24 表示器
25 マイク
26 システムCPU(中央処理装置)
30 DSC(デジタル・スチル・カメラシステム)
36 スピーカ
37 音声用ADC/DAC
38 SDメモリカード
39 ROM(リード・オンリ・メモリ)
40 SDRAM(シンクロナス・ダイナミック・ランダム・アクセス・メモリ)
41 無線LANカード
42 外部コンピュータ
43 信号線
45 音声フィルタ
46 減算回路
11
14
24
30 DSC (Digital Still Camera System)
36
38
40 SDRAM (Synchronous dynamic random access memory)
41
Claims (8)
記録媒体に記録された第1の画像信号を再生する画像再生手段と、
前記画像再生手段によって再生した前記第1の画像信号と、前記画像再生手段によって再生した前記第1の画像信号による画像を表示手段が表示している状態で前記撮像手段によって被写体を撮像した第2の画像信号とを合成して合成画像信号を生成する画像合成手段と、
前記画像合成手段によって生成された合成画像信号をネットワークを介してクライアントに送信する送信手段と
を備えることを特徴とするビデオカメラ。 Imaging means for imaging a subject;
Image reproducing means for reproducing the first image signal recorded on the recording medium;
A second image obtained by imaging the subject by the imaging means in a state where the display means displays the first image signal reproduced by the image reproducing means and the image based on the first image signal reproduced by the image reproducing means. Image synthesizing means for synthesizing the image signal and generating a synthesized image signal;
A video camera comprising: transmission means for transmitting the composite image signal generated by the image composition means to a client via a network.
ことを特徴とする請求項1記載のビデオカメラ。 The image synthesizing unit synthesizes the first and second image signals in a state where an image based on the first image signal is smaller than an image based on the second image signal. Video camera.
前記記録媒体に記録された第1の音声信号を再生する音声再生手段と
をさらに備え、
前記送信手段は、前記合成画像信号に加えて、前記音声再生手段によって再生した前記第1の音声信号による音声をスピーカから出力している状態で前記マイクによって収音した音声の音声信号を、前記ネットワークを介して前記クライアントに送信する
ことを特徴とする請求項1または2に記載のビデオカメラ。 A microphone that picks up the sound,
Audio reproduction means for reproducing the first audio signal recorded on the recording medium,
In addition to the synthesized image signal, the transmission means outputs a sound signal of sound collected by the microphone in a state where sound from the first sound signal reproduced by the sound reproduction means is output from a speaker. The video camera according to claim 1, wherein the video camera is transmitted to the client via a network.
前記マイクによって収音した音声の音声信号から前記音声フィルタの出力を減算する減算手段と
をさらに備え、
前記送信手段は、前記減算手段より出力された音声信号を送信する
ことを特徴とする請求項3記載のビデオカメラ。 An audio filter that outputs the first audio signal supplied to the speaker by performing a filtering process based on an audio transfer function from the speaker to the microphone;
Subtracting means for subtracting the output of the audio filter from the audio signal of the audio collected by the microphone,
The video camera according to claim 3, wherein the transmission unit transmits the audio signal output from the subtraction unit.
前記画像を前記表示手段によって表示している状態で被写体を撮像し、
再生した前記第1の画像信号と、前記被写体を撮像した第2の画像信号とを合成して合成画像信号を生成し、
前記合成画像信号をネットワークを介してクライアントに送信する
ことを特徴とする情報送信方法。 Reproducing the first image signal recorded on the recording medium and displaying the image based on the first image signal by display means;
The subject is imaged while the image is displayed by the display means,
Combining the reproduced first image signal and the second image signal obtained by imaging the subject to generate a composite image signal;
An information transmission method comprising: transmitting the composite image signal to a client via a network.
ことを特徴とする請求項5記載の情報送信方法。 The information transmission method according to claim 5, wherein the first and second image signals are combined in a state where an image based on the first image signal is smaller than an image based on the second image signal.
前記音声を前記スピーカから出力している状態でマイクによって音声を収音し、
前記合成画像信号に加えて、前記マイクが収音した音声の音声信号を、前記ネットワークを介して前記クライアントに送信する
ことを特徴とする請求項5または6に記載の情報送信方法。 Playing back the first audio signal recorded on the recording medium and outputting the sound of the first audio signal from a speaker;
In a state where the sound is output from the speaker, the sound is collected by a microphone,
The information transmission method according to claim 5 or 6, wherein in addition to the composite image signal, an audio signal of sound collected by the microphone is transmitted to the client via the network.
前記マイクによって収音した音声の音声信号から前記フィルタ処理を施した音声信号を減算した減算音声信号を生成し、
前記減算音声信号を送信する
ことを特徴とする請求項7記載の情報送信方法。 Filtering the first audio signal supplied to the speaker based on an audio transfer function from the speaker to the microphone,
Generating a subtracted audio signal obtained by subtracting the audio signal subjected to the filter processing from the audio signal of the audio collected by the microphone;
The information transmission method according to claim 7, wherein the subtracted audio signal is transmitted.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009127540A JP5024331B2 (en) | 2009-05-27 | 2009-05-27 | Video camera and information transmission method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009127540A JP5024331B2 (en) | 2009-05-27 | 2009-05-27 | Video camera and information transmission method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004276523A Division JP4465655B2 (en) | 2004-09-24 | 2004-09-24 | Video camera and information transmission method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009189065A true JP2009189065A (en) | 2009-08-20 |
JP5024331B2 JP5024331B2 (en) | 2012-09-12 |
Family
ID=41071761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009127540A Expired - Lifetime JP5024331B2 (en) | 2009-05-27 | 2009-05-27 | Video camera and information transmission method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5024331B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011021501A1 (en) | 2009-08-18 | 2011-02-24 | 株式会社ニフコ | Damper device |
JP2011078064A (en) * | 2009-10-02 | 2011-04-14 | Nikon Corp | Imaging device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05300511A (en) * | 1992-04-17 | 1993-11-12 | Mitsubishi Electric Corp | Television conference device |
JPH0879722A (en) * | 1994-09-06 | 1996-03-22 | Hitachi Ltd | Video telephone system and recording and reproducing device |
-
2009
- 2009-05-27 JP JP2009127540A patent/JP5024331B2/en not_active Expired - Lifetime
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05300511A (en) * | 1992-04-17 | 1993-11-12 | Mitsubishi Electric Corp | Television conference device |
JPH0879722A (en) * | 1994-09-06 | 1996-03-22 | Hitachi Ltd | Video telephone system and recording and reproducing device |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011021501A1 (en) | 2009-08-18 | 2011-02-24 | 株式会社ニフコ | Damper device |
JP2011078064A (en) * | 2009-10-02 | 2011-04-14 | Nikon Corp | Imaging device |
Also Published As
Publication number | Publication date |
---|---|
JP5024331B2 (en) | 2012-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI359612B (en) | ||
US7432958B2 (en) | Image pickup apparatus with function of adjusting incident light quantity | |
US8000558B2 (en) | Thumbnail generating apparatus and image shooting apparatus | |
JP2005260960A (en) | Camera apparatus for displaying osd menu and display method thereof | |
US10334336B2 (en) | Method of controlling digital photographing apparatus and digital photographing apparatus using the same | |
KR101108640B1 (en) | Recording apparatus for recording moving picture, recording method, and computer readable rdcording medium | |
JP2011015279A (en) | Digital camera and moving image playback method | |
JP2006203334A (en) | Image recording apparatus, control method thereof and program | |
JP6319491B2 (en) | Imaging apparatus and control method | |
JP5024331B2 (en) | Video camera and information transmission method | |
JP2013118518A (en) | Imaging apparatus | |
JP2001230955A (en) | Device and system for picking up image | |
JP2005260962A (en) | Composition photographing apparatus and sound recording method using the same | |
JP4465655B2 (en) | Video camera and information transmission method | |
JP5223974B2 (en) | Video camera and control method thereof | |
JP4293082B2 (en) | Playback device with server function | |
JP2018137771A (en) | Imaging apparatus and control method | |
JP5062207B2 (en) | Video camera and control method thereof | |
JP4306555B2 (en) | Video camera | |
JP4306545B2 (en) | Video camera | |
JP2008010898A (en) | Mobile phone with camera | |
JP2007074417A (en) | Camera control system | |
US20060023083A1 (en) | Method of controlling digital photographing apparatus for efficient reproduction operation and digital photographing apparatus adopting the same | |
KR100736936B1 (en) | Method for color consistencyy to reproducing image and photographing apparatus thereof | |
JP2006019828A (en) | Image recording apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110808 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120522 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120604 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150629 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5024331 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |