JP2014155139A - Camera device and image record system - Google Patents
Camera device and image record system Download PDFInfo
- Publication number
- JP2014155139A JP2014155139A JP2013025170A JP2013025170A JP2014155139A JP 2014155139 A JP2014155139 A JP 2014155139A JP 2013025170 A JP2013025170 A JP 2013025170A JP 2013025170 A JP2013025170 A JP 2013025170A JP 2014155139 A JP2014155139 A JP 2014155139A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- camera device
- frame
- generation unit
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000003384 imaging method Methods 0.000 claims abstract description 50
- 238000013500 data storage Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 33
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 239000000725 suspension Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、カメラ装置および画像記録システムに関する。 The present invention relates to a camera device and an image recording system.
監視カメラシステムでは、カメラ装置が所定のフレームレートで撮像を行うことによって、動画像を得ている。カメラ装置は、撮像した動画像を圧縮し、その圧縮データを画像記録装置へ送信する。一般的な監視カメラシステムでは画像記録装置はカメラ装置とは異なる場所に設置されているので、カメラ装置と画像記録装置とが通信ネットワークを介して接続されている。1台の画像記録装置に対して複数台のカメラ装置が設けられる場合もある。 In the surveillance camera system, a camera device captures a moving image by capturing an image at a predetermined frame rate. The camera device compresses the captured moving image and transmits the compressed data to the image recording device. In a general surveillance camera system, the image recording device is installed at a location different from the camera device, and therefore the camera device and the image recording device are connected via a communication network. There may be a case where a plurality of camera devices are provided for one image recording apparatus.
一般的に、動画像を得るために、カメラ装置は常時、撮像を行っている。そのフレームレートは例えば30fps(frames per second)である。しかし、画像記録装置は10fps等の間欠記録で運用されることが多い。これは、記録の必要性が低いデータを記録しないことによって、記録データ量を抑制するためである。 Generally, in order to obtain a moving image, the camera device always performs imaging. The frame rate is, for example, 30 fps (frames per second). However, image recording apparatuses are often operated with intermittent recording such as 10 fps. This is because the amount of recording data is suppressed by not recording data with low necessity for recording.
従来のこのような構成では、カメラ装置は、記録されないフレームについても撮像、圧縮、送信等の処理を行っている。すなわち、記録されないフレームの処理に、無駄な電力が費やされている。 In such a conventional configuration, the camera device performs processing such as imaging, compression, transmission, etc., even for frames that are not recorded. In other words, useless power is consumed in processing a frame that is not recorded.
なお、特許文献1には、ビデオカメラまたはスチルカメラのような映像記録装置が開示されている。この装置では、カメラ信号処理回路から出力される映像信号を、エンコーダ・デコーダによって、所定区分毎に圧縮処理して、バッファメモリに蓄積する。バッファメモリに蓄積された所定区分毎の圧縮データをハードディスク装置(HDD)に記録するために必要な期間だけ、当該HDDを記録動作状態にする。その他の期間は記録動作を休止状態にする。これによれば、HDDの消費電力が大きい記録動作期間が短縮されるので、HDDに起因した消費電力および温度上昇を低減できる、と述べられている。
Note that
また、特許文献2には、携帯電話機やデジタルカメラ等の携帯端末に適用される動画像データ処理装置が開示されている。この装置において、キャプチャ回路が動画像データを1フレーム分ずつ取り込み、キャプチャ回路によって取り込みが完了した1フレーム分の動画像データはMPEG4エンジンによってエンコードされる。MPEG4エンジンは、クロック制御回路から供給される動作クロックによって動作する。ここで、MPEG4エンジンによる1フレーム分の動画像データのエンコード処理時間は、キャプチャ回路による1フレーム分の動画像データの取り込み処理時間よりも短い。クロック制御回路は、1フレーム分の動画像データのエンコードが終了してからキャプチャ回路による次の1フレーム分の動画像データの取り込みが完了するまでの間に、MPEG4エンジンへの動作クロックの供給を停止する。これにより、低消費電力化が図られる、と述べられている。
本発明は、特許文献1,2の技術とは異なるアプローチによって、消費電力を削減可能な技術を提供することを目的とする。なお、上記問題は監視カメラシステムに限定されるものではない点に鑑み、本発明は、監視用以外の用途にも適用可能な技術を提供することも目的する。
An object of this invention is to provide the technique which can reduce power consumption by the approach different from the technique of
本発明の第1の態様に係るカメラ装置は、所定のフレームレートで撮像を行い撮像信号を出力する撮像部と、前記撮像信号から各フレームの画像データを所定フォーマットで生成するデータ生成処理を行う画像データ生成部と、前記画像データを保存する一時保存メモリと、N枚のフレーム(Nは2以上の自然数)分の前記画像データを1組としてエンコードを行い、生成された各組のエンコード済み画像データを出力するエンコーダとを備える。前記画像データ生成部は、各フレームの前記画像データを前記一時保存メモリに保存するデータ保存処理と、前記一時保存メモリ内の前記画像データを前記エンコーダに供給するデータ供給処理とを更に行う。前記画像データ生成部は、前記データ保存処理と前記データ供給処理とのうちの少なくとも一方において前記フレームを間引くことによって、前記撮像部から出力される全フレームのうちの一部のみを前記エンコーダに供給する。前記一時保存メモリに、エンコード対象としてM組(Mは1以上の自然数)分の前記画像データが蓄積されたならば、前記画像データ生成部は前記M組分の画像データを前記エンコーダに供給する。前記画像データ生成部は、前記M組分の画像データが前記一時保存メモリに蓄積されるまで、前記エンコーダを休止させる。 The camera device according to the first aspect of the present invention performs an image capturing unit that captures an image at a predetermined frame rate and outputs an image signal, and a data generation process that generates image data of each frame from the image signal in a predetermined format. The image data generation unit, the temporary storage memory for storing the image data, and the image data for N frames (N is a natural number of 2 or more) are encoded as one set, and each generated set of encoded data is encoded And an encoder for outputting image data. The image data generation unit further performs data storage processing for storing the image data of each frame in the temporary storage memory, and data supply processing for supplying the image data in the temporary storage memory to the encoder. The image data generation unit supplies only a part of all frames output from the imaging unit to the encoder by thinning out the frame in at least one of the data storage process and the data supply process. To do. If the image data for M sets (M is a natural number of 1 or more) is stored as an encoding target in the temporary storage memory, the image data generation unit supplies the M sets of image data to the encoder. . The image data generation unit pauses the encoder until the M sets of image data are accumulated in the temporary storage memory.
本発明の第2の態様に係るカメラ装置は、上記の第1の態様に係るカメラ装置であって、前記M組分の画像データは2組以上の画像データである。 The camera device according to a second aspect of the present invention is the camera device according to the first aspect described above, wherein the M sets of image data are two or more sets of image data.
本発明の第3の態様に係るカメラ装置は、上記の第1または第2の態様に係るカメラ装置であって、前記エンコーダは、前記撮像部の前記所定のフレームレートよりも速い処理速度で前記エンコードを行う。 A camera device according to a third aspect of the present invention is the camera device according to the first or second aspect described above, wherein the encoder has a processing speed faster than the predetermined frame rate of the imaging unit. Encode.
本発明の第4の態様に係るカメラ装置は、上記の第1〜第3の態様のうちのいずれか1つに係るカメラ装置であって、前記画像データ生成部は、各フレームの前記画像データに、そのフレームを前記撮像部から取得した時刻をタイムスタンプとして付加する。 A camera device according to a fourth aspect of the present invention is the camera device according to any one of the first to third aspects, wherein the image data generation unit is configured to store the image data of each frame. In addition, the time when the frame is acquired from the imaging unit is added as a time stamp.
本発明の第5の態様に係るカメラ装置は、上記の第1〜第4の態様のうちのいずれか1つに係るカメラ装置であって、前記エンコード済み画像データを取得する処理部を更に備え、前記画像データ生成部は、前記処理部も前記エンコーダと共に休止させる。 A camera device according to a fifth aspect of the present invention is the camera device according to any one of the first to fourth aspects described above, and further includes a processing unit that acquires the encoded image data. The image data generation unit pauses the processing unit together with the encoder.
本発明の第6の態様に係るカメラ装置は、上記の第1〜第5の態様のうちのいずれか1つに係るカメラ装置であって、前記画像データ生成部は、前記データ保存処理では前記フレームを間引かずに、前記データ供給処理において前記フレームを間引く。 A camera device according to a sixth aspect of the present invention is the camera device according to any one of the first to fifth aspects, wherein the image data generation unit The frame is thinned out in the data supply process without thinning out the frame.
本発明の第7の態様に係る画像記録システムは、上記の第1〜第6の態様のうちのいずれか1つに係るカメラ装置と、前記カメラ装置から前記エンコード済み画像データを取得して記録する画像記録装置とを備える。 An image recording system according to a seventh aspect of the present invention is a camera apparatus according to any one of the first to sixth aspects described above, and the encoded image data is acquired and recorded from the camera apparatus. An image recording apparatus.
本発明の第8の態様に係る画像記録システムは、上記の第7の態様に係る画像記録システムであって、前記カメラ装置は、前記画像記録装置から与えられる設定情報に基づいて動作し、前記設定情報は、前記フレームの間引きに関する設定と、前記Mの設定値と、前記Nの設定値とのうちの少なくとも1つを含む。 An image recording system according to an eighth aspect of the present invention is the image recording system according to the seventh aspect, wherein the camera device operates based on setting information given from the image recording device, The setting information includes at least one of a setting related to the frame decimation, the M setting value, and the N setting value.
上記の第1の態様によれば、フレームを間引くことにより、撮像部から出力される全フレームのうちの一部のみが、エンコーダに供給される。このため、画像データがエンコーダに供給されない期間が生じる。そのような期間においてエンコーダを休止させることにより、消費電力を削減可能である。特に第1の態様では、M組分の画像データを一時保存メモリ内に蓄積してから当該M組分の画像データをまとめて(換言すれば、当該M組分の画像データを1単位にして)エンコーダに供給することにより、当該M組分の画像データが一時保存メモリ内に蓄積されるまでエンコーダを休止させる。このため、一時保存メモリを利用しない場合、すなわちフレームを間引きながらリアルタイムにエンコーダに画像データを供給する場合とは異なり、エンコーダの休止期間が細切れに生じるのを回避できる。エンコーダの起動および休止に伴うオーバーヘッドに費やす回数および時間を考慮すると、細切れの休止期間よりも、集約的な休止期間の方が、より長くエンコーダを休止させることができる。その結果、高い消費電力削減効果が得られる。 According to the first aspect described above, only a part of all the frames output from the imaging unit is supplied to the encoder by thinning out the frames. For this reason, a period in which image data is not supplied to the encoder occurs. Power consumption can be reduced by pausing the encoder during such a period. In particular, in the first aspect, M sets of image data are accumulated in the temporary storage memory, and then the M sets of image data are collected (in other words, the M sets of image data are set as one unit. ) By supplying to the encoder, the encoder is paused until the M sets of image data are accumulated in the temporary storage memory. For this reason, unlike the case where the temporary storage memory is not used, that is, when the image data is supplied to the encoder in real time while thinning out the frames, it is possible to avoid the pause period of the encoder from occurring. Considering the number of times and time spent on the overhead associated with starting and pausing the encoder, the intensive pause period can pause the encoder longer than the shredded pause period. As a result, a high power consumption reduction effect can be obtained.
上記の第2の態様によれば、エンコーダの起動および休止に伴うオーバーヘッドに費やす回数および時間を考慮すると、1組ごとに画像データをエンコーダに供給する場合に比べて、エンコーダの休止期間をより長くすることができる。このため、より高い消費電力削減効果が得られる。 According to the second aspect described above, when the number of times and the time spent for the overhead associated with the start and stop of the encoder are taken into account, the pause period of the encoder is made longer than when image data is supplied to the encoder for each set. can do. For this reason, a higher power consumption reduction effect can be obtained.
上記の第3の態様によれば、エンコードを撮像と同じフレームレートで行う場合に比べて、エンコード時間を短くすることができ、その結果、エンコーダの休止期間をより長くすることができる。このため、より高い消費電力削減効果が得られる。 According to said 3rd aspect, compared with the case where encoding is performed with the same frame rate as imaging, encoding time can be shortened and, as a result, the rest period of an encoder can be lengthened more. For this reason, a higher power consumption reduction effect can be obtained.
上記の第4の態様によれば、例えばエンコード時刻をタイムスタンプに採用する場合と比べて、撮像時刻に、より近い時刻情報を付加できる。特にM組分の画像データが蓄積されるまでエンコーダが休止することに鑑みると、エンコード時刻をタイムスタンプに採用した場合、撮像時刻からのずれが大きくなる。また、そのずれ量は、M組分の画像データの間でも異なることになる。そうなると、記録としての有用性が低くなる。これに対し、第4の態様によれば、有用な時刻情報を提供できる。 According to said 4th aspect, time information closer to imaging time can be added compared with the case where encoding time is employ | adopted as a time stamp, for example. In particular, considering that the encoder pauses until M sets of image data are accumulated, when the encoding time is employed as the time stamp, the deviation from the imaging time becomes large. Further, the amount of deviation also differs among the M sets of image data. If so, the usefulness as a recording is lowered. On the other hand, according to the 4th aspect, useful time information can be provided.
上記の第5の態様によれば、処理部の消費電力も削減できる。 According to said 5th aspect, the power consumption of a process part can also be reduced.
上記の第6の態様によれば、上記Nの設定値を増大させる変更が生じた場合であっても、迅速に対応できる。 According to said 6th aspect, even if it is a case where the change which increases the said setting value of N arises, it can respond quickly.
上記の第7の態様によれば、カメラ装置でフレームの間引きが行われているので、画像記録装置ではフレームの間引きを省略可能である。このため画像記録装置での処理負荷を低減でき、その結果、画像記録装置の消費電力を削減できる。なお、画像記録装置において更なるフレーム間引きを行うことを禁止するものではない。 According to the seventh aspect, since frame thinning is performed by the camera device, frame thinning can be omitted in the image recording device. Therefore, the processing load on the image recording apparatus can be reduced, and as a result, the power consumption of the image recording apparatus can be reduced. It is not prohibited to perform further frame thinning in the image recording apparatus.
上記の第8の態様によれば、カメラ装置の設定(設定変更も含む)を容易に行うことができる。例えば、既に設置済みのカメラ装置に対して直接、手作業で設定を行う必要がない。また、例えば、カメラ装置が手の届きにくい場所に設置されている場合、カメラ装置が画像記録装置から遠い場所に設置されている場合、または、カメラ装置の台数が多い場合、特に効果的である。 According to said 8th aspect, the setting (a setting change is also included) of a camera apparatus can be performed easily. For example, it is not necessary to manually set the camera device already installed. For example, it is particularly effective when the camera device is installed in a place where it is difficult to reach, when the camera device is installed at a location far from the image recording device, or when the number of camera devices is large. .
本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。 The objects, features, aspects and advantages of the present invention will become more apparent from the following detailed description and the accompanying drawings.
<実施の形態1>
<画像記録システムの構成>
図1に、実施の形態1に係る画像記録システム1のブロック図を示す。画像記録システム1は例えば、監視カメラシステムに利用可能である。但し、画像記録システム1の用途はこれに限定されるものではない。
<
<Configuration of image recording system>
FIG. 1 shows a block diagram of an
図1の例によれば、画像記録システム1はカメラ装置2と画像記録装置3を含んでいる。カメラ装置2および画像記録装置3の台数は図1の例に限定されるものではない。すなわち、1台以上のカメラ装置2と、1台以上の画像記録装置3とが、設けられていればよい。
According to the example of FIG. 1, the
画像記録システム1では、カメラ装置2によって撮像された画像(ここでは動画像とする)が、画像記録装置3に伝送され、画像記録装置3側の記録媒体に記録される。記録媒体は例えばハードディスクであり、画像記録装置3は例えばハードディスク装置(HDD)を内蔵した記録装置である。なお、画像記録装置3は、再生機能を有していてもよい。
In the
カメラ装置2と画像記録装置3とは互いに通信可能に設けられていればよく、その接続形態は図1の例に限定されるものではない。カメラ装置2と画像記録装置3との間の通信は、有線通信、無線通信、あるいは、それらの組み合わせによって実現可能である。カメラ装置2と画像記録装置3とは公衆回線を介して接続されてもよいし、あるいは、専用の通信線を介して接続されてもよい。
The
<カメラ装置の構成>
図2に、カメラ装置2のブロック図を示す。図2の例によれば、カメラ装置2は、光学系10と、撮像部11と、画像データ生成部12と、一時保存メモリ13と、CODEC14と、処理部15と、記憶部16と、通信部17と、記録媒体18と、リアルタイム出力部19とを含んでいる。
<Configuration of camera device>
FIG. 2 shows a block diagram of the
光学系10は、レンズ等を含み、撮像範囲から到来する光を撮像部11へ導く。
The
撮像部11は、例えばCCD型のイメージセンサを含んでいる。なお、イメージセンサはCMOS型等の他の形式であってもよい。イメージセンサは、光学系10によって導かれた光を光電変換し、得られた電気信号を出力する。
The
ここでは、撮像部11が、イメージセンサから出力されたアナログ信号をデジタル変換するためのアナログ・フロントエンドを含む場合を例示する。但し、該アナログ・フロントエンドは、画像データ生成部12に含めてもよい。アナログ・フロントエンドは、例えばCDS(相関2重サンプリング)回路、AGC(自動利得調整)回路およびA/Dコンバータを含むが、この例に限定されるものではない。
Here, a case where the
撮像部11が連続的に撮像を行うことにより、動画像が取得される。撮像のフレームレートは予め設定され、該設定値は固定であってもよいし、可変であってもよい。撮像部11は、撮像結果に係る撮像信号21を出力する。撮像信号21は、アナログ・フロントエンドによって、デジタル化されている。一般的にイメージセンサの出力信号はRGB信号であることに倣い、撮像部11から出力される撮像信号21もRGB信号であるものとする。
A moving image is acquired by the
画像データ生成部12は、撮像部11から撮像信号21を取得し、該撮像信号21から各フレームの画像データ22を生成するデータ生成処理12Aを行う。データ生成処理12Aは、撮像信号21を、CODEC14での処理に適したフォーマットに変換するフォーマット変換処理を含む。例えば、RGB成分から成る撮像信号21を、YUV成分から成る画像データ22に変換する。かかる成分変換は既知の手法によって実行可能である。なお、YUV以外のフォーマットを採用することも可能である。なお、データ生成処理12Aは、各種の補正処理を含んでもよい。
The image
画像データ生成部12は、更に、各フレームの画像データ22を一時保存メモリ13に保存するデータ保存処理12Bと、一時保存メモリ13内の画像データ22をCODEC14に供給するデータ供給処理12Cとを行う。これらの処理12B,12Cについては後に詳述する。
The image
画像データ生成部12は、いわゆるDSP(Digital Signal Processor)によって構成可能である。
The image
一時保存メモリ13は、RAM(Random Access Memory)で構成され、画像データ生成部12で生成された画像データ22を一時的に保存する。
The
CODEC14は、図2の例では、エンコーダ14COと、デコーダ14DECとを含んでいる。エンコーダ14COは、画像データ生成部12で生成された画像データ22を、所定方式で符号化し、エンコード済み画像データ24を出力する。この際、N枚のフレーム(Nは2以上の自然数)分の画像データ22を1組としてエンコードを行う。なお、一般的に、エンコードによってデータが圧縮される。エンコーダ14COとは逆に、デコーダ14DECは、エンコード済み画像データ24を、エンコードと同じ方式に従って、復号化する。
In the example of FIG. 2, the
動画像のCODEC方式として例えばMPEG方式を利用可能である。MPEG方式によれば、エンコード済み画像データ24はIピクチャ、Pピクチャ、Bピクチャのいずれかである。但し、Nフレームのうちの先頭のフレームはIピクチャである。MPEG方式では、1組の(ここではNフレーム分の)画像データ22から得られる1組の(ここではNフレーム分の)エンコード済み画像データ24は、GOP(Group Of Picture)と称される。すなわち、1GOPはN枚のエンコード済みフレームで構成される。
For example, the MPEG system can be used as the CODEC system for moving images. According to the MPEG system, the encoded
ここで、カメラ装置2では、デコーダ14DECを、Bピクチャを生成する際のローカルデコーダとして利用する。このため、Bピクチャを利用しない場合、換言すればGOPをIピクチャとPピクチャで構成する場合、デコーダ14DECを省略しても構わない。この場合、CODEC14を、エンコーダ14COと称してもよい。
Here, in the
図2の例では、一時保存メモリ13内の画像データ22が、画像データ生成部12を経由してCODEC14に供給される。これに対し、画像データ生成部12の制御の下、一時保存メモリ13からCODEC14へ直接的に画像データ22が伝送される構成を採用することも可能である。
In the example of FIG. 2, the
処理部15は、カメラ装置2における各種処理を行う。このため、処理部15を全体処理部14または主処理部15と称してもよい。処理部15は例えば、CODEC14からエンコード済み画像データ24を取得し、該画像データ24を、通信部17で採用されている通信プロトコルに応じた通信データに変換する。また、処理部15は例えば、エンコード済み画像データ24を記録媒体18に記録するための処理を行う。また、処理部15は例えば、画像記録装置3(図1参照)から送信されてきた指示に従って、カメラ装置2を制御する。
The
ここでは、処理部15がマイクロコンピュータで構成される場合を例示する。この場合、該マイクロコンピュータがプログラムに記述されている各処理ステップ(換言すれば手順)を実行する。これにより、マイクロコンピュータは処理ステップに対応する各種手段として機能し、または、マイクロコンピュータによって処理ステップに対応する各種機能が実現される。なお、処理部15によって実現される各種手段または各種機能の一部または全部を、ハードウェアによって実現することも可能である。
Here, the case where the
記憶部16は、処理部15がアクセス可能に設けられており、処理部15が利用するプログラムおよびデータを格納する。また、記憶部16は、処理部15がプログラムを実行する際の作業領域を提供する。記憶部16は、例えば、RAM、ROM(Read Only Memory)、書き換え可能かつ不揮発性の半導体メモリ等の記憶装置の1つ以上を利用して構成可能である。
The
通信部17は、カメラ装置2が画像記録装置3(図1参照)と通信を行うためのインターフェースであり、いわゆる物理層である。通信部17は処理部15に接続されている。
The
記録媒体18は、例えばSDメモリカード等の着脱可能な媒体である。記録媒体18は、不図示のI/Oインターフェースに装着されることによって、処理部15がアクセス可能になる。ここでは、記録媒体18をエンコード済み画像データ24の保存用に利用する場合を例示するが、この例に限定されるものではない。例えば、処理部15が実行するプログラムを記録媒体18によって供給してもよい。なお、記録媒体18は必要に応じて設ければよい。
The
ここで、CODEC14と処理部15と記録媒体18用のI/Oインターフェース(図示略)とが、SoC(System on a Chip)によって集積化されている場合を例示する。また、該集積回路がパワーマネージメント機能を有している場合を例示する。パワーマネージメント機能によれば、CODEC14と処理部15と記録媒体18用I/Oインターフェースとをまとめて、あるいはそれぞれ独立に、スリープモード(節電モードと称してもよい)を設定可能である。スリープモードでは回路動作が休止され、あるいは更に電力供給が休止され、それにより消費電力を削減可能である。なお、記録媒体18用I/Oインターフェースが休止している場合、記録媒体18の動作も休止するものとし、これにより記録媒体18による消費電力も削減可能である。
Here, a case where the
リアルタイム出力部19は、撮像した動画像をリアルタイムに表示するための動画像信号を生成する。リアルタイム出力部19は例えばNTSC(National Television System Committee)エンコーダによって実現可能である。なお、図2の例ではリアルタイム出力部19に画像データ22が入力されるが、撮像信号21を入力するように変形してもよい。なお、リアルタイム出力部19は必要に応じて設ければよい。
The real-
<カメラ装置の動作>
以下に、カメラ装置2のより具体的な動作を説明するが、その説明を理解しやすくするために非限定的な具体例をいくつか想定する。
<Operation of camera device>
Hereinafter, more specific operations of the
撮像部11による撮像のフレームレートは、30fpsとする。また、画像データ生成部12において、データ生成処理12Aとデータ保存処理12Bとの一連の処理も30fpsで実行されるものとする。これによれば、撮像部11で取得される各フレームをリアルタイムに画像データ22に変換して保存可能である。但し、当該一連の処理12A,12Bの処理速度は、30fpsよりも速くてもよい。また、CODEC14によるエンコードの処理速度は、30fpsとする。但し、エンコード処理速度は、30fpsよりも速くてもよい。
The frame rate of imaging by the
また、1GOPは15フレームで構成されるものとする。すなわち、CODEC14は、15フレーム分の画像データ22を1組としてエンコードを行う(N=15)。
One GOP is assumed to be composed of 15 frames. That is, the
図3に、カメラ装置2の動作例を示す。図3では、縦方向に処理の流れを示し、横方向に時間の流れを示している。但し、それらの図示は概略であり、例えばデータ転送により生じる遅延時間の図示は省略している。また、説明のため、連続的に撮像されるフレームのうちの任意のフレームを1番目のフレームに選定し、それに連続するフレームに昇順で番号を付している。n番目(nは1以上の自然数)のフレームを、図中では「#n」と表記している。
FIG. 3 shows an operation example of the
図3の例では、30fpsで撮像が行われ、データ生成処理12Aによって、撮像された全てのフレームについて順次、画像データ22が生成される。そして、データ保存処理12Bによって、生成された画像データ22は順次、一時保存メモリ13(図2参照)に蓄積される。
In the example of FIG. 3, imaging is performed at 30 fps, and
一時保存メモリ13に29枚のフレームが蓄積されたならば、データ供給処理12Cによって、奇数番目のフレームのみが、エンコード対象として、CODEC14(図2参照)に供給される。これにより、CODEC14は、奇数番目のフレームである15枚のフレーム分の画像データ22を1組(MPEGで言うところのGOPに相当)として、エンコードを行う。
If 29 frames are accumulated in the
CODEC14へのデータ供給が終了すれば、一時保存メモリ13において、その供給終了フレーム以前の画像データ22が保存されていた記憶領域は開放される。開放された記憶領域は、新たに生成された画像データ22を保存するために利用される。これにより、一時保存メモリ13の記憶容量を抑制できる。記憶領域の開放は、15フレームの全てをCODEC14に供給し終えた後に行うことが可能である。あるいは、各フレームがCODEC14に供給される度に、その供給終了フレームおよびその直前の偶数番目のフレームの記憶領域を開放してもよい。後者の手法によれば、一時保存メモリ13の記憶容量を、よりいっそう抑制できる。
When the data supply to the
このように、画像データ生成部12がデータ供給処理12Cでフレームを間引くことにより、撮像された全フレームのうちの一部のみがCODEC14に供給される。このため、画像データ22がCODEC14に供給されない期間が生じる。そのような期間においてCODEC14を休止させることにより、消費電力を削減可能である。
As described above, the image
特に、エンコード対象となる1組分の画像データ22(ここでは、奇数番目のフレームからなる15フレーム分の画像データ22)を一時保存メモリ13内に蓄積してから当該1組分の画像データ22をまとめて(換言すれば、当該M組分の画像データを1単位にして)CODEC14に供給する。これにより、当該1組分の画像データ22が一時保存メモリ13内に蓄積されるまで、CODEC14を休止させる。
In particular, a set of
ここで、一時保存メモリ13を利用せずに、フレームを間引きながらリアルタイムにCODEC14に画像データ22を供給することも可能である。しかし、この手法では、CODEC14の休止期間が細切れに生じる。
Here, without using the
これに対し、図3に例示の手法によれば、15フレーム分の画像データ22をまとめたものを1単位にし、この単位で、CODEC14の稼動と休止との切り替えを制御している。このため、上記のように1フレーム単位でCODEC14の稼動と休止とを切り替える場合に生じる細切れの休止期間を回避できる。CODEC14の起動および休止に伴うオーバーヘッドに費やす回数および時間を考慮すると、細切れの休止期間よりも、集約的な休止期間の方が、より長くCODEC14を休止させることができる。その結果、高い消費電力削減効果が得られる。
On the other hand, according to the method illustrated in FIG. 3, the sum of the
また、カメラ装置2でフレームの間引きが行われているので、画像記録装置3ではフレームの間引きを省略可能である。このため画像記録装置3での処理負荷を低減でき、その結果、画像記録装置3の消費電力を削減できる。なお、画像記録装置3において更なるフレーム間引きを行うことを禁止するものではない。
Further, since frame thinning is performed by the
CODEC14の休止は、例えば、CODEC14のスリープモードを利用することにより実現可能である。具体的には、与えられた画像データ22(ここでは15フレーム分の画像データ22)のエンコードが終了したならばスリープモードに移行するように、CODEC14のパワーマネージメント機能を予め設定しておく。そして、画像データ生成部12がデータ供給処理12CにおいてCODEC14に割り込み制御指示32(図2参照)を与えることによって、CODEC14のスリープモードを解除するのである。これにより、CODEC14が起動し、エンコードが開始される。この場合、制御指示32は、スリープ解除指示、換言すれば起動指示と解することできる。
The pause of the
あるいは、例えばCODEC14へのクロック、電力等の供給を画像データ生成部12が制御することによって、CODEC14の休止および起動を制御してもよい。具体的には、CODEC14がエンコードを実行中か否かの状態を画像データ生成部12が判別し、その判別結果に応じて制御指示32をクロック回路、電源回路、電源供給経路等に与える。この場合、制御指示32は、供給ON指示および供給OFF指示と解することができる。
Alternatively, for example, the pause and activation of the
ここで、図4に例示するように、CODEC14だけでなく、処理部15にも制御指示32を与えてもよい。すなわち、CODEC14と共に処理部15も休止させてもよい。これによれば、処理部15の消費電力も削減できる。処理部15の休止制御として、CODEC14について例示した上記の各種手法を応用可能である。なお、処理部15は、画像記録装置2との通信を確保するために、通信部17からの割り込みによっても起動可能であることが、より好ましい。
Here, as illustrated in FIG. 4, the
上記では、撮像フレームを1/2に間引く場合を例示したが、間引き量(換言すれば、間引き率)はこれに限定されるものではない。例えば1/3、1/10等の間引き量を採用してもよい。また、不等間隔に間引くことも可能であるが、図3の例のように等間隔で間引いた方が、動画像全体における連続性が良好になる。 Although the case where the imaging frame is thinned out to ½ is illustrated above, the thinning amount (in other words, the thinning rate) is not limited to this. For example, a thinning amount such as 1/3 or 1/10 may be adopted. Although it is possible to thin out at unequal intervals, continuity in the entire moving image becomes better when thinned out at equal intervals as in the example of FIG.
フレーム間引きに関する設定(間引き量、間引き間隔等)は、カメラ装置2のスイッチ等を直接操作して行うことも可能であるが、画像記録装置3から行ってもよい。具体的には、画像記録装置3から設定情報を送信し、当該設定情報を通信部17を介して処理部15が受信する。そして、処理部15が、当該設定情報に基づいた設定指示35(図3参照)を、画像データ生成部12に与える。例えば、処理部15が、受信した設定情報を、それ用のレジスタに書き込み、当該レジスタの内容を画像データ生成部12が読み取ることによって、設定指示35を画像データ生成部12に与えることが可能である。
Settings relating to frame decimation (thinning amount, decimation interval, etc.) can be performed by directly operating a switch of the
画像記録装置3からカメラ装置2にフレーム間引きに関する設定(設定変更も含む)を与えることにより、その設定を容易に行うことができる。例えば、既に設置済みのカメラ装置2に対して直接、手作業で設定を行う必要がない。また、例えば、カメラ装置2が手の届きにくい場所に設置されている場合、カメラ装置2が画像記録装置3から遠い場所に設置されている場合、または、カメラ装置2の台数が多い場合、特に効果的である。
By providing the
なお、エンコード対象の1組に含まれるフレーム数N等の設定を、画像記録装置3から与えてもよい。
Note that settings such as the number N of frames included in one set to be encoded may be given from the
ここで、データ生成処理12Aにおいて各フレームの画像データ22にタイムスタンプを付加することが、より好ましい。カメラ装置2では特に、画像データ生成部12が撮像部11からフレームを取得した時刻を、そのフレームのタイムスタンプに採用している。
Here, it is more preferable to add a time stamp to the
これによれば、例えばエンコード時刻をタイムスタンプに採用する場合に比べて、撮像時刻に、より近い時刻情報を付加できる。特に所定数の画像データ22が蓄積されるまでCODEC14が休止することに鑑みると、エンコード時刻をタイムスタンプに採用した場合、撮像時刻からのずれが大きくなる。また、そのずれ量は、エンコード対象の1組分(図3の例では15フレーム分)の画像データ22の間でも異なることになる。そうなると、記録としての有用性が低くなる。これに対し、画像データ生成部12が撮像部11からフレームを取得した時刻をタイムスタンプに採用することにより、有用な時刻情報を提供できる。
According to this, time information closer to the imaging time can be added as compared with the case where, for example, the encoding time is adopted as the time stamp. In particular, considering that the
<実施の形態2>
図5に、カメラ装置2の、実施の形態2に係る動作例を示す。実施の形態1に係る図3では、エンコード対象の画像データ22が1組分(15フレーム分)蓄積された時点で、その1組分の画像データをCODEC14へ供給する場合を例示した。
<
FIG. 5 shows an operation example of the
これに対し、図5の例では、一時保存メモリ13に、エンコード対象として2組分(ここでは30フレーム分)の画像データ22が蓄積された時点で、その2組分の画像データ22をCODEC14に供給する。このため、2組分の画像データ22が一時保存メモリ13に蓄積されるまで、CODEC14は休止する。したがって、CODEC14の起動および休止に伴うオーバーヘッドに費やす回数および時間を考慮すると、図3のように1組ごとに画像データ22をCODEC14に供給する場合に比べて、CODEC14の休止期間をより長くすることができる。その結果、より高い消費電力削減効果が得られる。
On the other hand, in the example of FIG. 5, when two sets (30 frames in this case) of
一時保存メモリ13に蓄積するフレームは3組分以上であってもよい。また、組数Mは、フレーム間引きに関する設定と同様にして、カメラ装置2に与えることが可能である。
Three or more frames may be accumulated in the
<実施の形態3>
図6に、カメラ装置2の、実施の形態3に係る動作例を示す。実施の形態1に係る図3では、CODEC14によるエンコードの処理速度が、撮像部11による撮像のフレームレートと同じである場合を例示した。
<
FIG. 6 shows an operation example of the
これに対し、図6の例では、CODEC14によるエンコードが、撮像のフレームレートの2倍の速度で処理される。このため、エンコード時間を短くすることができ、その結果、CODEC14の休止期間をより長くすることができる。それにより、より高い消費電力削減効果が得られる。なお、かかる効果は、図6の例に限らず、CODEC14の処理速度が撮像のフレームレートよりも速ければ、得られる。
On the other hand, in the example of FIG. 6, the encoding by the
なお、実施の形態3を実施の形態2と組み合わせてもよい。
Note that
<実施の形態4>
図7に、カメラ装置2の、実施の形態4に係る動作例を示す。実施の形態1に係る図3では、CODEC14に画像データ22を供給する段階で、フレームを間引く場合を例示した。
<Embodiment 4>
FIG. 7 shows an operation example according to Embodiment 4 of the
これに対し、図7の例では、画像データ22を一時保存メモリ13に保存する段階で、フレームを間引いている。そして、一時保存メモリ13に、エンコード対象として1組分(ここでは15フレーム分)の画像データ22が蓄積された時点で、その1組分の画像データ22をCODEC14に供給する。このようなフレーム間引きによっても、実施の形態1と同様の効果が得られる。また、実施の形態4によれば、一時保存メモリ13の記憶容量を抑制できる。
On the other hand, in the example of FIG. 7, frames are thinned out at the stage where the
なお、実施の形態4を、実施の形態2,3の一方または両方と組み合わせてもよい。 The fourth embodiment may be combined with one or both of the second and third embodiments.
ここで、実施の形態1のように、データ保存処理12Bではフレームを間引かずに、データ供給処理12Cにおいてフレームを間引く場合、次のような効果が得られる。すなわち、一時保存メモリ13には撮像された全フレームが保存されているので、エンコード対象となる1組に含まれるフレーム数Nの設定値を増大させる変更が生じても、迅速に対応できる。
Here, as in the first embodiment, when thinning out frames in the data supply processing 12C without thinning out frames in the
<変形例1>
実施の形態1〜4では、カメラ装置2と画像記録装置3とが別々の場所に設置され、通信機能によって接続される場合を例示した。これに対し、カメラ装置2と画像記録装置3とが一体化されていてもよい。この場合、例えば通信部17(図2参照)は省略可能である。
<
In
また、カメラ装置2を単体で利用することも可能である。この場合、例えば、記録媒体18にエンコード済み画像24を保存すればよい。カメラ装置2を単体で利用する場合にも、例えば通信部17(図2参照)は省略可能である。
Further, the
<変形例2>
本発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。
<
Although the present invention has been described in detail, the above description is illustrative in all aspects, and the present invention is not limited thereto. It is understood that countless variations that are not illustrated can be envisaged without departing from the scope of the present invention.
1 画像記録システム
2 カメラ装置
3 画像記録装置
11 撮像部
12 画像データ生成部
12A データ生成処理
12B データ保存処理
12C データ供給処理
13 一時保存メモリ
14 CODEC
14CO エンコーダ
14DEC デコーダ
15 処理部
21 撮像信号
22 画像データ
24 エンコード済み画像データ
DESCRIPTION OF
14
Claims (8)
前記撮像信号から各フレームの画像データを所定フォーマットで生成するデータ生成処理を行う画像データ生成部と、
前記画像データを保存する一時保存メモリと、
N枚のフレーム(Nは2以上の自然数)分の前記画像データを1組としてエンコードを行い、生成された各組のエンコード済み画像データを出力するエンコーダと
を備え、
前記画像データ生成部は、
各フレームの前記画像データを前記一時保存メモリに保存するデータ保存処理と、
前記一時保存メモリ内の前記画像データを前記エンコーダに供給するデータ供給処理と
を更に行い、
前記画像データ生成部は、前記データ保存処理と前記データ供給処理とのうちの少なくとも一方において前記フレームを間引くことによって、前記撮像部から出力される全フレームのうちの一部のみを前記エンコーダに供給し、
前記一時保存メモリに、エンコード対象としてM組(Mは1以上の自然数)分の前記画像データが蓄積されたならば、前記画像データ生成部は前記M組分の画像データを前記エンコーダに供給し、
前記画像データ生成部は、前記M組分の画像データが前記一時保存メモリに蓄積されるまで、前記エンコーダを休止させる、
カメラ装置。 An imaging unit for imaging at a predetermined frame rate and outputting an imaging signal;
An image data generation unit that performs data generation processing for generating image data of each frame in a predetermined format from the imaging signal;
A temporary storage memory for storing the image data;
An encoder that encodes the image data of N frames (N is a natural number of 2 or more) as a set, and outputs the generated encoded image data of each set;
The image data generation unit
A data storage process for storing the image data of each frame in the temporary storage memory;
Further performing a data supply process for supplying the image data in the temporary storage memory to the encoder,
The image data generation unit supplies only a part of all frames output from the imaging unit to the encoder by thinning out the frame in at least one of the data storage process and the data supply process. And
If the image data for M sets (M is a natural number of 1 or more) is stored as an encoding target in the temporary storage memory, the image data generation unit supplies the M sets of image data to the encoder. ,
The image data generation unit pauses the encoder until the M sets of image data are accumulated in the temporary storage memory.
Camera device.
前記M組分の画像データは2組以上の画像データである、カメラ装置。 The camera device according to claim 1,
The camera device, wherein the M sets of image data are two or more sets of image data.
前記エンコーダは、前記撮像部の前記所定のフレームレートよりも速い処理速度で前記エンコードを行う、カメラ装置。 The camera device according to claim 1 or 2,
The encoder device performs the encoding at a processing speed higher than the predetermined frame rate of the imaging unit.
前記画像データ生成部は、各フレームの前記画像データに、そのフレームを前記撮像部から取得した時刻をタイムスタンプとして付加する、カメラ装置。 The camera device according to any one of claims 1 to 3,
The image data generation unit is a camera device that adds, to the image data of each frame, a time stamp when the frame is acquired from the imaging unit.
前記エンコード済み画像データを取得する処理部を更に備え、
前記画像データ生成部は、前記処理部も前記エンコーダと共に休止させる、
カメラ装置。 The camera device according to any one of claims 1 to 4, wherein:
A processing unit for acquiring the encoded image data;
The image data generation unit pauses the processing unit together with the encoder,
Camera device.
前記画像データ生成部は、前記データ保存処理では前記フレームを間引かずに、前記データ供給処理において前記フレームを間引く、カメラ装置。 The camera device according to any one of claims 1 to 5,
The image data generation unit is a camera device that thins out the frame in the data supply process without thinning out the frame in the data storage process.
前記カメラ装置から前記エンコード済み画像データを取得して記録する画像記録装置と
を備える、画像記録システム。 The camera device according to any one of claims 1 to 6,
An image recording system comprising: an image recording device that acquires and records the encoded image data from the camera device.
前記カメラ装置は、前記画像記録装置から与えられる設定情報に基づいて動作し、
前記設定情報は、
前記フレームの間引きに関する設定と、
前記Mの設定値と、
前記Nの設定値と
のうちの少なくとも1つを含む、画像記録システム。 The image recording system according to claim 7, wherein
The camera device operates based on setting information given from the image recording device,
The setting information includes
A setting for thinning out the frame;
The set value of M;
An image recording system including at least one of the N set values.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013025170A JP2014155139A (en) | 2013-02-13 | 2013-02-13 | Camera device and image record system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013025170A JP2014155139A (en) | 2013-02-13 | 2013-02-13 | Camera device and image record system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014155139A true JP2014155139A (en) | 2014-08-25 |
Family
ID=51576587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013025170A Pending JP2014155139A (en) | 2013-02-13 | 2013-02-13 | Camera device and image record system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014155139A (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0974566A (en) * | 1995-09-04 | 1997-03-18 | Sony Corp | Compression encoder and recording device for compression encoded data |
JPH09270985A (en) * | 1996-04-02 | 1997-10-14 | Hitachi Ltd | Video recorder |
JP2005341396A (en) * | 2004-05-28 | 2005-12-08 | Canon Inc | Video image communication device, video image communication method, computer program and recording medium read by computer |
JP2006325036A (en) * | 2005-05-19 | 2006-11-30 | Victor Co Of Japan Ltd | Image recording system and image recording apparatus |
JP2007074128A (en) * | 2005-09-05 | 2007-03-22 | Fujifilm Corp | Moving picture data processing apparatus |
JP2007159056A (en) * | 2005-12-08 | 2007-06-21 | Canon Inc | Encoding device and method, and imaging device |
JP2007324809A (en) * | 2006-05-31 | 2007-12-13 | Victor Co Of Japan Ltd | Network camera device |
JPWO2010032457A1 (en) * | 2008-09-16 | 2012-02-09 | パナソニック株式会社 | Imaging apparatus and moving image data creation method |
-
2013
- 2013-02-13 JP JP2013025170A patent/JP2014155139A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0974566A (en) * | 1995-09-04 | 1997-03-18 | Sony Corp | Compression encoder and recording device for compression encoded data |
JPH09270985A (en) * | 1996-04-02 | 1997-10-14 | Hitachi Ltd | Video recorder |
JP2005341396A (en) * | 2004-05-28 | 2005-12-08 | Canon Inc | Video image communication device, video image communication method, computer program and recording medium read by computer |
JP2006325036A (en) * | 2005-05-19 | 2006-11-30 | Victor Co Of Japan Ltd | Image recording system and image recording apparatus |
JP2007074128A (en) * | 2005-09-05 | 2007-03-22 | Fujifilm Corp | Moving picture data processing apparatus |
JP2007159056A (en) * | 2005-12-08 | 2007-06-21 | Canon Inc | Encoding device and method, and imaging device |
JP2007324809A (en) * | 2006-05-31 | 2007-12-13 | Victor Co Of Japan Ltd | Network camera device |
JPWO2010032457A1 (en) * | 2008-09-16 | 2012-02-09 | パナソニック株式会社 | Imaging apparatus and moving image data creation method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10082723B2 (en) | Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics | |
JP5203912B2 (en) | Imaging apparatus and control method thereof | |
JP5081306B2 (en) | Imaging apparatus and moving image data creation method | |
JP5088395B2 (en) | Electronic camera | |
US9972355B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer readable storage medium | |
US9560270B2 (en) | Moving image generating apparatus, moving image generating method, and storage medium | |
JP2015122734A (en) | Imaging apparatus and imaging method | |
JP2010141687A (en) | Information processing apparatus, buffer control method, and computer program | |
US9396756B2 (en) | Image processing apparatus and control method thereof | |
JP5141324B2 (en) | Imaging apparatus, imaging apparatus control method, signal processing apparatus, and signal processing method | |
US20160343403A1 (en) | Moving image generating apparatus, moving image generating method and storage medium | |
JP2017143554A (en) | Imaging device and control method | |
JP2013211715A (en) | Imaging device | |
JP2005051663A (en) | Recording regenerating method of monitoring video signal and recording reproducing apparatus of device monitoring video signal | |
JP2010124146A (en) | Picture signal processing circuit, signal processing method, imaging apparatus, display device, and camera system | |
JP2018137772A (en) | Imaging apparatus and control method | |
JP2009044639A (en) | Video recorder and video recording method | |
JP2014155139A (en) | Camera device and image record system | |
JP6119447B2 (en) | Imaging system and control method | |
JP2010183370A (en) | Image reproducing apparatus | |
JP2015122731A (en) | Video replay device and video replay method | |
JP6403479B2 (en) | Imaging apparatus and control method thereof | |
JP2018137771A (en) | Imaging apparatus and control method | |
JP2007158786A (en) | Imaging device, network imaging system, program, and recording medium | |
JP2013058853A (en) | Moving image reproduction device, moving image reproduction method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170627 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180109 |