JP2019110509A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents
撮像装置及びその制御方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP2019110509A JP2019110509A JP2017254402A JP2017254402A JP2019110509A JP 2019110509 A JP2019110509 A JP 2019110509A JP 2017254402 A JP2017254402 A JP 2017254402A JP 2017254402 A JP2017254402 A JP 2017254402A JP 2019110509 A JP2019110509 A JP 2019110509A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- information
- imaging
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims description 190
- 238000003860 storage Methods 0.000 title claims description 16
- 238000001514 detection method Methods 0.000 claims description 146
- 230000008569 process Effects 0.000 claims description 142
- 238000013528 artificial neural network Methods 0.000 claims description 49
- 230000008859 change Effects 0.000 claims description 46
- 230000033001 locomotion Effects 0.000 claims description 29
- 230000001133 acceleration Effects 0.000 claims description 22
- 238000005259 measurement Methods 0.000 claims description 3
- 239000002699 waste material Substances 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 111
- 238000004891 communication Methods 0.000 description 72
- 230000005236 sound signal Effects 0.000 description 27
- 238000012937 correction Methods 0.000 description 20
- 238000012546 transfer Methods 0.000 description 17
- 238000012217 deletion Methods 0.000 description 16
- 230000037430 deletion Effects 0.000 description 16
- 230000004913 activation Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 230000007704 transition Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 230000007613 environmental effect Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 241000135164 Timea Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000004087 circulation Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 229920001940 conductive polymer Polymers 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
- G03B17/561—Support related camera accessories
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Abstract
Description
<カメラの構成>
図1は、本発明の撮像装置の第1の実施形態であるカメラの外観を模式的に示す図である。図1(a)に示すカメラ101には、電源スイッチ、カメラ操作を行うことができる操作部材などが設けられている。被写体像の撮像を行う撮像光学系としての撮影レンズ群や撮像素子を一体的に含む鏡筒102は、カメラ101の固定部103に対して移動可能に取り付けられている。具体的には、鏡筒102は、固定部103に対して回転駆動できる機構であるチルト回転ユニット104とパン回転ユニット105とを介して固定部103に取り付けられている。
図3は、カメラ101と外部装置301との無線通信システムの構成例を示す図である。カメラ101は撮影機能を有するデジタルカメラであり、外部装置301はBluetooth通信モジュール、無線LAN通信モジュールを含むスマートデバイスである。
図5は、カメラ101と通信可能である外部装置501の構成例を示す図である。カメラ101は撮影機能を有するデジタルカメラであり、外部装置501は、例えばBluetooth通信モジュールなどによりカメラ101と通信可能である各種センシング部を含むウエアラブルデバイスである。
図7は、本実施形態におけるカメラ101の第1制御部223が受け持つ動作の例を説明するフローチャートである。
(1)電源ボタンが手動で押下されて電源が起動される
(2)外部装置(例えば外部装置301)から外部通信(例えばBLE通信)により起動指示が送られ、電源が起動される
(3)第2制御部211の指示により、電源が起動される
ここで、(3)の第2制御部211の指示により電源が起動される場合は、第2制御部211内で演算された起動条件が読み込まれることになるが、詳細は図8を用いて後述する。また、ここで読み込まれた起動条件は、被写体探索や自動撮影時の1つのパラメータ要素として用いられるが、それについても後述する。起動条件読み込みが終了するとステップS702に進む。
(1)自動撮影モード
<モード判定条件>
学習設定された各検出情報(画像、音、時間、振動、場所、身体の変化、環境変化)、自動撮影モードに移行してからの経過時間、過去の撮影情報・撮影枚数などの情報から、自動撮影を行うべきと判定されると、自動撮影モードに設定される。
自動撮影モード処理(ステップS710)では、各検出情報(画像、音、時間、振動、場所、体の変化、環境変化)に基づいて、パン・チルトやズームを駆動して被写体を自動探索する。そして、撮影者の好みの撮影が行えるタイミングであると判定されると自動で撮影が行われる。
(2)自動編集モード
<モード判定条件>
前回自動編集を行ってからの経過時間、過去の撮影画像情報から、自動編集を行うべきと判定されると、自動編集モードに設定される。
自動編集モード処理(ステップS712)では、学習に基づいた静止画像や動画像の選抜処理を行い、学習に基づいて、画像効果や編集後動画の時間などにより、一つの動画にまとめたハイライト動画を作成する自動編集処理が行われる。
(3)画像転送モード
<モード判定条件>
外部装置301内の専用のアプリケーションを用いた指示により、画像自動転送モードに設定されている場合、前回画像転送を行ってからの経過時間と過去の撮影画像情報から、自動転送を行うべきと判定されると、自動画像転送モードに設定される。
画像自動転送モード処理(ステップS714)では、カメラ101は、ユーザの好みに合うであろう画像を自動で抽出し、外部装置301にユーザの好みと思われる画像を自動で転送する。ユーザの好みの画像抽出は、後述する各画像に付加されたユーザの好みを判定したスコアにより行われる。
(4)学習モード
<モード判定条件>
前回学習処理を行ってからの経過時間と、学習に使用することのできる画像に一体となった情報や学習データの数などから、自動学習を行うべきと判定されると、自動学習送モードに設定される。または、外部装置301からの通信を介して学習モードが設定されるように指示があった場合もこのモードに設定される。
学習モード処理(ステップS716)では、外部装置301での各操作情報(カメラからの画像取得情報、専用アプリケーションを介して手動編集した情報、カメラ内の画像に対してユーザが入力した判定値情報)、外部装置301からの学習情報の通知などに基づいて、ニューラルネットワークを用いて、ユーザの好みに合わせた学習を行う。また、個人認証の登録、音声登録、音シーン登録、一般物体認識登録などの、検出に関する学習や、上述した低消費電力モードの条件などの学習も同時に行われる。
(5)ファイル自動削除モード
<モード判定条件>
前回ファイル自動削除を行ってからの経過時間と、画像を記録している不揮発性メモリ216の残容量とに基づいて、ファイル自動削除を行うべきと判定されると、ファイル自動削除モードに設定される。
ファイル自動削除モード処理(ステップS718)では、不揮発性メモリ216内の画像の中から、各画像のタグ情報と撮影された日時などから自動削除されるべきファイルを指定し削除する。
(1)特定揺れ検出の判定(後述するステップS804で用いる)
(2)特定音検出の判定(後述するステップS805で用いる)
(3)時間経過の判定(後述するステップS807で用いる)
ステップS802で学習情報が読み込まれると、ステップS803に進み、揺れ検出値が取得される。揺れ検出値は、装置揺れ検出部209におけるジャイロセンサや加速度センサなどの出力値である。
ユーザがカメラ101を例えば指先などで叩いた状態(タップ状態)を、カメラ101に取り付けられた加速度センサ107の出力値から検出することが可能である。3軸の加速度センサ107の出力を、所定サンプリング周期で、特定の周波数領域に設定したバンドパスフィルタ(BPF)に通すことで、タップによる加速度変化の信号領域を抽出することができる。BPFに通した後の加速度信号が、所定時間TimeAの間に、所定閾値ThreshAを超えた回数が、所定回数CountAであるか否かにより、タップ検出を行う。ダブルタップの場合は、CountAは2に設定され、トリプルタップの場合は、CountAは3に設定される。また、TimeAやThreshAについても、学習情報によって変化させることができる。
カメラ101の揺れ状態を、カメラ101に取り付けられたジャイロセンサ106や加速度センサ107の出力値から検出することが可能である。ジャイロセンサ106や加速度センサ107の出力の高周波成分をハイパスフィルタ(HPF)でカットし、低周波成分をローパスフィルタ(LPF)でカットした後、絶対値変換を行う。算出した絶対値が、所定時間TimeBの間に、所定閾値ThreshBを超えた回数が、所定回数CountB以上であるか否かにより、振動検出を行う。これにより、例えばカメラ101を机などに置いたような揺れが小さい状態か、カメラ101をウエアラブルカメラとして体に装着して歩いているような揺れが大きい状態かを判定することが可能である。また、判定閾値や判定のカウント数の条件を複数設けることにより、揺れレベルに応じた細かい揺れ状態を検出することも可能である。TimeBやThreshBやCountBについても、学習情報によって変化させることができる。
特定の音声コマンドを検出する。音声コマンドは事前に登録されたいくつかのコマンドの他、ユーザが特定音声をカメラに登録できる。
予め大量の音声データに基づいて、機械学習により学習させたネットワークにより音シーンの判定を行う。例えば、「歓声が上がっている」、「拍手している」、「声を発している」などの特定シーンを検出する。検出するシーンは学習によって変化する。
音声レベルの大きさが所定時間の間、所定の大きさを超えているかを判定することよって、音レベルの検出を行う。所定時間や所定の大きさなどが学習によって変化する。
平面上に配置された複数のマイクにより、所定の大きさの音について、音の方向を検出する。
(1)特定の揺れが検出されたこと
(2)特定の音が検出されたこと
(3)所定の時間が経過したこと
(1)については、ステップS804での特定揺れ状態検出処理により、特定の揺れが検出されたか否かが判定されている。(2)については、ステップS805での特定音検出処理により、特定の音が検出されたか否かが判定されている。(3)については、ステップS807での時間経過検出処理により、所定の時間が経過したか否かが判定されている。(1)〜(3)の少なくとも1つが成立すれば、低消費電力モード解除を行うように判定される。
図9を用いて、自動撮影モード処理について説明する。まず、ステップS901において、撮像部206により取り込まれた信号に対して、画像処理部207で画像処理を行い、被写体検出用の画像を生成する。生成された画像に対して、人物や物体などを検出する被写体検出処理が行われる。
(1)エリア分割
(2)エリア毎の重要度レベルの算出
(3)探索対象エリアの決定
以下、各処理について順次説明する。
図10を用いて、エリア分割について説明する。図10(a)のようにカメラ(原点Oがカメラ位置とする)位置を中心として、全周囲でエリア分割を行う。図10(a)の例においては、チルト方向、パン方向をそれぞれ22.5度ごとに分割している。図10(a)のように分割すると、チルト方向の角度が0度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図10(b)のように、チルト角度が45度以上の場合、水平方向のエリア範囲を22.5度よりも大きく設定している。
上記のように分割した各エリアについて、エリア内に存在する被写体の状況やシーンの状況に応じて、探索を行う優先順位を示す重要度レベルを算出する。被写体の状況に基づいた重要度レベルは、例えば、エリア内に存在する人物の数、人物の顔の大きさ、顔の向き、顔検出の確からしさ、人物の表情、人物の個人認証結果等に基づいて算出される。また、シーンの状況に応じた重要度レベルは、例えば、一般物体認識結果、シーン判別結果(青空、逆光、夕景など)、エリアの方向からする音のレベルや音声認識結果、エリア内の動き検知情報等に基づいて算出される。
さらに進行方向の急激な変化により、被写体探索範囲が不定になることを防止するために、過去の進行方向を考慮して敏感度を下げてもよい。図10(e)は、カメラを首から下げた状態を示しているが、机上に設置したことが判定できれば、移動速度で被写体探索範囲を変える処理は省くことができる。そのため、手持ち状態、首下げ状態、ウエアラブル状態、机上に設置状態、動体に設置した状態などのカメラの状態の変化に応じて、被写体探索処理を変えるようにしてもよい。移動情報に応じて、被写体探索範囲を変えることで、被写体探索のムダを無くし、電池の消費を減らすことにも役立つ。
上記のように各エリアの重要度レベルが算出されたら、重要度レベルが高いエリアを探索対象エリアとして決定する。そして、探索対象エリアを画角に捉えるために必要なパン・チルト探索目標角度を算出する。
自動撮影を行うか否かの判定は以下のように行われる。具体的には、以下の2つの場合に、自動撮影を実行すると判定する。1つは、ステップS904において得られたエリア別の重要度レベルに基づき、重要度レベルが所定値を超えている場合、自動撮影を実施すると判定する。2つめは、ニューラルネットワークに基づく判定である。
撮影方法の判定では、ステップS901〜S904において検出した、カメラの状態や周辺の被写体の状態に基づいて、静止画撮影、動画撮影、連写撮影、パノラマ撮影などの内どれを実行するかを判定する。例えば、被写体(人物)が静止している場合は静止画撮影を実行し、被写体が動いている場合は動画撮影または連写撮影を実行する。また、被写体がカメラを取り囲むように複数存在している場合や、前述したGPS情報に基づいて景勝地であるということが判断出来ている場合には、パン・チルトを操作させながら順次撮影した画像を合成してパノラマ画像を生成するパノラマ撮影処理を実行してもよい。なお、<自動撮影を行うか否かの判定>での判定方法と同様に、撮影前に検出した各種情報をニューラルネットワークに基づいて判断し、撮影方法を決定することもできる。また、この判定処理では、後述する学習処理によって、判定条件を変更することも出来る。
次に、本実施形態におけるユーザの好みに合わせた学習について説明する。本実施形態では、図11に示すようなニューラルネットワークを用い、機械学習アルゴリズムを使用して、学習処理部219においてユーザの好みに合わせた学習を行う。ニューラルネットワークは、入力値から出力値を予測することに使用されるものであり、予め入力値の実績値と出力値の実績値を学習しておくことで、新たな入力値に対して、出力値を推定することができる。ニューラルネットワークを用いることにより、前述の自動撮影や自動編集、被写体探索に対して、ユーザの好みに合わせた学習を行う。また、ニューラルネットワークに入力する特徴データともなる被写体情報(顔認証や一般物体認識などの結果)の登録や、撮影報知制御や低消費電力モード制御やファイル自動削除を学習により変更する動作も行う。
(1)自動撮影
(2)自動編集
(3)被写体探索
(4)被写体登録
(5)撮影報知制御
(6)低消費電力モード制御
(7)ファイル自動削除
(8)像ブレ補正
(9)画像自動転送
なお、上記の学習処理が適用される動作のうち、自動編集、ファイル自動削除、画像自動転送については、本発明の主旨と直接関係しないので、説明を省略する。
自動撮影に対する学習について説明する。自動撮影では、ユーザの好みに合った画像の撮影を自動で行うための学習を行う。図9のフローチャートを用いて説明したように、撮影後(ステップS910の後)に学習用情報生成処理(ステップS912)が行われている。後述する方法により学習させる画像を選択させ、画像に含まれる学習情報に基づいて、ニューラルネットワークの重みを変化させることにより学習を行わせる。
被写体探索に対する学習について説明する。被写体探索では、ユーザの好みに合った被写体の探索を自動的に行うための学習を行う。図9のフローチャートを用いて説明したように、被写体探索処理(ステップS904)において、各エリアの重要度レベルを算出し、パン・チルト、ズームを駆動し、被写体探索を行う。学習は撮影画像や探索中の検出情報に基づいて行われ、ニューラルネットワークの重みを変化させることで学習結果として反映される。探索動作中の各種検出情報をニューラルネットワークに入力し、重要度レベルの判定を行うことにより、学習を反映した被写体探索を行う。また、重要度レベルの算出以外にも、例えば、パン・チルト探索方法(速度、動かす頻度)の制御や、カメラの移動速度に応じた被写体探索領域の制御も行う。さらに、前述のカメラの状態毎に異なるニューラルネットワークを持ち、現在のカメラの状態に適したニューラルネットワークを適用することで最適な被写体探索を行う。
被写体登録に対する学習について説明する。被写体登録では、ユーザの好みに合った被写体の登録やランク付けを自動的に行うための学習を行う。学習として、例えば、顔認証登録や一般物体認識の登録、ジェスチャーや音声認識、音によるシーン認識の登録を行う。人と物体に対する認証登録を行い、画像の取得される回数や頻度、手動撮影される回数や頻度、探索中の被写体の現れる頻度からランク付けの設定を行う。登録された情報は、各ニューラルネットワークを用いた判定のための入力として登録されることになる。
撮影報知に対する学習について説明する。図9のステップS910で説明したように、撮影直前に、所定の条件を満たしたとき、カメラが撮影対象となる人物に対して撮影を行う旨を報知した上で撮影することを行う。例えば、パン・チルトを駆動することにより視覚的に被写体の視線を誘導したり、音声出力部218から発するスピーカー音や、LED制御部224によるLED点灯光を使用して被写体の注意を誘導したりする。上記の報知の直後に、被写体の検出情報(例えば、笑顔度、目線検出、ジェスチャー)が得られたか否かに基づいて、検出情報を学習に使用するかを判定し、ニューラルネットワークの重みを変化させることで学習する。
図7、図8を用いて、説明したようにMainCPU(第1制御部223)への電源供給をON/OFFする制御を行うが、低消費電力モードからの復帰条件や、低消費電力状態への遷移条件の学習も行う。低消費電力モードを解除する条件の学習について説明する。
上述したとおり、所定時間TimeAや所定閾値ThreshAを学習により変化させる。上記のタップ検出の閾値を下げた状態での仮タップ検出も行っており、タップ検出前に仮タップ検出が判定されていたか否かにより、TimeAやThreshAのパラメータを検出し易いように設定する。また、タップ検出後のカメラ検出情報から、起動要因ではなかったと判定された場合、TimeAやThreshAのパラメータをタップ検出し難いように設定する。
上述したとおり、所定時間TimeB、所定閾値ThreshB、所定回数CountBなどを学習により変化させる。揺れ状態の判定結果が起動条件に入った場合、起動を行うが、起動後所定時間の間のカメラ検出情報から、起動要因ではなかったと判定されると、揺れ状態判定により起動し難いように学習する。また、揺れが大きい状態での撮影頻度が高いと判定されると、揺れ状態判定により起動し難いように設定する。
ユーザが特定音声や検出したい特定音シーンや特定音レベルを、例えば外部装置301の専用アプリケーションを用いた通信により、手動で設定することで学習することができる。また、複数の検出方法を音声処理部に予め設定しておき、後述する方法により学習させる画像を選択させ、画像に含まれる前後音情報を学習し、起動要因とする音判定(特定音コマンドや、「歓声」、「拍手」などの音シーン)を設定することで学習することもできる。
ユーザが起動条件としたい環境情報変化を、例えば外部装置301の専用アプリケーションを用いた通信により、手動で設定することで学習することができる。例えば、温度、気圧、明るさ、湿度、紫外線量の絶対量や変化量等の特定条件によって起動させることができる。各環境情報に基づく判定閾値を学習することもできる。環境情報による起動後のカメラ検出情報から、起動要因ではなかったと判定されると、各判定閾値のパラメータを環境変化を検出し難いように設定する。
上述したとおり、エリア毎の重要度レベルを判定し、パン・チルトで被写体探索をしながら自動撮影を行うが、撮影される被写体が存在しないと判定されると、自動撮影モードが解除される。例えば、すべのエリアの重要度レベルや、各エリアの重要度レベルを加算した値が、所定閾値以下になったとき、自動撮影モードを解除する。このとき、自動撮影モードに遷移してからの経過時間によって所定閾値を下げていくことも行われる。自動撮影モードに遷移してからの経過時間が長くなるにつれて低消費電力モードへ移行し易くしている。
像ブレ補正に対する学習について説明する。像ブレ補正は、図9のステップS902で補正量を算出し、補正量に基づいてステップS905でパン・チルトを駆動することにより行われる。像ブレ補正では、ユーザの揺れの特徴に合わせた補正を行うための学習を行う。撮影画像に対して、例えば、PSF(Point Spread Function)を用いることにより、ブレの方向及び大きさを推定することが可能である。図9のステップS912の学習用情報生成では、推定したブレの方向と大きさが、情報として画像に付加される。
(1)手動撮影時の検出情報による学習
(2)被写体探索時の検出情報による学習
<手動撮影時の検出情報による学習>
図9のステップS907〜ステップS913で説明したとおり、本実施形態においては、カメラ101は、手動撮影と自動撮影の2つの撮影を行うことができる。ステップS907で手動撮影指示があった場合には、ステップS912において、撮影画像は手動で撮影された画像であるとの情報が付加される。また、ステップS909において自動撮影ONと判定されて撮影された場合においては、ステップS912において、撮影画像は自動で撮影された画像であると情報が付加される。
被写体探索動作中において、個人認証登録されている被写体が、どんな人物、物体、シーンと同時に写っているかを判定し、同時に画角内に写っている時間比率を算出しておく。例えば、個人認証登録被写体の人物Aが、個人認証登録被写体の人物Bと同時に写っている時間比率を計算する。そして、人物Aと人物Bが画角内に入る場合は、自動撮影判定の点数が高くなるように、各種検出情報を学習データとして保存して、学習モード処理(ステップS716)で学習する。
(1)外部装置で画像を取得したことによる学習
(2)外部装置を介して画像に判定値を入力することによる学習
(3)外部装置内の保存されている画像を解析することによる学習
(4)外部装置でSNSのサーバにアップロードされた情報からの学習
(5)外部装置でカメラパラメータを変更することによる学習
(6)外部装置で画像が手動編集された情報からの学習
<外部装置で画像を取得したことによる学習>
図3で説明したとおり、カメラ101と外部装置301は、第1及び第2の通信302,303を行う通信手段を有している。そして、主に第1の通信302によって画像の送受信が行われ、外部装置301内の専用のアプリケーションを介して、カメラ101内の画像を外部装置301に送信することができる。また、カメラ101内の保存されている画像データのサムネイル画像を外部装置301内の専用のアプリケーションを用いて、閲覧可能である。ユーザは、このサムネイル画像の中から、自分が気に入った画像を選んで、画像確認し、画像取得指示を操作することで外部装置301に画像を送信させることができる。
上記で説明したとおり、カメラ101と外部装置301は、通信手段を有しており、カメラ101内に保存されている画像を外部装置301内の専用のアプリケーションを用いて、閲覧可能である。ここで、ユーザは、各画像に対して点数付けを行う構成にしてもよい。ユーザが好みと思った画像に対して高い点数(例えば5点)を付けたり、好みでないと思った画像に対して低い点数(例えば1点)を付けることができ、ユーザの操作によって、カメラが学習していくような構成にする。各画像の点数は、カメラ内で学習情報と共に再学習に使用される。指定した画像情報からの特徴データを入力にした、ニューラルネットワークの出力がユーザが指定した点数に近づくように学習される。
外部装置301は、記憶部404を有し、記憶部404にはカメラ101で撮影された画像以外の画像も記録される構成とする。このとき、外部装置301内に保存されている画像は、ユーザが閲覧し易く、公衆無線制御部406を介して、共有サーバに画像をアップロードすることも容易なため、ユーザの好みの画像が多く含まれる可能性が非常に高い。
次に、人と人の繋がりに主眼をおいた社会的なネットワークを構築できるサービスやウェブサイトであるソーシャル・ネットワーキング・サービス(SNS)における情報を学習に使用する方法について説明する。画像をSNSにアップロードする際に、外部装置301から画像に関するタグを入力した上で、画像と共に送信する技術がある。また、他のユーザがアップロードした画像に対して好き嫌いを入力する技術もあり、他のユーザがアップロードした画像が、外部装置301を所有するユーザの好みの写真であるかも判定できる。
上記で説明したとおり、カメラ101と外部装置301は、通信手段を有している。そして、カメラ101内に現在設定されている学習パラメータ(ニューラルネットワークの重みや、ニューラルネットワークに入力する被写体の選択など)を外部装置301に通信し、外部装置301の記憶部404に保存することができる。また、外部装置301内の専用のアプリケーションを用いて、専用のサーバにセットされた学習パラメータを公衆無線制御部406を介して取得し、カメラ101内の学習パラメータに設定することもできる。これにより、ある時点でのパラメータを外部装置301に保存しておいて、カメラ101に設定することで、学習パラメータを戻すこともできる。また、他のユーザが持つ学習パラメータを、専用のサーバを介して取得し、自身のカメラ101に設定することもできる。
外部装置301の専用のアプリケーションにユーザの操作により手動で編集できる機能を持たせ、編集作業の内容を学習にフィードバックすることもできる。例えば、画像効果付与(トリミング処理、回転処理、スライド、ズーム、フェード、色変換フィルタ効果、時間、静止画動画比率、BGM)の編集が可能である。そして、画像の学習情報に対して、手動で編集した画像効果付与が判定されるように、自動編集のニューラルネットワークを学習させる。
第2の実施形態のカメラの構成は第1の実施形態と同様であり、以下では、第1の実施形態と異なる部分のみについて説明し、同様の構成及び処理の説明は省略する。
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
Claims (19)
- 撮像装置であって、
被写体像を撮像する撮像手段と、
前記撮像手段により撮像された画像データから被写体を検出する被写体検出手段と、
前記被写体検出手段により検出された被写体の情報に基づいて、前記撮像手段に自動的に撮影を行わせる自動撮影手段と、
前記撮像装置の状態情報を検出する状態検出手段と、
前記状態検出手段により検出された前記撮像装置の状態情報に基づいて、前記被写体検出手段が被写体を探索するための範囲を制御する制御手段と、
を備えることを特徴とする撮像装置。 - 前記状態検出手段は、前記撮像装置の進行方向および移動速度を検出することを特徴とする請求項1に記載の撮像装置。
- 前記状態検出手段は、前記撮像装置の角速度情報、加速度情報、GPS位置情報、撮影画像から座標ごとに算出した動きベクトルのうちの少なくとも1つに基づいて、前記撮像装置の進行方向および移動速度を検出することを特徴とする請求項1または2に記載の撮像装置。
- 前記状態検出手段は、一定の期間の計測結果に基づいて、前記撮像装置の進行方向および移動速度を検出することを特徴とする請求項3に記載の撮像装置。
- 前記被写体検出手段は、前記状態検出手段の検出結果に基づいて被写体の探索の時間間隔を変更することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
- 前記制御手段は、前記状態検出手段によって検出される前記撮像装置の移動速度が速くなるほど、被写体を探索するための範囲を狭めることを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
- 前記制御手段は、前記状態検出手段の検出によって前記撮像装置が静止していると判定した場合、前記撮像装置が動いている場合よりも、被写体を探索するための範囲を広げることを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
- 前記状態検出手段は、前記撮像装置の保持されている状態を検出することを特徴とする請求項1に記載の撮像装置。
- 前記撮像装置の保持されている状態は、手持ち状態、首下げ状態、ウエアラブル状態、机上へ設置した状態、動体に設置した状態のいずれかを少なくとも含むことを特徴とする請求項8に記載の撮像装置。
- 前記制御手段は、被写体を探索するための範囲を、前記撮像装置の進行方向に対して左右均等な角度範囲に設定することを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
- 前記状態検出手段は、前記撮像装置に装着されているアタッチメント情報を検出し、前記制御手段は、装着されたアタッチメント情報に応じて、前記被写体検出手段が被写体を探索するための範囲を制御することを特徴とする請求項1に記載の撮像装置。
- 前記撮像手段の向きを被写体に向けるために、前記撮像手段の向きを変更する変更手段をさらに備えることを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
- 前記変更手段は、前記撮像手段を、パン方向およびチルト方向に回動させることを特徴とする請求項12に記載の撮像装置。
- 前記撮像装置の状態毎に異なるニューラルネットワークを持ち、当該撮像装置の状態に適したニューラルネットワークを適用することを特徴とする請求項1乃至13のいずれか1項に記載の撮像装置。
- 前記自動撮影手段の撮影頻度を決定する撮影頻度決定手段をさらに備え、前記撮像装置の状態情報に基づいて、前記撮影頻度を決定することを特徴とする請求項1乃至14のいずれか1項に記載の撮像装置。
- 前記撮像装置は、さらに低消費電力モード制御手段を備え、前記撮像装置の状態情報に基づいて、低消費電力モード制御を行うことを特徴とすることを特徴とする請求項1乃至15のいずれか1項に記載の撮像装置。
- 被写体像を撮像する撮像手段を備える撮像装置を制御する方法であって、
前記撮像手段により撮像された画像データから被写体を検出する被写体検出工程と、
前記被写体検出工程において検出された被写体の情報に基づいて、前記撮像手段に自動的に撮影を行わせる自動撮影工程と、
前記撮像装置の状態情報を検出する状態検出工程と、
前記状態検出工程において検出された前記撮像装置の状態情報に基づいて、前記被写体検出工程において被写体を探索するための範囲を制御する制御工程と、
を有することを特徴とする撮像装置の制御方法。 - 請求項17に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
- 請求項17に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/044548 WO2019124056A1 (ja) | 2017-12-18 | 2018-12-04 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
CN202210385296.8A CN114827458A (zh) | 2017-12-18 | 2018-12-04 | 摄像设备及其控制方法和存储介质 |
EP18893142.2A EP3713216A4 (en) | 2017-12-18 | 2018-12-04 | IMAGING DEVICE, ITS CONTROL PROCESS, PROGRAM AND RECORDING MEDIA |
CN201880081863.2A CN111512625B (zh) | 2017-12-18 | 2018-12-04 | 摄像设备及其控制方法和存储介质 |
US16/902,602 US11451704B2 (en) | 2017-12-18 | 2020-06-16 | Image capturing apparatus, method for controlling the same, and storage medium |
US17/876,988 US11729488B2 (en) | 2017-12-18 | 2022-07-29 | Image capturing apparatus, method for controlling the same, and storage medium |
JP2023023631A JP7545505B2 (ja) | 2017-12-18 | 2023-02-17 | 撮像装置及びその制御方法、プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017242228 | 2017-12-18 | ||
JP2017242228 | 2017-12-18 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023023631A Division JP7545505B2 (ja) | 2017-12-18 | 2023-02-17 | 撮像装置及びその制御方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019110509A true JP2019110509A (ja) | 2019-07-04 |
JP2019110509A5 JP2019110509A5 (ja) | 2021-02-04 |
JP7233162B2 JP7233162B2 (ja) | 2023-03-06 |
Family
ID=67180286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017254402A Active JP7233162B2 (ja) | 2017-12-18 | 2017-12-28 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11451704B2 (ja) |
EP (1) | EP3713216A4 (ja) |
JP (1) | JP7233162B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021246107A1 (ja) * | 2020-06-05 | 2021-12-09 | ソニーグループ株式会社 | 固体撮像装置、固体撮像装置の制御方法および移動体 |
JP7451235B2 (ja) | 2020-03-06 | 2024-03-18 | キヤノン株式会社 | 撮像装置、制御方法、およびプログラム |
US11956530B2 (en) | 2020-04-17 | 2024-04-09 | Samsung Electronics Co., Ltd. | Electronic device comprising multi-camera, and photographing method |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11169772B2 (en) * | 2018-03-19 | 2021-11-09 | Gopro, Inc. | Image capture device control using mobile platform voice recognition |
CN110971895B (zh) * | 2019-12-18 | 2022-07-08 | 北京百度网讯科技有限公司 | 视频抖动检测方法和装置 |
JP2021118478A (ja) | 2020-01-28 | 2021-08-10 | パナソニックi−PROセンシングソリューションズ株式会社 | 監視カメラ、カメラパラメータ決定方法およびプログラム |
US20220114740A1 (en) * | 2020-10-09 | 2022-04-14 | Sony Group Corporation | Camera motion information based three-dimensional (3d) reconstruction |
US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007259423A (ja) * | 2006-02-22 | 2007-10-04 | Sanyo Electric Co Ltd | 電子カメラ |
JP2007288444A (ja) * | 2006-04-14 | 2007-11-01 | Toyota Motor Corp | 車載カメラ制御装置および車載カメラ制御方法。 |
JP2008242207A (ja) * | 2007-03-28 | 2008-10-09 | Casio Comput Co Ltd | ぶれ補正装置及び撮像装置 |
WO2011043006A1 (ja) * | 2009-10-07 | 2011-04-14 | パナソニック株式会社 | 制御装置および車両周囲監視装置 |
JP2011101155A (ja) * | 2009-11-05 | 2011-05-19 | Olympus Imaging Corp | 撮像装置 |
US20120242844A1 (en) * | 2003-12-24 | 2012-09-27 | Walker Digital, Llc | Automatic capture and management of images |
US20140214271A1 (en) * | 2013-01-31 | 2014-07-31 | Electronics And Telecommunications Research Institute | Apparatus and method for detecting obstacle adaptively to vehicle speed |
JP2016046772A (ja) * | 2014-08-26 | 2016-04-04 | 富士フイルム株式会社 | 車載カメラ |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE520042C2 (sv) | 2000-10-26 | 2003-05-13 | Autoliv Dev | Anordning för förbättring av mörkersikten hos ett fordon såsom en bil |
JP4142487B2 (ja) * | 2002-05-10 | 2008-09-03 | オリンパス株式会社 | データ処理装置 |
US7086165B2 (en) * | 2004-12-27 | 2006-08-08 | Lenovo Pte. Ltd. | System and method for managing power in an electronic device |
JP5453953B2 (ja) | 2009-06-24 | 2014-03-26 | ソニー株式会社 | 可動機構部制御装置、可動機構部制御方法、プログラム |
US9113064B2 (en) * | 2009-11-05 | 2015-08-18 | Olympus Corporation | Image pickup apparatus and image acquisition method |
JP6296801B2 (ja) | 2013-07-24 | 2018-03-20 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム |
US9800782B2 (en) | 2013-10-14 | 2017-10-24 | Narrative AB | Method of operating a wearable lifelogging device |
KR101533686B1 (ko) * | 2014-06-30 | 2015-07-09 | 숭실대학교산학협력단 | 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체 |
JP6395506B2 (ja) * | 2014-08-22 | 2018-09-26 | キヤノン株式会社 | 画像処理装置および方法、プログラム、並びに撮像装置 |
KR20160076736A (ko) * | 2014-12-23 | 2016-07-01 | 에스엘 주식회사 | 차량의 주변 감시 장치 및 방법 |
JP6436760B2 (ja) * | 2014-12-24 | 2018-12-12 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム |
JP6598549B2 (ja) | 2015-07-23 | 2019-10-30 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置およびその制御方法 |
KR20170064242A (ko) | 2015-12-01 | 2017-06-09 | 삼성전자주식회사 | 영상통화를 제공하는 전자 장치 및 방법 |
JP6819042B2 (ja) * | 2016-01-14 | 2021-01-27 | ソニー株式会社 | 撮像制御装置、撮像制御方法、プログラム |
CN107231530B (zh) | 2017-06-22 | 2019-11-26 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
-
2017
- 2017-12-28 JP JP2017254402A patent/JP7233162B2/ja active Active
-
2018
- 2018-12-04 EP EP18893142.2A patent/EP3713216A4/en active Pending
-
2020
- 2020-06-16 US US16/902,602 patent/US11451704B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120242844A1 (en) * | 2003-12-24 | 2012-09-27 | Walker Digital, Llc | Automatic capture and management of images |
JP2007259423A (ja) * | 2006-02-22 | 2007-10-04 | Sanyo Electric Co Ltd | 電子カメラ |
JP2007288444A (ja) * | 2006-04-14 | 2007-11-01 | Toyota Motor Corp | 車載カメラ制御装置および車載カメラ制御方法。 |
JP2008242207A (ja) * | 2007-03-28 | 2008-10-09 | Casio Comput Co Ltd | ぶれ補正装置及び撮像装置 |
WO2011043006A1 (ja) * | 2009-10-07 | 2011-04-14 | パナソニック株式会社 | 制御装置および車両周囲監視装置 |
JP2011101155A (ja) * | 2009-11-05 | 2011-05-19 | Olympus Imaging Corp | 撮像装置 |
US20140214271A1 (en) * | 2013-01-31 | 2014-07-31 | Electronics And Telecommunications Research Institute | Apparatus and method for detecting obstacle adaptively to vehicle speed |
JP2016046772A (ja) * | 2014-08-26 | 2016-04-04 | 富士フイルム株式会社 | 車載カメラ |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7451235B2 (ja) | 2020-03-06 | 2024-03-18 | キヤノン株式会社 | 撮像装置、制御方法、およびプログラム |
US11956530B2 (en) | 2020-04-17 | 2024-04-09 | Samsung Electronics Co., Ltd. | Electronic device comprising multi-camera, and photographing method |
WO2021246107A1 (ja) * | 2020-06-05 | 2021-12-09 | ソニーグループ株式会社 | 固体撮像装置、固体撮像装置の制御方法および移動体 |
Also Published As
Publication number | Publication date |
---|---|
US11451704B2 (en) | 2022-09-20 |
JP7233162B2 (ja) | 2023-03-06 |
EP3713216A1 (en) | 2020-09-23 |
EP3713216A4 (en) | 2021-08-11 |
US20200314331A1 (en) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7423685B2 (ja) | 画像処理装置およびその制御方法 | |
CN111294488B (zh) | 摄像设备及其控制方法和存储介质 | |
JP7233162B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6799660B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
WO2019124055A1 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
CN109981976B (zh) | 摄像设备及其控制方法和存储介质 | |
JP2019118097A (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体 | |
JP2022070684A (ja) | 撮像装置およびその制御方法、プログラム | |
KR102475999B1 (ko) | 화상 처리장치 및 그 제어방법 | |
JP7545505B2 (ja) | 撮像装置及びその制御方法、プログラム | |
CN110557560B (zh) | 摄像设备及其控制方法和存储介质 | |
US11818457B2 (en) | Image capturing apparatus, control method therefor, and storage medium | |
JP7403218B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
CN111105039A (zh) | 信息处理设备及其控制方法和存储器 | |
JP7199808B2 (ja) | 撮像装置およびその制御方法 | |
JP6896818B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2020145556A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2023127983A (ja) | 撮像装置およびその制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201216 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220404 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230221 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7233162 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |