JP2017005395A - 撮像装置、撮像制御方法及びプログラム - Google Patents

撮像装置、撮像制御方法及びプログラム Download PDF

Info

Publication number
JP2017005395A
JP2017005395A JP2015115269A JP2015115269A JP2017005395A JP 2017005395 A JP2017005395 A JP 2017005395A JP 2015115269 A JP2015115269 A JP 2015115269A JP 2015115269 A JP2015115269 A JP 2015115269A JP 2017005395 A JP2017005395 A JP 2017005395A
Authority
JP
Japan
Prior art keywords
imaging
subject
information
information acquisition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015115269A
Other languages
English (en)
Other versions
JP2017005395A5 (ja
JP6623568B2 (ja
Inventor
加藤 寛之
Hiroyuki Kato
寛之 加藤
将宏 織田
Masahiro Oda
将宏 織田
加奈子 中野
Kanako Nakano
加奈子 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2015115269A priority Critical patent/JP6623568B2/ja
Priority to US15/072,952 priority patent/US9965686B2/en
Priority to CN201610157694.9A priority patent/CN106254755B/zh
Publication of JP2017005395A publication Critical patent/JP2017005395A/ja
Publication of JP2017005395A5 publication Critical patent/JP2017005395A5/ja
Application granted granted Critical
Publication of JP6623568B2 publication Critical patent/JP6623568B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Camera Data Copying Or Recording (AREA)

Abstract

【課題】撮影を行う際に、特定の個人が撮影画像に含まれているか否かをより容易に判定すること。
【解決手段】撮像装置は、撮像部16と、位置取得部51と、方位取得部52と、装置情報取得部55と、被写体特定部56とを備える。位置取得部51は、撮像部16による撮像時の撮像装置の位置の情報を取得する。方位取得部52は、撮像部16によって撮像された画像の方向を取得する。装置情報取得部55は、撮像部16による撮像時の被写体が備える無線装置の位置の情報を取得する。被写体特定部56は、位置取得部51によって取得した撮像装置の位置の情報と、方位取得部52によって取得した画像の方向と、装置情報取得部55によって取得した無線装置の位置の情報とに基づいて、撮像部16によって撮像された画像の被写体を特定する。
【選択図】図4

Description

本発明は、撮像装置、撮像制御方法及びプログラムに関する。
従来、撮像装置によって撮像を行う際に、画像内に個人が含まれているか否かを特定するために、顔画像の認識を利用する方法が知られている。ところが、このような方法では、顔画像を認識する上で画像認識精度が十分でないという問題や、撮像装置に予め顔画像を登録しておかなければならず、プライバシーの観点から望ましくないといった問題があった。
ここで、特許文献1には、撮影した画角の領域(撮影位置)において検出された識別子のうち、識別子と関連づけて記憶された特徴情報と一致する被写体が撮影画像内に存在するか否かを判定することによって、個人を特定する方法が記載されている。
特開2013−085200号公報
しかしながら、特許文献1に記載された技術においては、予め登録された特徴情報との一致を判定する際の困難性等の問題があった。
本発明は、このような状況に鑑みてなされたものであり、撮影を行う際に、特定の個人が撮影画像に含まれているか否かをより容易に判定することを目的とする。
上記目的を達成するため、本発明の一態様の撮像装置は、
撮像手段と、
前記撮像手段による撮像時の自装置の位置の情報を取得する第1の情報取得手段と、
前記撮像手段によって撮像された画像の方向を取得する第2の情報取得手段と、
前記撮像手段による撮像時の被写体が備える無線装置の位置の情報を取得する第3の情報取得手段と、
前記第1の情報取得手段によって取得した前記自装置の位置の情報と、前記第2の情報取得手段によって取得した前記画像の方向と、前記第3の情報取得手段によって取得した前記無線装置の位置の情報とに基づいて、前記撮像手段によって撮像された画像の被写体を特定する特定手段と、
を備えることを特徴とする。
本発明によれば、撮影を行う際に、特定の個人が撮影画像に含まれているか否かをより容易に判定することができる。
本発明の一実施形態に係る撮影システム1のシステム構成を示す模式図である。 撮像装置のハードウェアの構成を示すブロック図である。 無線装置のハードウェア構成を示すブロック図である。 撮像装置の機能的構成のうち、被写体特定処理を実行するための機能的構成を示す機能ブロック図である。 被写体までの地表距離を示す模式図である。 無線装置を備えた被写体が遮蔽されることなく撮影画像に撮影された状態を示す模式図である。 無線装置を備えた被写体の一部が撮影画像において遮蔽されている状態を示す模式図である。 図4の機能的構成を有する図2の撮像装置が実行する被写体特定処理の流れを説明するフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本発明の一実施形態に係る撮影システム1のシステム構成を示す模式図である。
撮影システム1は、撮像装置2と、無線装置3とを含んで構成され、撮像装置2と無線装置3とは、無線通信(BLE(Bluetooth(登録商標) Low Energy)、iBeacon等)によって通信可能に構成されている。
図2は、撮像装置2のハードウェアの構成を示すブロック図である。
撮像装置2は、例えばデジタルカメラとして構成される。
撮像装置2は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、GPS(Global Positioning System)部17と、加速度センサ部18と、地磁気センサ部19と、距離センサ部20と、入力部21と、出力部22と、記憶部23と、通信部24と、ドライブ25と、を備えている。
CPU11は、ROM12に記録されているプログラム、または、記憶部23からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、GPS部17、加速度センサ部18、地磁気センサ部19、距離センサ部20、入力部21、出力部22、記憶部23、通信部24及びドライブ25が接続されている。
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、CPU11等に適宜供給される。
GPS部17は、GPS衛星から受信したGPS信号に基づいて、撮像装置2の位置(緯度、経度、高度)及びGPSによって示される現在時刻を検出する。
加速度センサ部18は、撮像装置2における3軸方向の加速度をそれぞれ検出する。
地磁気センサ部19は、地磁気の向きを検出する。
距離センサ部20は、距離画像センサあるいはステレオカメラ等の装置によって構成され、撮像装置2の被写体までの距離を検出する。このとき、距離センサ部20は、撮像装置2の画角内における複数の位置の被写体について、距離を検出する。なお、被写体までの距離は、距離センサ部20によって検出することの他、撮像部16におけるAF(Auto Focus)制御の測距機能を用いて検出することとしてもよい。
入力部21は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部22は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部23は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部24は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。また、通信部24は、BLEあるいはiBeacon等の無線通信によって、無線装置3との間で行う通信を制御する。
ドライブ25には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア26が適宜装着される。ドライブ25によってリムーバブルメディア26から読み出されたプログラムは、必要に応じて記憶部23にインストールされる。また、リムーバブルメディア26は、記憶部23に記憶されている画像のデータ等の各種データも、記憶部23と同様に記憶することができる。
図3は、無線装置3のハードウェア構成を示すブロック図である。
無線装置3は、CPU31と、ROM32と、RAM33と、バス34と、入出力インターフェース35と、GPS部36と、入力部37と、通信部38とを備えている。
これら各機能部の構成は、図2に示す撮像装置2の各機能部と同様である。
図4は、このような撮像装置2の機能的構成のうち、被写体特定処理を実行するための機能的構成を示す機能ブロック図である。
被写体特定処理とは、撮像装置2において検出された被写体の方向及び距離と、無線装置3から送信された無線装置3の位置とに基づいて、撮影された被写体を特定する一連の処理をいう。なお、撮像装置2において、被写体特定処理が実行される場合、無線装置3において、予め設定された時間(例えば1秒毎)に、無線装置3の位置を取得し、取得した位置を、通信時刻を示す情報と共に撮像装置2に送信する処理が繰り返される。
被写体特定処理を実行する場合には、図4に示すように、CPU11において、位置取得部51と、方位取得部52と、姿勢取得部53と、距離取得部54と、装置情報取得部55と、被写体特定部56と、記録制御部57と、撮影制御部58とが機能する。
また、記憶部23の一領域には、画像記憶部61と、装置情報記憶部62とが設定される。
画像記憶部61には、撮像装置2において撮影された撮像画像のデータが記憶される。
装置情報記憶部62には、撮像装置2が無線通信を行った無線装置3に関する情報(無線装置3のID、通信時刻、位置情報等)が記憶される。
位置取得部51は、GPS部17によって検出された撮像装置2の位置(緯度、経度及び高度)を取得する。
方位取得部52は、地磁気センサ部19によって検出された地磁気の向きに基づいて、撮像装置2が向いている方位を取得する。
姿勢取得部53は、加速度センサ部18によって検出された撮像装置2における3軸方向の加速度に基づいて、撮像装置2の姿勢を取得する。本実施形態においては、姿勢取得部53は、水平方向を基準とした撮像装置2の仰角または俯角を検出する。
距離取得部54は、距離センサ部20によって検出された距離に基づいて、被写体までの地表における距離(地表距離)を取得する。
図5は、被写体までの地表距離を示す模式図である。
図5に示すように、距離取得部54は、距離センサ部20によって検出された被写体までの距離dに対して、撮像装置2の俯角(または仰角)θの余弦を取得することにより、被写体までの距離(地表距離)を取得する(被写体までの距離=dcosθ)。
図4に戻り、装置情報取得部55は、通信部24を介して無線装置3に関する情報(無線装置3のID、通信時刻、位置情報等)を取得する。
被写体特定部56は、撮像装置2において撮影が行われた際の撮像装置2の位置、方位及び仰角または俯角と、撮像装置2における画角の情報(レンズの焦点距離等)と、撮影画像における被写体の位置とに基づいて、被写体の方向を算出し、算出された方向と、距離取得部54によって取得された距離(地表距離)とから、被写体の位置を算出する。
また、被写体特定部56は、算出された被写体の位置と、無線装置3に関する情報(無線装置3の位置)とが一致するか否か(具体的には、設定された範囲内にあるか否か)を判定し、一致している場合に、撮影画像に写されている被写体が無線装置3を備えた被写体(無線装置3の所有者)として特定される。
これにより、撮影画像において無線装置3を備えた被写体が、遮蔽物の陰に隠れる等のために、写されていない状況を判定することができる。
図6は、無線装置3を備えた被写体が遮蔽されることなく撮影画像に撮影された状態を示す模式図である。
図6に示すように、撮像装置2における撮影画像の範囲において、無線装置3を備えた被写体が含まれる場合、撮影が行われた際の撮像装置2の位置、方位及び仰角または俯角と、撮像装置2における画角の情報(レンズの焦点距離等)と、撮影画像における被写体の位置とに基づいて、被写体の方向が算出され、算出された方向と、距離取得部54によって取得された距離(地表距離)とから、被写体の位置を算出される。そして、算出された被写体の位置と、無線装置3に関する情報(無線装置3の位置)とが一致するか否かが判定され、一致している場合に、撮影画像に写されている被写体が無線装置3を備えた被写体(無線装置3の所有者)として特定される。図6に示す例では、被写体となっているユーザA及びユーザBまでの距離が、距離取得部54によって取得された各被写体までの距離(地表距離)と、無線装置3の位置と撮像装置2の位置とから算出される距離とで一致しているため、ユーザA及びユーザBが撮影画像に写されているものと判定される。
図7は、無線装置3を備えた被写体の一部が撮影画像において遮蔽されている状態を示す模式図である。
図7に示すように、撮像装置2における撮影画像の範囲において、無線装置3を備えた被写体が含まれる場合、撮影が行われた際の撮像装置2の位置、方位及び仰角または俯角と、撮像装置2における画角の情報(レンズの焦点距離等)と、撮影画像における被写体の位置とに基づいて、被写体の方向が算出され、算出された方向と、距離取得部54によって取得された距離(地表距離)とから、被写体の位置を算出される。そして、算出された被写体の位置と、無線装置3に関する情報(無線装置3の位置)とが一致するか否かが判定され、一致している場合に、撮影画像に写されている被写体が無線装置3を備えた被写体(無線装置3の所有者)として特定される。図7に示す例では、被写体となっているユーザAまでの距離が、距離取得部54によって取得された被写体までの距離(地表距離)と、無線装置3の位置と撮像装置2の位置とから算出される距離とで一致しているため、ユーザAが撮影画像に写されているものと判定される。一方、ユーザBまでの距離が、距離取得部54によって取得された被写体(遮蔽物)までの距離(地表距離)と、無線装置3の位置と撮像装置2の位置とから算出される距離とで一致していないため、ユーザBは撮影画像に写されていないものと判定される。
図4に戻り、記録制御部57は、撮像装置2において撮影された撮像画像のデータに対して、被写体特定部56によって無線装置3を備えた被写体であると特定された場合に、無線装置3に関する情報(例えば、無線装置3のID)を付加する。これにより、ユーザは、撮影画像に無線装置3を備えた被写体が写されていることを把握することができる。また、このとき、記録制御部57が、画角内の位置と無線装置3に関する情報とを対応付けて付加することとしてもよい。この場合、撮影画像に無線装置3を備えた被写体が写されていることのみならず、いずれの位置の被写体が無線装置3を備えた被写体であるかを把握することができる。
撮影制御部58は、ユーザの設定に応じて、撮像装置2における撮影の制御を行う。例えば、撮影制御部58は、ユーザによって設定された撮影間隔及び撮影時間によってインターバル撮影を行うよう制御する。
図8は、図4の機能的構成を有する図2の撮像装置2が実行する被写体特定処理の流れを説明するフローチャートである。
被写体特定処理は、ユーザによる入力部21への被写体特定処理開始の操作により開始される。なお、本実施形態においては、被写体特定処理がインターバル撮影において実行される場合を例として説明する。
ステップS1において、装置情報取得部55は、無線装置3に関する情報を取得する。なお、無線装置3に関する情報は、逐次受信され、装置情報記憶部62に記憶される。
ステップS2において、撮影制御部58は、撮影を実行する。
ステップS3において、撮影制御部58は、撮影画像、撮影時刻、画角の情報、撮像装置2の位置、方位及び仰角または俯角を記憶する。
ステップS4において、被写体特定部56は、撮影時刻と、無線装置3に関する情報における通信時刻とが一致するか否かの判定を行う。
撮影時刻と、無線装置3に関する情報における通信時刻とが一致する場合、ステップS4においてYESと判定されて、処理はステップS5に移行する。
一方、撮影時刻と、無線装置3に関する情報における通信時刻とが一致しない場合、ステップS4においてNOと判定されて、処理はステップS9に移行する。
ステップS5において、被写体特定部56は、撮影時刻と通信時刻とが一致する時刻における撮像装置2の位置、方位及び仰角または俯角と、撮像装置2における画角の情報(レンズの焦点距離等)と、撮影画像における被写体の位置とに基づいて、被写体の方向を算出する。
ステップS6において、被写体特定部56は、算出された方向と、距離取得部54によって取得された距離(地表距離)とから、被写体の位置を算出する。
ステップS7において、被写体特定部56は、算出された被写体の位置と、無線装置3に関する情報(無線装置3の位置)とが一致するか否かの判定を行う。
算出された被写体の位置と、無線装置3に関する情報(無線装置3の位置)とが一致する場合、ステップS6においてYESと判定されて、処理はステップS8に移行する。
一方、算出された被写体の位置と、無線装置3に関する情報(無線装置3の位置)とが一致しない場合、ステップS7においてNOと判定されて、処理はステップS9に移行する。
ステップS8において、被写体特定部56は、撮影画像に無線装置3に関する情報(ここでは無線装置3のIDとする)を付加して画像記憶部61に記憶する。
ステップS9において、撮影制御部58は、撮影の終了が指示されているか否かの判定を行う。
撮影の終了が指示されていない場合、ステップS9においてNOと判定されて、処理はステップS10に移行する。
一方、撮影の終了が指示されている場合、ステップS9においてYESと判定されて、被写体特定処理は終了となる。
ステップS10において、撮影制御部58は、インターバル撮影の撮影間隔(インターバル時間)を経過しているか否かの判定を行う。
インターバル撮影の撮影間隔を経過していない場合、ステップS10においてNOと判定されて、ステップS10の処理が繰り返される。
インターバル撮影の撮影間隔を経過している場合、ステップS10においてYESと判定されて、処理はステップS2に移行する。
このような処理により、撮影が行われた際の撮像装置2の位置、方位及び仰角または俯角と、撮像装置2における画角の情報(レンズの焦点距離等)と、撮影画像における被写体の位置とに基づいて、被写体の方向が算出され、算出された方向と、距離取得部54によって取得された距離(地表距離)とから、被写体の位置を算出される。そして、算出された被写体の位置と、無線装置3に関する情報(無線装置3の位置)とが一致するか否かが判定され、一致している場合に、撮影画像に写されている被写体が無線装置3を備えた被写体(無線装置3の所有者)として特定される。
そのため、撮影画像において無線装置3を備えた被写体が、遮蔽物の陰に隠れる等のために、写されていない状況を判定することができる。
したがって、撮像を行う際に、特定の個人が撮像画像に含まれているか否かをより容易に判定することができる。
なお、このように被写体のIDが付加された撮影画像とすることにより、記憶された画像が検索される場合、無線装置3のIDを指定することによって、IDを付加して記憶された画像のみが索出される。即ち、ユーザは自らが写った画像のみを選択することができる。
[変形例1]
上述の実施形態において、被写体特定部56における被写体の特定処理は、以下のような処理とすることも可能である。
即ち、被写体特定部56は、撮像装置2において撮影が行われた際の撮像装置2の位置、方位及び仰角または俯角と、撮像装置2における画角の情報(レンズの焦点距離等)と、撮影画像における被写体の位置とに基づいて、被写体の方向を算出する。
また、被写体特定部56は、撮像装置2の位置と、無線装置3に関する情報(無線装置3の位置)とに基づいて、撮像装置2から無線装置3までの方向及び距離を算出する。
そして、被写体特定部56は、算出された被写体の方向と、距離取得部54によって取得された距離(地表距離)とが、算出された撮像装置2から無線装置3までの方向及び距離と一致するか否かを判定し、一致している場合に、撮影画像に写されている被写体が無線装置3を備えた被写体(無線装置3の所有者)として特定される。
このような処理によっても、撮影画像において無線装置3を備えた被写体が、遮蔽物の陰に隠れる等のために、写されていない状況を判定することができる。
[変形例2]
上述の実施形態及び変形例において、撮影された被写体を特定する際に、撮影画像における被写体の距離が無線装置3に関する情報から取得される無線装置3までの距離と一致するか否かを判定することとしたが、これに限られない。
即ち、被写体までの距離の一致を判定することなく、撮影画像における被写体の方位が、無線装置3に関する情報から取得される無線装置3の方位と一致するか否かを判定し、一致している場合に、その被写体が撮影画像に写されているものとしてもよい。
これにより、無線装置3が撮影画像におけるいずれの位置に対応するかを特定することができる。
したがって、遮蔽物に遮蔽されている場合等であっても、被写体が画角内に存在していた場合には、撮影されているものとして、撮影画像に無線装置3のIDを付加し、被写体として特定することができる。
[変形例3]
上述の実施形態において、遮蔽物に遮蔽されている場合等、被写体が視認できない場合であっても、ユーザが画角内の方向に存在している場合には、撮影画像のそのユーザが備えるIDを付加して記憶することとしてもよい。そして、ユーザの設定に応じて、遮蔽物等に遮蔽された位置にユーザが存在していることを、ユーザが存在していることを示すメッセージ(吹き出しの形態で表示されたID等)を表示することとしてもよい。
これにより、被写体として視認できない場合であっても、ユーザが存在していた状況を撮影した撮影画像に、そのユーザを対応付けることができる。
以上のように構成される撮像装置2は、撮像部16と、位置取得部51と、方位取得部52と、装置情報取得部55と、被写体特定部56とを備える。
位置取得部51は、撮像部16による撮像時の撮像装置2の位置の情報を取得する。
方位取得部52は、撮像部16によって撮像された画像の方向を取得する。
装置情報取得部55は、撮像部16による撮像時の被写体が備える無線装置3の位置の情報を取得する。
被写体特定部56は、位置取得部51によって取得した撮像装置2の位置の情報と、方位取得部52によって取得した画像の方向と、装置情報取得部55によって取得した無線装置3の位置の情報とに基づいて、撮像部16によって撮像された画像の被写体を特定する。
これにより、無線装置3が撮影画像におけるいずれの位置に対応するかを特定することができる。
したがって、画角内に存在していた被写体を特定することができ、撮影を行う際に、特定の個人が撮影画像に含まれているか否かをより容易に判定することができる。
また、被写体特定部56は、位置取得部51によって取得した撮像装置2の位置の情報と、方位取得部52によって取得した画像の方向とに基づいて算出された被写体が位置する方向に、装置情報取得部55によって位置の情報を取得した無線装置3が位置している場合に、被写体が無線装置3を備えた被写体と特定する。
これにより、被写体の位置に関する情報の一致性に基づいて、無線装置3を備える被写体を特定することができる。
また、撮像装置2は、距離取得部54を備える。
距離取得部54は、撮像部16によって撮像された画像の被写体の撮像装置2からの距離を取得する。
被写体特定部56は、位置取得部51によって取得した撮像装置2の位置の情報と、当該位置の情報と方位取得部52によって取得した画像の方向とに基づいて算出された被写体が位置する方向と、距離取得部54によって取得した被写体の撮像装置2からの距離とに基づいて算出された被写体の位置と、装置情報取得部55によって取得した無線装置3の位置とが、所定の範囲内である場合に、被写体が無線装置3を備えた被写体と特定する。
これにより、被写体の距離の一致性に基づいて、無線装置3を備える被写体を特定することができる。
また、撮像装置2は、姿勢取得部53を備える。
姿勢取得部53は、撮像装置2の仰角または俯角のいずれかを取得する。
方位取得部52は、被写体が位置する方位を取得する。
画像の方向は、仰角または俯角のいずれか及び方位によって表される。
これにより、撮像時に撮像装置2が仰角あるいは俯角をもって撮像を行った場合であっても、適切に被写体を特定することが可能となる。
また、被写体特定部56は、被写体が位置する方向を、画像の方向と、撮像部16によって撮像された画像内の被写体の位置とから算出する。
これにより、撮像装置2において検出される情報に基づいて、被写体の方向を算出することができる。
また、無線装置3には、固体を識別できる識別番号が設定されている。
撮像装置2は、特定された被写体が含まれる撮影画像を、該識別番号と共に記録する。
これにより、撮影画像において、被写体を識別して記録することができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、撮像装置2において被写体特定処理を実行するものとして説明したが、これに限られない。
即ち、撮影画像及び撮影時に撮像装置2において取得された情報を用いて、撮像機能を有していない情報処理装置等によって、被写体特定処理を実行することも可能である。
また、上述の実施形態では、撮影画像を撮影した後に被写体特定処理を実行する場合を例に挙げて説明したが、これに限られない。
即ち、画像の撮影時に、被写体特定処理を実行し、撮影完了と同時に、撮影画像に写されている被写体の無線装置3のIDを撮影画像に付加することとしてもよい。
また、上述の実施形態では、本発明が適用される撮像装置2は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、情報処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図4の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置2に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図4の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア26により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア26は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disc)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図2のROM12や、図2の記憶部23に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものとする。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
撮像手段と、
前記撮像手段による撮像時の自装置の位置の情報を取得する第1の情報取得手段と、
前記撮像手段によって撮像された画像の方向を取得する第2の情報取得手段と、
前記撮像手段による撮像時の被写体が備える無線装置の位置の情報を取得する第3の情報取得手段と、
前記第1の情報取得手段によって取得した前記自装置の位置の情報と、前記第2の情報取得手段によって取得した前記画像の方向と、前記第3の情報取得手段によって取得した前記無線装置の位置の情報とに基づいて、前記撮像手段によって撮像された画像の被写体を特定する特定手段と、
を備えることを特徴とする撮像装置。
[付記2]
前記特定手段は、前記第1の情報取得手段によって取得した前記自装置の位置の情報と、前記第2の情報取得手段によって取得した前記画像の方向とに基づいて算出された前記被写体が位置する方向に、前記第3の情報取得手段によって前記位置の情報を取得した前記無線装置が位置している場合に、前記被写体が前記無線装置を備えた被写体と特定することを特徴とする付記1に記載の撮像装置。
[付記3]
前記撮像手段によって撮像された画像の被写体の前記撮像装置からの距離を取得する第4の情報取得手段を、さらに備え、
前記特定手段は、
前記第1の情報取得手段によって取得した前記自装置の位置の情報と、当該自装置の位置の情報と前記第2の情報取得手段によって取得した前記画像の方向とに基づいて算出された前記被写体が位置する方向と、前記第4の情報取得手段によって取得した前記被写体の前記撮像装置からの距離とに基づいて算出された前記被写体の位置と、前記第3の情報取得手段によって取得した前記無線装置の位置とが、所定の範囲内である場合に、前記被写体が前記無線装置を備えた被写体と特定することを特徴とする付記1に記載の撮像装置。
[付記4]
前記第2の情報取得手段によって取得する前記画像の方向は、仰角または俯角のいずれか及び方位であることを特徴とする付記1から3のいずれか1つに記載の撮像装置。
[付記5]
前記特定手段は、前記被写体が位置する方向を、前記画像の方向と、前記撮像手段によって撮像された画像内の被写体の位置とから算出することを特徴とする付記1から4のいずれか1つに記載の撮像装置。
[付記6]
前記無線装置には、固体を識別できる識別番号が設定されており、
前記撮像装置は特定された被写体が含まれる撮影画像を、該識別番号と共に記録することを特徴とする付記1から5のいずれか1つに記載の撮像装置。
[付記7]
撮像手段を備える撮像装置において実行される撮像制御方法であって、
前記撮像手段による撮像時の前記撮像装置の位置の情報を取得する第1の情報取得ステップと、
前記撮像手段によって撮像された画像の方向を取得する第2の情報取得ステップと、
前記撮像手段による撮像時の被写体が備える無線装置の位置の情報を取得する第3の情報取得ステップと、
前記第1の情報取得ステップにおいて取得した前記撮像装置の位置の情報と、前記第2の情報取得ステップにおいて取得した前記画像の方向と、前記第3の情報取得ステップにおいて取得した前記無線装置の位置の情報とに基づいて、前記撮像手段によって撮像された画像の被写体を特定する特定ステップと、
を含むことを特徴とする撮像制御方法。
[付記8]
コンピュータに、
撮像手段による撮像時の位置の情報を取得する第1の情報取得機能と、
前記撮像手段によって撮像された画像の方向を取得する第2の情報取得機能と、
前記撮像手段による撮像時の被写体が備える無線装置の位置の情報を取得する第3の情報取得機能と、
前記第1の情報取得機能によって取得した前記撮像時の位置の情報と、前記第2の情報取得機能によって取得した前記画像の方向と、前記第3の情報取得機能とによって取得した前記無線装置の位置の情報とに基づいて、前記撮像手段によって撮像された画像の被写体を特定する特定機能と、
を実現させることを特徴とするプログラム。
1・・・撮影システム,2・・・撮像装置,3・・・無線装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・GPS部,18・・・加速度センサ部,19・・・地磁気センサ部,20・・・距離センサ部,21・・・入力部,22・・・出力部,23・・・記憶部,24・・・通信部,25・・・ドライブ,26・・・リムーバブルメディア,51・・・位置取得部,52・・・方位取得部,53・・・姿勢取得部,54・・・距離取得部,55・・・装置情報取得部,56・・・被写体特定部,57・・・記録制御部,58・・・撮影制御部,61・・・画像記憶部,62・・・装置情報記憶部

Claims (8)

  1. 撮像手段と、
    前記撮像手段による撮像時の自装置の位置の情報を取得する第1の情報取得手段と、
    前記撮像手段によって撮像された画像の方向を取得する第2の情報取得手段と、
    前記撮像手段による撮像時の被写体が備える無線装置の位置の情報を取得する第3の情報取得手段と、
    前記第1の情報取得手段によって取得した前記自装置の位置の情報と、前記第2の情報取得手段によって取得した前記画像の方向と、前記第3の情報取得手段によって取得した前記無線装置の位置の情報とに基づいて、前記撮像手段によって撮像された画像の被写体を特定する特定手段と、
    を備えることを特徴とする撮像装置。
  2. 前記特定手段は、前記第1の情報取得手段によって取得した前記自装置の位置の情報と、前記第2の情報取得手段によって取得した前記画像の方向とに基づいて算出された前記被写体が位置する方向に、前記第3の情報取得手段によって前記位置の情報を取得した前記無線装置が位置している場合に、前記被写体が前記無線装置を備えた被写体と特定することを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像手段によって撮像された画像の被写体の前記撮像装置からの距離を取得する第4の情報取得手段を、さらに備え、
    前記特定手段は、
    前記第1の情報取得手段によって取得した前記自装置の位置の情報と、当該自装置の位置の情報と前記第2の情報取得手段によって取得した前記画像の方向とに基づいて算出された前記被写体が位置する方向と、前記第4の情報取得手段によって取得した前記被写体の前記撮像装置からの距離とに基づいて算出された前記被写体の位置と、前記第3の情報取得手段によって取得した前記無線装置の位置とが、所定の範囲内である場合に、前記被写体が前記無線装置を備えた被写体と特定することを特徴とする請求項1に記載の撮像装置。
  4. 前記第2の情報取得手段によって取得する前記画像の方向は、仰角または俯角のいずれか及び方位であることを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
  5. 前記特定手段は、前記被写体が位置する方向を、前記画像の方向と、前記撮像手段によって撮像された画像内の被写体の位置とから算出することを特徴とする請求項1から4のいずれか1項に記載の撮像装置。
  6. 前記無線装置には、固体を識別できる識別番号が設定されており、
    前記撮像装置は特定された被写体が含まれる撮影画像を、該識別番号と共に記録することを特徴とする請求項1から5のいずれか1項に記載の撮像装置。
  7. 撮像手段を備える撮像装置において実行される撮像制御方法であって、
    前記撮像手段による撮像時の前記撮像装置の位置の情報を取得する第1の情報取得ステップと、
    前記撮像手段によって撮像された画像の方向を取得する第2の情報取得ステップと、
    前記撮像手段による撮像時の被写体が備える無線装置の位置の情報を取得する第3の情報取得ステップと、
    前記第1の情報取得ステップにおいて取得した前記撮像装置の位置の情報と、前記第2の情報取得ステップにおいて取得した前記画像の方向と、前記第3の情報取得ステップにおいて取得した前記無線装置の位置の情報とに基づいて、前記撮像手段によって撮像された画像の被写体を特定する特定ステップと、
    を含むことを特徴とする撮像制御方法。
  8. コンピュータに、
    撮像手段による撮像時の位置の情報を取得する第1の情報取得機能と、
    前記撮像手段によって撮像された画像の方向を取得する第2の情報取得機能と、
    前記撮像手段による撮像時の被写体が備える無線装置の位置の情報を取得する第3の情報取得機能と、
    前記第1の情報取得機能によって取得した前記撮像時の位置の情報と、前記第2の情報取得機能によって取得した前記画像の方向と、前記第3の情報取得機能とによって取得した前記無線装置の位置の情報とに基づいて、前記撮像手段によって撮像された画像の被写体を特定する特定機能と、
    を実現させることを特徴とするプログラム。
JP2015115269A 2015-06-05 2015-06-05 撮像装置、撮像制御方法及びプログラム Active JP6623568B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015115269A JP6623568B2 (ja) 2015-06-05 2015-06-05 撮像装置、撮像制御方法及びプログラム
US15/072,952 US9965686B2 (en) 2015-06-05 2016-03-17 Image capture apparatus that identifies object, image capture control method, and storage medium
CN201610157694.9A CN106254755B (zh) 2015-06-05 2016-03-18 摄像装置、摄像控制方法及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015115269A JP6623568B2 (ja) 2015-06-05 2015-06-05 撮像装置、撮像制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2017005395A true JP2017005395A (ja) 2017-01-05
JP2017005395A5 JP2017005395A5 (ja) 2018-07-05
JP6623568B2 JP6623568B2 (ja) 2019-12-25

Family

ID=57452099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015115269A Active JP6623568B2 (ja) 2015-06-05 2015-06-05 撮像装置、撮像制御方法及びプログラム

Country Status (3)

Country Link
US (1) US9965686B2 (ja)
JP (1) JP6623568B2 (ja)
CN (1) CN106254755B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI642002B (zh) * 2017-04-14 2018-11-21 李雨暹 適地性空間物件可視範圍管理方法與系統
JP2019086365A (ja) * 2017-11-06 2019-06-06 株式会社日立製作所 位置推定システム
US20190180472A1 (en) * 2017-12-08 2019-06-13 Electronics And Telecommunications Research Institute Method and apparatus for determining precise positioning
KR20210112800A (ko) * 2020-03-06 2021-09-15 한국전자통신연구원 객체 추적 장치 및 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004364044A (ja) * 2003-06-05 2004-12-24 Sony Corp 画像記録装置
JP2008118643A (ja) * 2006-10-30 2008-05-22 Samsung Electronics Co Ltd イメージファイル管理装置および方法
JP2011078008A (ja) * 2009-10-01 2011-04-14 Nippon Hoso Kyokai <Nhk> コンテンツ共有装置、コンテンツ編集装置、コンテンツ共有プログラム、およびコンテンツ編集プログラム
US20120195574A1 (en) * 2011-01-31 2012-08-02 Home Box Office, Inc. Real-time visible-talent tracking system
JP2013085200A (ja) * 2011-10-12 2013-05-09 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2013213903A (ja) * 2012-04-02 2013-10-17 Xacti Corp 撮像装置
JP2015019270A (ja) * 2013-07-11 2015-01-29 株式会社 日立産業制御ソリューションズ カメラシステム、その制御方法およびその制御プログラム
JP2015055865A (ja) * 2013-09-13 2015-03-23 株式会社リコー 撮影システム及び撮影方法
US20150206012A1 (en) * 2014-01-18 2015-07-23 Jigabot, Llc System for automatically tracking a target

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2155719C (en) * 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
US6697103B1 (en) * 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
US6801637B2 (en) * 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
JP2002314851A (ja) 2001-04-10 2002-10-25 Nikon Corp 撮影装置
JP4275326B2 (ja) 2001-05-16 2009-06-10 富士フイルム株式会社 撮像装置および位置情報検出システム
JP2006195786A (ja) 2005-01-14 2006-07-27 Canon Inc 画像データ検索方法・画像データ検索装置及びプログラム
JP4932400B2 (ja) * 2006-09-19 2012-05-16 株式会社リコー 撮像装置
JP5347144B2 (ja) * 2009-02-03 2013-11-20 リコーイメージング株式会社 定点撮影が可能なカメラ
JP5045776B2 (ja) * 2010-03-23 2012-10-10 カシオ計算機株式会社 カメラ、カメラ制御プログラム及び撮影方法並びに被写体情報送受信システム
JP5549515B2 (ja) * 2010-10-05 2014-07-16 カシオ計算機株式会社 撮像装置及び方法、並びにプログラム
JP5861667B2 (ja) * 2013-05-31 2016-02-16 カシオ計算機株式会社 情報処理装置、撮像システム、撮像装置、情報処理方法及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004364044A (ja) * 2003-06-05 2004-12-24 Sony Corp 画像記録装置
JP2008118643A (ja) * 2006-10-30 2008-05-22 Samsung Electronics Co Ltd イメージファイル管理装置および方法
JP2011078008A (ja) * 2009-10-01 2011-04-14 Nippon Hoso Kyokai <Nhk> コンテンツ共有装置、コンテンツ編集装置、コンテンツ共有プログラム、およびコンテンツ編集プログラム
US20120195574A1 (en) * 2011-01-31 2012-08-02 Home Box Office, Inc. Real-time visible-talent tracking system
JP2013085200A (ja) * 2011-10-12 2013-05-09 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2013213903A (ja) * 2012-04-02 2013-10-17 Xacti Corp 撮像装置
JP2015019270A (ja) * 2013-07-11 2015-01-29 株式会社 日立産業制御ソリューションズ カメラシステム、その制御方法およびその制御プログラム
JP2015055865A (ja) * 2013-09-13 2015-03-23 株式会社リコー 撮影システム及び撮影方法
US20150206012A1 (en) * 2014-01-18 2015-07-23 Jigabot, Llc System for automatically tracking a target

Also Published As

Publication number Publication date
US20160358019A1 (en) 2016-12-08
US9965686B2 (en) 2018-05-08
JP6623568B2 (ja) 2019-12-25
CN106254755A (zh) 2016-12-21
CN106254755B (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN102263899B (zh) 摄影装置及其控制方法
US9648229B2 (en) Image processing device and associated methodology for determining a main subject in an image
JP2017069776A (ja) 撮像装置、判定方法及びプログラム
JP5779726B2 (ja) 撮像装置及び露出決定方法
US20150085163A1 (en) Image processing apparatus, image processing method, and storage medium
KR20170066258A (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
JP6623568B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP7533534B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015119323A (ja) 撮像装置、画像取得方法及びプログラム
JP2017005395A5 (ja)
JP5428821B2 (ja) 解析装置、撮像装置、サーバ装置、解析方法、プログラム及び解析システム
CN107317986B (zh) 终端装置、信息取得系统及其信息取得方法
JP2009111827A (ja) 撮影装置及び画像ファイル提供システム
KR20180073439A (ko) 정보 처리 장치, 이동 궤적 정보 출력 방법, 및 기록 매체에 저장된 프로그램
US20100254576A1 (en) Digital photographing apparatus, method of controlling the same, and recording medium storing program to implement the method
JP2016127419A (ja) 画像補正装置、画像補正方法及びプログラム
JP2014180036A (ja) 撮影装置、その制御方法、及びプログラム
JP2016213658A (ja) 通信システム、サーバ、及び画像提供方法
JP6057142B2 (ja) 撮像装置、その制御方法及びプログラム
JP2010130590A (ja) 撮像装置及び撮像方法
JP2017229036A (ja) 電子機器、撮影システム、構図判定方法及びプログラム
JP2010183565A (ja) 撮像装置、画像検索装置およびプログラム
JP2017060135A (ja) 電子機器、被写体特定システム、被写体特定方法及びプログラム
JP2017005363A (ja) 通知制御装置、通知制御方法及びプログラム
JP2015170945A (ja) 撮像装置、その制御方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191111

R150 Certificate of patent or registration of utility model

Ref document number: 6623568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150