JP2019045772A - 撮影装置、画像処理方法、及び画像処理プログラム - Google Patents

撮影装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP2019045772A
JP2019045772A JP2017170701A JP2017170701A JP2019045772A JP 2019045772 A JP2019045772 A JP 2019045772A JP 2017170701 A JP2017170701 A JP 2017170701A JP 2017170701 A JP2017170701 A JP 2017170701A JP 2019045772 A JP2019045772 A JP 2019045772A
Authority
JP
Japan
Prior art keywords
image
user
range
imaging
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017170701A
Other languages
English (en)
Other versions
JP7021432B2 (ja
JP2019045772A5 (ja
Inventor
泰生 梶本
Yasuo Kajimoto
泰生 梶本
清範 山田
Kiyonori Yamada
清範 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tatsumi Denshi Kogyo KK
Original Assignee
Tatsumi Denshi Kogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tatsumi Denshi Kogyo KK filed Critical Tatsumi Denshi Kogyo KK
Priority to JP2017170701A priority Critical patent/JP7021432B2/ja
Publication of JP2019045772A publication Critical patent/JP2019045772A/ja
Publication of JP2019045772A5 publication Critical patent/JP2019045772A5/ja
Application granted granted Critical
Publication of JP7021432B2 publication Critical patent/JP7021432B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】生成される画像の範囲をユーザに合わせることができる、撮影装置、画像処理方法、及び画像処理プログラムを提供する。【解決手段】本発明に係る撮影装置は、被写体を撮影する撮影部と、表示部と、複数の画像範囲の候補を、前記表示部に表示させる、制御部と、前記複数の候補の中から、一の候補の選択を受け付ける、入力部と、を備え、前記制御部は、選択された前記候補に基づいて、ユーザが取得する画像を生成するように構成されている。【選択図】図8

Description

本発明は、撮影装置、画像処理方法、及び画像処理プログラムに関する。
従来、利用者をカメラで撮影することで得られた撮影画像を写真印刷シートとして出力したり、ネットワークを介して外部の装置に送信したりすることができる遊戯用撮影装置が知られている。このような遊戯用撮影装置では、写真の見栄えを良くするために、種々の編集作業が行えるようになっている。例えば、特許文献1には、目の大きさの変更、明るさの変更、落書きの追加等の編集が可能な遊戯用撮影装置が提案されている。
特開2017−038344号公報
ところで、上記のような装置で撮影を行う場合には、カメラによる撮影範囲に依存して生成される画像の範囲が予め決まっているため、ユーザは、その撮影範囲内に入って撮影を行う必要がある。しかしながら、撮影に適した範囲は、被写体の数、身長などによるため、一意的に決めることはできない。そのため、従来の遊戯用撮影装置では、予め決められた撮影範囲にしたがうように、ユーザが立ち位置やポーズを変える必要があった。なお、このような問題は、遊戯用撮影装置に限られず、例えば、証明写真機を含む撮影装置全般に生じ得る問題である。
本発明は、上記問題を解決するためになされたものであり、生成される画像の範囲をユーザに合わせることができる、撮影装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
本発明に係る撮影装置は、被写体を撮影する撮影部と、表示部と、複数の画像範囲の候補を、前記表示部に表示させる、制御部と、前記複数の候補の中から、一の候補の選択を受け付ける、入力部と、を備え、前記制御部は、選択された前記候補に基づいて、ユーザが取得する画像を生成するように構成されている。
本発明に係る画像処理方法は、前記撮影部は、前記被写体の全身を撮影する第1撮影モードと、前記被写体の顔を中心に撮影する第2撮影モードと、を備え、前記制御部は、前記第1撮影モード及び前記第2撮影モードのそれぞれにおいて、前記複数の画像候補を、前記表示部に表示させる、請求項1または2に記載の画像処理装置。
本発明に係る画像処理方法は、複数の画像範囲の候補を表示するステップと、前記複数の候補の中から、一の候補の選択を受け付けるステップと、選択された前記候補に基づいて、ユーザが取得する画像を生成するステップと、を備えている。
本発明に係る画像処理プログラムは、コンピュータに、複数の画像範囲の候補を表示するステップと、前記複数の候補の中から、一の候補の選択を受け付けるステップと、選択された前記候補に基づいて、ユーザが取得する画像を生成するステップと、を実行させる。
本発明によれば、生成される画像の範囲をユーザに合わせることができる。
本発明の一実施形態に係る撮影装置(カーテンなし)の外観を示す斜視図である。 図1Aの撮影装置(カーテンあり)の外観を示す斜視図である。 図1の撮影装置の撮影ユニットの一例を例示する。 図1の撮影装置のハードウェア構成の一例を例示する。 図1の撮影装置のソフトウェア構成の一例を例示する。 撮影の依頼を受け付けるための処理手順の一例を例示する。 ユーザの撮影する処理手順の一例を例示する。 全身撮影におけるユーザ取得画像の画像範囲を説明する図である。 全身撮影におけるユーザ取得画像の画像範囲の設定画面である。 全身撮影を行う画面である。 アップ撮影におけるユーザ取得画像の画像範囲を説明する図である。 アップ撮影におけるユーザ取得画像の画像範囲の設定画面である。 アップ撮影を行う画面である。 アップ撮影におけるユーザ取得画像の画像範囲を説明する図である。 アップ撮影におけるユーザ取得画像の画像範囲の設定画面である。 大きくする画像を選択する画面である。 アップ撮影におけるユーザ取得画像の画像範囲の設定を説明する図である。 アップ撮影におけるユーザ取得画像の画像範囲の設定画面である。
<1.撮影装置の概要>
以下、本実施形態に係る撮影装置について説明する。図1Aは、本実施形態に係る撮影装置100からカーテン13を取り除いた状態を示す斜視図、図1Bは、図1Aにおいてカーテン13を取り付けた状態を示す斜視図である。
図1A及び図1Bに示されるとおり、撮影装置100は、直方体状の筐体1を備えており、この筐体1の側面には、内部の撮影空間10に通じる出入口11が形成されている。この出入口11の上縁にはカーテンレール12が取り付けられており、このカーテンレール12には、カーテン13が取り付けられている。これにより、利用者が撮影を行う際には、カーテン13を閉じることで、撮影空間10を外部から見えないようにすると共に、外部から余計な光が撮影空間10に入らないようにすることができる。筐体1の内装において、後述するカメラ32が配置される面とは反対側の面(背面)等の撮影範囲には、クロマキー合成処理のための単一の色(例えば、青色、緑色等)が付される。単一の色が付される範囲は、撮影範囲の一部であってもよいし、全体であってもよい。
筐体1の外壁の出入口11付近には、受付ユニット2が設けられている。受付ユニット2は、撮影装置100による写真撮影の依頼を受け付けるように構成される。一方、筐体1の内部(撮影空間10)において、撮影時に利用者が存在すべき位置の前方には、撮影ユニット3が設けられている。撮影ユニット3は、撮影空間10内の利用者を撮影し、得られた画像の編集を受け付け、編集された画像をプリントするように構成される。各ユニット(2、3)の構成の詳細は後述する。
<2.撮影装置のハードウェア構成>
次に、図2及び図3を更に用いて、本実施形態に係る撮影装置100のハードウェア構成について説明する。図2は、本実施形態に係る撮影装置100の撮影ユニット3を例示する。図3は、撮影装置100のハードウェア構成の一例を模式的に例示する。
図3に示すように、本実施形態に係る撮影装置100は、受付ユニット2、撮影ユニット3、制御部5、記憶部6、通信インタフェース7、及びドライブ8が電気的に接続されたコンピュータである。なお、図3では、通信インタフェースを「通信I/F」と記載している。
制御部5は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、情報処理に応じて各構成要素の制御を行う。記憶部6は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部5で実行されるプログラム61等の各種データを記憶する。
プログラム61は、写真撮影の依頼の受け付け、受け付けた依頼に応じた写真撮影、印刷を行うための処理を撮影装置100に実行させるためのプログラムである。この他、記憶部6には、各処理過程で利用される画面データ等が記憶される。詳細は後述する。
通信インタフェース7は、例えば、有線LAN(Local Area Network)モジュール、無線LANモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。通信インタフェース7の種類は、撮影装置100の設置場所等に応じて適宜選択されてよい。撮影装置100は、通信インタフェース7を介して、外部サーバ等とデータ通信を行うことができる。
ドライブ8は、例えば、CD(Compact Disk)ドライブ、DVD(Digital Versatile Disk)ドライブ等であり、記憶媒体(不図示)に記憶されたプログラムを読み込みための装置である。ドライブ8の種類は、記憶媒体の種類に応じて適宜選択されてよい。プログラム61は、記憶媒体に記憶されていてもよい。
記憶媒体は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、このプログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。この記憶媒体の一例として、例えば、CD、DVD、フラッシュメモリ等を挙げることができる。
(受付ユニット)
受付ユニット2は、タッチパネルディスプレイ21、現金処理部22、カードリーダ23、及びスピーカ24を備えている。タッチパネルディスプレイ21は、筐体1の外側において、写真撮影を所望する利用者の目線範囲に入るように受付ユニット2本体のやや上方に配置される。タッチパネルディスプレイ21は、制御部5により制御されて、画面表示及び選択操作の受け付けを適宜行うことで、利用者からの撮影依頼に関する操作を受け付ける。このタッチパネルディスプレイ21の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、タッチパネルディスプレイ21には、感圧式、赤外線式等のタイプを利用可能である。
現金処理部22は、紙幣検証器(Bill Validator)220、現金投入口221及び現金排出口222を備えており、各種センサにより紙幣検証器220又は現金投入口221に対する紙幣又は現金(コイン)の投入を検知する。図1A及び図1Bに示すように、現金投入口221は、タッチパネルディスプレイ21の下方近傍に配置されており、現金排出口222は、現金投入口221よりも下方に配置されている。
現金処理部22は、撮影に要する金額以上の現金が投入されたことを検出した場合に、当該検知を表わす起動信号を制御部5に出力する。また、現金処理部22は、撮影のキャンセル及び撮影に要する金額分より多い金額分の現金が投入された際に、該当金額分の現金を現金排出口222に排出する。
カードリーダ23は、ICカード、クレジットカード等のカードの情報を読取可能に構成される。このカードリーダ23には、各種カードの情報を読取可能な公知のリーダが用いられてよい。本実施形態では、カードリーダ23は、現金投入口221の近傍に配置されている。カードリーダ23は、電子マネー、クレジットカード等による料金の支払いを受け付け、当該料金の支払いを受け付けた際には、そのことを表わす起動信号を制御部5に出力する。
(撮影ユニット)
図1A、図1B、及び図3に示すとおり、撮影ユニット3は、タッチパネルディスプレイ31、カメラ32、照明ユニット33、スピーカ34、及びプリンタ35を備えている。タッチパネルディスプレイ31は、本発明の「表示部」の一例であり、カメラ32は、本発明の「撮影部」の一例である。
タッチパネルディスプレイ31は、撮影ユニット3本体の前面パネルの中央に配置されており、タッチパネルディスプレイ31の上方には、写真撮影に利用されるカメラ32が配置されている。制御部5は、カメラ32による撮影を制御する。また、制御部5は、タッチパネルディスプレイ31の表示及びタッチパネルディスプレイ31に対する入力を制御する。タッチパネルディスプレイ31及びカメラ32の種類は、実施の形態に応じて適宜選択されてよい。
具体的には、カメラ32は、制御部5による制御に従って撮影を行い、撮影によって得られた画像をRAM又は記憶部6に記憶する。本実施形態では、撮影時に利用者の位置が概ね決まっているため、撮影時の利用者とカメラ32との距離が概ね決まっている。そのため、本実施形態に係るカメラ32の焦点距離は一定である。しかしながら、カメラ32の構成は、このような例に限られなくてもよく、ズームレンズを備えるカメラ32の場合は、カメラ32の焦点距離は、必要に応じて制御部5によって適切になるように制御されてもよい。なお、焦点距離の調整は、ズームレンズの外筒をカメラ32の外部から力を加えて回す機構が必要となる。制御部5は、この機構を制御することによりズームレンズの外筒を回す量を調整する。
タッチパネルディスプレイ31には、カメラ32により撮影された画像が表示される。制御部5は、所定のタイミングで、カメラ32により被写体(利用者)の静止画像を撮影する。また、カメラ32は、リアルタイムに画像を取り込んで、当該画像を表わすライブビュー用の画像信号を出力する。カメラ32から出力された画像信号は、制御部5のRAMに一時的に記憶されると共にタッチパネルディスプレイ31に送信される。これにより、タッチパネルディスプレイ31では、カメラ32により撮影された静止画像、当該画像信号に基づくライブ映像が表示される。
更に、タッチパネルディスプレイ31には、上記プログラム61に基づいて、撮影の案内を示す案内画面等が表示される。各画面では、選択操作等の操作入力が受け付けられる。制御部5は、各画面に対する操作入力を検知し、検知された操作入力に応じた処理を行う。
本実施形態では、タッチパネルディスプレイ31の両側には、各画面に対する操作入力を行うための操作デバイスとして、一対の電子ペン40が配置されている。各電子ペン40は、例えば、デジタイザを構成するペンである。これに応じて、タッチパネルディスプレイ31には、デジタイザを構成する公知のタッチパネルが積層されたディスプレイが用いられてよい。これにより、制御部5は、各電子ペン40を識別した上で、各電子ペン40による入力を検知することができる。
なお、各電子ペン40は、ケーブル41を介して、撮影ユニット3本体に連結されている。各ケーブル41の長さは、タッチパネルディスプレイ31の画面に各電子ペン40を接触可能に適宜決定されてよい。利用者は、各電子ペン40を利用することで、タッチパネルディスプレイ31に表示された各画面の操作を行うことができる。
照明ユニット33は、上部ストロボボックス331及び下部ストロボボックス332を備えている。図2に示すように、上部ストロボボックス331は、利用者側に向く曲面のカバー有しており、所定の取り付け部材を用いて、正面パネル(不図示)などに固定される。上部ストロボボックス331は内部に蛍光灯およびストロボ発光管を有し、正面上方から、利用者の顔付近にストロボ光を照射する。また、下部ストロボボックス332は、タッチパネルディスプレイ31の下側、写真プリントの取出口36の周囲に配置されている。下部ストロボボックス332の正面は垂直面を形成する板状部材により構成され、上面は急な斜面を形成する板状部材により構成される。板状部材は、乳白色のアクリル板などの透光性を有する板状部材である。下部ストロボボックス332もまた、内部に蛍光灯およびストロボ発光管を有する。また、各ストロボボックス(331、332)の蛍光灯は、制御部5により制御されて、電灯の発光量を調節することで、利用者の撮影処理の段階に応じて撮影空間10内の明るさを調節する。
スピーカ34及びプリンタ35は、撮影ユニット3本体に内蔵されている。スピーカ34は、制御部5による制御に従って、写真撮影の案内等の音声出力を行う。また、プリンタ35は、制御部5による制御に従って、撮影された画像又は編集済みの画像をプリントし、プリントした画像を取出口36に排出する。
(その他)
なお、撮影装置100の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部5は、複数のプロセッサを含んでもよい。また、撮影装置100は、提供されるサービス専用に設計された情報処理装置の他、汎用のPC(Personal Computer)等であってもよい。
<3.撮影装置のソフトウェア構成>
次に、図4を用いて、本実施形態に係る撮影装置100のソフトウェア構成の一例を説明する。図4は、本実施形態に係る撮影装置100のソフトウェア構成の一例を模式的に例示する。
撮影装置100の制御部5は、記憶部6に記憶されたプログラム61をRAMに展開する。そして、制御部5は、RAMに展開されたプログラム61をCPUにより解釈及び実行して、各構成要素を制御する。これによって、図5に示すように、本実施形態に係る撮影装置100は、ソフトウェアモジュールとして、受付部51、撮影処理部52、及び出力処理部55を備えるように構成される。
受付部51は、撮影の依頼に関する操作画面を受付ユニット2のタッチパネルディスプレイ21に表示すると共に、当該タッチパネルディスプレイ21に対するタッチ操作による利用者の入力を受け付けて、その入力に応じた処理を実行する。これにより、受付部51は、利用者からの撮影の依頼、撮影、印刷に関する設定等を受け付ける。
撮影処理部52は、撮影の案内を示す案内画面等をタッチパネルディスプレイ31に表示させると共に、カメラ32による撮影処理を実施する。これにより、撮影処理部52は、利用者(被写体)の写る画像を取得する。出力処理部55は、最終的に得られた画像を紙媒体に印刷し、印刷した画像を取出口36から出力する。また、出力処理部55は、生成された画像と共に外部サーバに送信する。
撮影装置100の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、撮影装置100の各ソフトウェアモジュールがいずれも汎用のCPUにより実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、1又は複数の専用のハードウェアプロセッサにより実現されてもよい。また、撮影装置100のソフトウェア構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。
<4.撮影装置の動作例>
<4−1.撮影依頼の受け付けの処理手順>
次に、図5を用いて、本実施形態に係る撮影装置100による撮影依頼受付の処理手順について説明する。図5は、本実施形態に係る撮影装置100による撮影依頼受付の処理手順の一例を例示する。
撮影装置100の制御部5は、受付部51として動作し、図5に示す処理手順に従って、撮影依頼の受付処理を行う。例えば、制御部5は、受付処理を開始するまでの間、受付ユニット2のタッチパネルディスプレイ21に広告等のデモ画面を表示し、タッチパネルディスプレイ21に対してタッチ操作されたことに応じて、以下の受付処理を開始する。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS100)
ステップS100では、制御部5は、使用言語の種類を選択させる画面をタッチパネルディスプレイ21に表示する。例えば、制御部5は、日本語、英語、中国語、韓国語等の各言語に対応するボタンをタッチパネルディスプレイ21に表示し、いずれかのボタンを利用者にタッチさせる。これにより、制御部5は、使用言語の選択を受け付ける。記憶部6には、各使用言語に応じた画面データが記憶されており、制御部5は、本ステップ100及び次のステップS102以降の処理において、選択された使用言語に応じた画面を表示するとともに、選択言語に対応する音声をスピーカ24から出力する。使用言語の選択が完了すると、制御部5は、次のステップS102に処理を進める。
(ステップS102)
ステップS102では、制御部5は、印刷枚数を選択させる画面をタッチパネルディスプレイ21に表示する。例えば、制御部5は、1枚、2枚等の印刷枚数に対応するボタンをタッチパネルディスプレイ21に表示し、いずれかのボタンを利用者にタッチさせる。これにより、制御部5は、印刷枚数の選択を受け付ける。印刷枚数の選択が完了すると、制御部5は、次のステップS104に処理を進める。
(ステップS104)
ステップS104では、制御部5は、ステップS102の選択結果に基づく金額とともに、決済方法を選択させる画面をタッチパネルディスプレイ21に表示する。例えば、制御部5は、クレジットカード、ICカード、現金等の各決済方法に対応するボタンをタッチパネルディスプレイ21に表示し、いずれかのボタンを利用者にタッチさせる。これにより、制御部5は、決済方法の選択を受け付ける。決済方法の選択が完了すると、制御部5は、次のステップS106に処理を進める。
(ステップS106)
ステップS106では、制御部5は、ステップS104で選択された決済方法に対応する決済画面をタッチパネルディスプレイ21に表示する。これにより、制御部5は、ステップS104で選択された決済方法による決済を受け付ける。
現金での決済を選択した場合、利用者は、決済画面に指定された料金を現金投入口221に投入する。指定の料金(ステップS104の選択結果に基づく料金)分の現金又はそれ以上の現金が投入されると、現金処理部22は、上記起動信号を制御部5に出力する。他方、クレジットカード又はICカードでの決済を選択した場合、利用者は、対応するカードをカードリーダ23に読み込ませる。対応するカードを読み取ると、カードリーダ23は、上記起動信号を制御部5に出力する。制御部5は、これらの起動信号を受信した後、次のステップS108に処理を進める。
(ステップS108)
ステップS108では、制御部5は、印刷するシールのデザインを選択させる画面をタッチパネルディスプレイ21に表示する。各デザインは、記憶部6に記憶されていてもよいし、ネットワークを介してNAS(Network Attached Storage)等の他の情報処理装置からダウンロードされてもよい。各デザインは、クロマキー合成処理により被写体に係る画像の背景として合成する背景デザイン、及びシール内に撮影画像を配置する配置デザインを規定する。
制御部5は、例えば、各デザインのサムネイルをタッチパネルディスプレイ21に表示し、いずれかのサムネイルを利用者にタッチさせる。これにより、制御部5は、印刷するシールのデザインの選択を受け付ける。デザインの選択が完了すると、制御部5は、次のステップS112に処理を進める。
(ステップS110及びS112)
ステップS110では、制御部5は、撮影ユニット3が利用可能となるまでの間、撮影ユニット3による撮影の案内、広告等のデモ画面をタッチパネルディスプレイ21に表示する。
本動作例に係る受付処理により撮影の依頼を行っている対象の利用者よりも前に、撮影装置100を利用する利用者が存在する場合、対象の利用者が本ステップS110に到達した時点で、前の利用者が未だ撮影ユニット3による撮影処理を行っている可能性がある。制御部5は、この前の利用者が撮影ユニット3を占有している間、対象の利用者を筐体1の外側で待機させるために、本ステップS112によりデモ画面を表示する。なお、前の利用者が存在せず、又は前の利用者の撮影が完了しており、撮影ユニット3が直ちに利用可能な場合には、制御部5は、本ステップS110の処理を省略してもよい。
次のステップS112では、制御部5は、撮影空間10への移動案内をタッチパネルディスプレイ21に表示し、撮影の依頼を行っていた利用者に対して撮影空間10内に移動するように促す。これにより、制御部5は、本動作例に係る受付処理を終了する。
なお、各ステップで表示される画面には、一つ前のステップに戻ったり、最初のステップS100に戻ったりするためのボタンが設けられてもよい。これにより、利用者は、受付処理を所望のステップに戻したり、撮影の依頼をキャンセルしたりすることができる。
<4−2.撮影の処理手順>
次に、図6を用いて、本実施形態に係る撮影装置100による撮影の処理手順について説明する。図6は、本実施形態に係る撮影装置100による撮影の処理手順の一例を例示する。
撮影装置100の制御部5は、上記受付処理が完了したことに応じて、撮影処理部52として動作し、図6に示す撮影処理を開始する。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(ステップS200)
ステップS200では、制御部5は、撮影を開始するための画面をタッチパネルディスプレイ31に表示する。例えば、制御部5は、撮影プレイの開始を利用者に容認させるためのスタートボタンを含む画面をタッチパネルディスプレイ31に表示し、利用者に対して、一対の電子ペン40のいずれかにより当該スタートボタンをタッチさせる。これにより、制御部5は、撮影の開始を受け付けて、次のステップS202に処理を進める。なお、以下の処理では特に断りのない限り、いずれかの電子ペン40により、タッチパネルディスプレイ31をタッチすることで、撮影処理を進めることとする。したがって、以下では、「タッチ」との文言は、電子ペン40によるタッチを意味する。
(ステップS202及びS204)
ステップS202において、制御部5は、全身撮影(第1撮影モード)を行うことの案内をタッチパネルディスプレイ31に表示した後、画像範囲の設定を行う。例えば、カメラ32で全身の撮影を行うと、図7に示すような撮影画像(原画)が生成される。しかしながら、撮影画像の周縁部は光学的に歪みが生じるおそれがあるため、周縁部を切り取り、ユーザが取得する画像の画像範囲を決定する。以下、この画像範囲に基づいて、ユーザが取得する画像を「ユーザ取得画像」と称することとする。
図7の例では、全身撮影に際しての、ユーザ取得画像用の2つの画像範囲の候補を示している。すなわち、撮影画像の中で、標準的な範囲を示す矩形状の第1範囲と、この第1範囲よりも広い矩形状の第2範囲とが示されている。撮影空間10内でのユーザの立つ位置はほぼ同じであるため、第1範囲及び第2範囲の下辺の上下方向の位置は同じである。また、第1範囲及び第2範囲の縦横比は同じである。
このように設定された第1範囲及び第2範囲は、図8に示す画面に表示される。図8の例では、図7で示した撮影画像から、第1範囲及び第2範囲を輪郭とする各画像、つまりユーザ取得画像がトリミングされて同時に表示されている。ここでは、第1範囲の画像が「標準」と称され、第2範囲の画像が「広め」と称されている。図8に示すように、「広め」は、範囲が広いため、大人数での撮影に適している。このとき、図8の画面に示される、第1範囲の画像及び第2範囲の画像は、カメラ32で撮影されているライブビューである。第1範囲の画像及び第2範囲の画像は、同じか略同じサイズで表示される。なお、図7は、ユーザ取得画像を説明するための図であり、タッチパネルディスプレイ31には表示されず、図8の画面がタッチパネルディスプレイ31に表示される。
そして、ユーザが「標準」または「広め」のいずれかの画像をタッチすると、タッチされた画像に、選択中であることを示す選択枠78が表示される。そして、画像の選択を確定する場合には、OKボタン71をタッチする。したがって、OKボタン71がタッチされるまでは、「標準」または「広め」のいずれの画像も選択することができる。なお、図8の画面には、制限時間が設けられており、制限時間中にOKボタン71がタッチされなかった場合は、選択枠78が表示された画像を、ユーザが選択したものとして確定する。続いて、確定された画像に対応する範囲の静止画像を取得するための撮影を行う。
こうして、全身撮影用のユーザ取得画像の範囲が決定されると、図9に示すように、選択された範囲に対応するライブビューが表示された画面がタッチパネルディスプレイ31に表示される。このライブビューは、図8に示された各ライブビューよりも大きいサイズで表示される。ユーザは、この範囲の中で、ライブビューを見ながら、適宜ポーズを取る。そして、カウントダウン72が行われた後、カメラ32により全身撮影が行われる。すなわち、ユーザ取得画像としての静止画が生成される。生成される静止画は、図8の画面にて表示されたライブビュー像の表示範囲と同一の範囲の画像としてもよいし、当該ライブビュー像の表示範囲に近似する範囲の画像としてもよい。ここでは、カウントダウンとともに、2回の撮影が行われる。
(ステップS206及びS208)
次に、制御部5は、アップ撮影(第2撮影モード)の処理を行う。すなわち、アップ撮影を行うことの案内をタッチパネルディスプレイ31に表示した後、画像範囲の設定を行う。例えば、図10には、全身撮影で「標準」を選択したときの、ユーザ取得画像の3つの画像範囲の候補が示されている。3つの候補は、いずれも矩形状で同じ大きさであるが、上下方向の位置が相違している。ここでは、上下方向に上から下へ、第1範囲、第2範囲、及び第3範囲が示されている。
このように設定された第1〜第3範囲は、図11に示す選択画面に表示される。図11の例では、図10で示した撮影画像から、第1〜第3範囲を輪郭とする各画像がトリミングされて同時に表示されている。ここでは、第1〜第3範囲の画像が、左から右へ並ぶように配置されている。このとき、図11の画面に示される、第1〜第3範囲の画像は、カメラ32で撮影されているライブビューである。これらの第1〜第3範囲の画像は、同じか略同じサイズで表示される。なお、図10は、ユーザ取得画像を説明するための図であり、タッチパネルディスプレイ31には表示されず、図11の画面がタッチパネルディスプレイ31に表示される。
そして、ユーザがいずれかの画像をタッチすると、タッチされた画像の周りに選択枠78が表示される。そして、選択を確定する場合には、OKボタン71をタッチする。したがって、OKボタン71がタッチされるまでは、いずれの画像も選択することができる。
こうして、アップ撮影用のユーザ取得画像の範囲が決定されると、図12に示すように、選択された範囲に対応するライブビューが表示された画面がタッチパネルディスプレイ31に表示される。このライブビューは、図11に示された各ライブビューよりも大きいサイズで表示される。そして、カウントダウン72が行われた後、カメラ32によりアップ撮影が行われる。すなわち、ユーザ取得画像としての静止画が生成される。生成される静止画は、図12の画面にて表示されたライブビュー像の表示範囲と同一の範囲の画像としてもよいし、当該ライブビュー像の表示範囲に近似する範囲の画像としてもよい。ここでは、カウントダウンとともに、2回の撮影が行われる。
ところで、上述した全身撮影において、ユーザ取得画像の範囲として「広め」を選択した場合には、多人数での撮影が想定されるため、アップ撮影におけるユーザ取得範囲も図10で示したものよりも広くなることが好ましい。そこで、図13に示すように、本実施形態においては、全身撮影で「広め」を選択したときには、図10で示した範囲よりも大きい、3つのユーザ取得画像の候補が設定される。3つのユーザ取得画像の候補は、いずれも矩形状で同じ大きさであるが、上下方向の位置が相違している。ここでは、上下方向に上から下へ、第1範囲、第2範囲、及び第3範囲が示されている。
そして、上記と同様に、図14に示すように、これら3つの候補のライブビューが配置された画面が、タッチパネルディスプレイ31に表示される。これらの3つのライブビューは、上述したもの同様に、同じか略同じサイズで表示される。ユーザは、これらの中からいずれかを選択した後、図12に示すような画面の案内により、2回の撮影を行う。
(ステップS210及びS212)
次に、制御部5は、ボーナス撮影の処理を行う。但し、ボーナス撮影は、撮影待ちをしているユーザがいないときに行われる。具体的には、制御部5は、受付ユニット2を操作しているユーザがいないと判断したときは(ステップS210のNO)、タッチパネルディスプレイ31に、ボーナス撮影用の画面を表示する。ボーナス撮影用の画面は、上述した図9の全身撮影用の画面が表示され、2回の撮影が行われる。但し、図12のアップ撮影用の画面を表示することもできるが、いずれにしても既に選択したユーザ取得画像の範囲が画面に表示される。一方、制御部5が、受付ユニット2を操作しているユーザがいると判断したときは(ステップS210のYES)、ボーナス撮影を行わない。なお、ボーナス撮影については、他の態様も可能であり、例えば、ユーザが受付ユニット2において操作している場合でも、受付ユニット2での操作が完了していない場合には、ボーナス撮影を行うこともできる。例えば、受付ユニット2での操作が始まっている場合でも、ステップS110のデモの表示が行われるまでは、ボーナス撮影を行なうことができる。
(ステップS214)
続いて、制御部5は、印刷されるシートの中で大きくする画像の選択を、ユーザに行わせる。すなわち、タッチパネルディスプレイ31には、図15に示すように、既に撮影した既に撮影したすべてのユーザ取得画像が表示され、この中から、シールの中で大きくする画像を選択する。ボーナス撮影が行われた場合には、ユーザ取得画像の中に、ボーナス撮影で撮影された画像も含まれる。そして、ユーザがいずれかの画像をタッチすると、タッチされた画像に選択枠79が表示される。そして、選択を確定する場合には、OKボタン71をタッチする。したがって、OKボタン71がタッチされるまでは、いずれの画像も選択することができる。
(ステップS216)
ステップS214では、制御部5は、出力処理部55として動作し、プリンタ35を利用して、シートのプリント処理を開始する。このシートには、ステップS108で選択されたデザインが施され、撮影した4枚または6枚の画像が表示される。そのうち、ステップS214で選択した1枚の画像は、他の画像よりも大きく表示される。
また、制御部5は、ステップS210で開始したプリント処理が完了したことに応じて、プリント処理が完了したことを示す案内をタッチパネルディスプレイ31に表示する。そして、制御部5は、シールを取出口36から排出する。
このとき、制御部5は、ステップS102で選択された枚数分のシールを印刷する。各画像を印刷したシールを取出口36から排出した後、制御部5は、利用者に対して、シールを取り出し、撮影空間10の外へ出るように促す案内をタッチパネルディスプレイ31に表示する。利用者は、当該案内に従って、プリントされたシールを取出口36から取り出し、撮影空間10から退出する。これにより、制御部5は、本動作例に係る撮影処理を終了する。
<5.特徴>
以上のように、本実施形態によれば、全身撮影及びアップ撮影において、ユーザの好みの画像範囲を設定することができる。したがって、例えば、被写体の人数が多い場合には、それに合わせてユーザ取得画像の範囲を大きくすることができる。また、アップ撮影においては、ユーザ取得画像の範囲を上下方向に調整可能であるため、例えば、子供のような背の低い被写体が含まれる場合には、範囲を下方にずらすことができるなど、被写体の身長に合わせてユーザ取得画像の範囲を調整することができる。したがって、ユーザの人数、身長等に合わせた画像を生成することができる。
<6.変形例>
以上、本発明の一実施形態について説明したが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
<6.1>
上記実施形態で示したユーザ取得画像の画像範囲は、一例であり、種々の大きさ、形状に設定することができる。また、上記実施形態のように、ユーザ取得画像の画像範囲を予め設定しておくほか、ユーザが設定できるようにすることもできる。例えば、アップ撮影において、ユーザ取得画像の画像範囲を設定する場合、図16に示すように、撮影画像の中にユーザ取得画像の基準画像範囲を設定しておく。そして、この基準画像範囲に基づいて、図17に示す画面において、ユーザが、ユーザ取得画像の画像範囲を設定できるようにする。すなわち、図17の上ボタン73、または下ボタン74をタッチすると、図16の撮影画像の中で基準画像範囲が上下に移動し、この範囲内のライブビューが図17の画面に表示されるようになっている。一方、ズームアップボタン75、またはズームアウトボタン76をタッチすると、基準画像範囲が、図16に示す中心点を基準に拡大または縮小し、その範囲内のライブビュー77が図17の画面に表示されるようになっている。このとき、ズームアップ等のボタン73〜76をタッチしても、ライブビュー77の表示サイズは変更されない。なお、図16及び図17では、アップ撮影時の例を示したが、全身撮影に適用することもできる。また、中心点の位置は特には限定されず、適宜変更することができる。
<6.2>
上記実施形態では、ユーザ取得画像の画像範囲の候補の数は、特には限定されない。また、各候補の違いを画面(図8,図11,及び図14)に表示することもできる。例えば、図8では、標準、広めとの表示を施しているが、これ以外にライブビューの画像範囲の相違を示す表示を適宜施すことができる。
<6.3>
上記実施形態では、ユーザ取得画像の画像範囲を選択させる画面(図8,図11,及び図14)において、ライブビューを表示しているが、静止画を表示し、ここから画像範囲を選択させることもできる。静止画は、同じタイミングで画角の異なる複数の静止画像とすることもできるし、異なるタイミングで画角の異なる複数の静止画像とすることもできる。前者の場合は、一回の撮影で取得される原画から複数の異なる範囲の画像を抽出して複数の静止画像を得る。後者の場合は、複数回異なるトリミング範囲の撮影を行い複数の静止画像を得る。その後、撮影画面(図9,図12)においては、選択した画像範囲に対応するライブビューを表示した上で、撮影を行うこともできる。
<6.4>
上記実施形態では、電子ペンにより、タッチパネルディスプレイ31をタッチすることで、入力を行っているが、指でタッチすることで入力を行ってよく、あるいは物理的なボタン等の入力部を設けて入力を行うこともできる。また、入力は、音声により行うこともできる。すなわち、ユーザが、操作指示を声を発することで行い、これを受信することで、制御部5が操作を行うこともできる。
<6.5>
上記実施形態では、撮影画像からユーザ取得画像のトリミングを行い、トリミング後の画像を選択画面(図8,図11,及び図14)に表示しているが、ユーザ取得画像の表示の態様はこれに限定されない。例えば、上記のようなトリミングを行うことなく、撮影画像の周囲をマスクし、ユーザ取得画像のみが表示されるように、撮影画像自体(またはその一部)を選択画面に表示することもできる。要するに、ユーザ取得画像で規定される画像範囲が画面に表示されればよい。なお、選択対象となるライブビューとしてユーザに見えている複数の画像の大きさは、すべて同じまたは略同一とすることができる。
<6.6>
また、撮影画像から、トリミングやマスクによりユーザ取得画像を生成する以外に、例えば、物理的なカメラの向きの変更、あるいは光学的なズームアップ及びズームアウトにより、ユーザ取得画像の画像範囲を決めてもよい。すなわち、カメラによる撮影画像をユーザ取得画像とすることもできる。さらには、カメラの向きの変更、ズームアップ及びズームアウトと、トリミング及びマスクと、を混在してユーザ取得画像の画像範囲を設定することもできる。
<6.7>
上記実施形態では、全身撮影とアップ撮影の2種類を行っているが、いずれか一方でもよい。また、アップ撮影後に、撮影待ちをしているユーザがいない場合には、ボーナス撮影を行っているが、ボーナス撮影に代えて、撮影のやり直しを行うこともできる。すなわち、全身撮影またはアップ撮影の少なくとも1つを行い、既に撮影した全身撮影及びアップ撮影に係るユーザ取得画像と入れ替えることもできる。このとき、新たに生成したユーザ取得画像と、既に生成したユーザ取得画像とを比較し、既に生成したユーザ取得画像をそのまま維持することもできる。また、このようなボーナス撮影または撮影のやり直しを、撮影待ちのユーザの有無にかかわらず行ってもよいし、あるいは、全く行わないようにしてもよい。
<6.8>
上記実施形態では、ユーザ取得画像の画像範囲は、予め決定されたものであるが、被写体となるユーザに応じて決定することもできる。例えば、全身撮影の場合には、図7に示す撮影画像から公知の顔検出技術により、ユーザの顔を検知し、ユーザの顔がすべて含まれ、且つ全身がすべて含まれる範囲を第1範囲とすることができる。続いて、それよりも上方及び左右に広い範囲を第2範囲として設定することができる。
また、アップ撮影の場合には、例えば、図10、図13、及び図16に示す撮影画像から顔検出を行い、検出されたすべての顔の高さ方向の平均値を、高さ方向の中心とした第2範囲を設定する。このとき、第2範囲の大きさ(形状)は予め設定しておく。次に、第2範囲の大きさを変更することなく、これを上下に所定距離だけずらした第1範囲及び第3範囲を設定する。こうして、アップ撮影時の第1〜第3範囲を設定する。なお、第2範囲の設定方法は特には限定されず、上記のような平均値に限らず例えば、一番背の高いユーザの顔を中心としてもよいし、一番背の低いユーザの顔を中心としてもよい。
さらに、顔検出等に基づいて、基準となる画像範囲を設定し、これを基準に他の範囲を設定することもできる。例えば、図11の例では、左側のユーザ取得画像は、被写体の上方にスペースが多すぎ、右側のユーザ取得画像は被写体の頭が切れている。したがって、真ん中のユーザ取得画像が、ユーザの位置と画像範囲とのバランスが取れた最適な範囲であると考えられるので、これをデフォルトの画像範囲として設定し、この画像範囲を拡大縮小したり、あるいは位置を変更することで、他の画像範囲を設定することもできる。
<6.9>
上記実施形態に係る撮影装置では、出力処理部55が、シートの印刷を行うことで、ユーザ取得画像の出力を行っているが、シートや、ユーザ取得画像のデータを出力することもできる。この場合、電子データは、ユーザの携帯端末に直接送信したり、あるいは外部サーバに送信後、当該サーバからユーザがインターネットを介して取得することもできる。
<6.10>
上記実施形態に係る撮影装置においては、画像の編集を行うこともできる。すなわち、ユーザ取得画像やシートに対して、画像の編集作業を行うことができるようにしてもよい。
31…タッチパネルディスプレイ(入力部)、
32…カメラ(撮影部)、
40…電子ペン(入力部)、
5…制御部、
61…プログラム

Claims (8)

  1. 被写体を撮影する撮影部と、
    表示部と、
    複数の画像範囲の候補を、前記表示部に表示させる、制御部と、
    前記複数の候補の中から、一の候補の選択を受け付ける、入力部と、
    を備え、
    前記制御部は、選択された前記候補に基づいて、ユーザが取得する画像を生成するように構成されている、撮影装置。
  2. 前記撮影部は、前記被写体を撮影した撮影画像を生成し、
    前記制御部は、前記撮影画像から前記複数の候補を抽出し、前記表示部に表示させる、請求項1に記載の撮影装置。
  3. 前記表示部に表示される前記各候補は、前記撮影部によって撮影されたライブビューにより構成される、請求項1に記載の撮影装置。
  4. 前記被写体の全身を撮影する第1撮影モードと、前記被写体の顔を中心に撮影する第2撮影モードと、を備え、
    前記制御部は、前記第1撮影モード及び前記第2撮影モードのそれぞれにおいて、前記複数の候補を、前記表示部に表示させる、請求項1から3のいずれかに記載の撮影装置。
  5. 前記第1撮影モードにおける前記複数の候補は、縦横比が同じで、大きさが異なるように構成されている、請求項4に記載の撮影装置。
  6. 前記第2撮影モードにおける前記複数の候補は、大きさが同じで、上下方向の位置が異なるように構成されている、請求項4または5に記載の撮影装置。
  7. 異なる画像範囲の候補を表示するステップと、
    前記複数の候補の中から、一の候補の選択を受け付けるステップと、
    選択された前記候補に基づいて、ユーザが取得する画像を生成するステップと、
    を備えている、画像処理方法。
  8. コンピュータに、
    複数の画像範囲の候補を表示するステップと、
    前記複数の候補の中から、一の候補の選択を受け付けるステップと、
    選択された前記候補に基づいて、ユーザが取得する画像を生成するステップと、
    を実行させる、画像処理プログラム。
JP2017170701A 2017-09-05 2017-09-05 撮影装置、画像処理方法、及び画像処理プログラム Active JP7021432B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017170701A JP7021432B2 (ja) 2017-09-05 2017-09-05 撮影装置、画像処理方法、及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017170701A JP7021432B2 (ja) 2017-09-05 2017-09-05 撮影装置、画像処理方法、及び画像処理プログラム

Publications (3)

Publication Number Publication Date
JP2019045772A true JP2019045772A (ja) 2019-03-22
JP2019045772A5 JP2019045772A5 (ja) 2020-11-12
JP7021432B2 JP7021432B2 (ja) 2022-02-17

Family

ID=65814258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017170701A Active JP7021432B2 (ja) 2017-09-05 2017-09-05 撮影装置、画像処理方法、及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP7021432B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10161234A (ja) * 1996-11-28 1998-06-19 Konica Corp 人物写真撮影装置
JP2010062791A (ja) * 2008-09-03 2010-03-18 Furyu Kk 写真シール作成装置および方法、並びに、プログラム
JP2010109651A (ja) * 2008-10-30 2010-05-13 Furyu Kk 写真シール作成装置および方法、並びにプログラム
JP2011142534A (ja) * 2010-01-08 2011-07-21 Make Softwear:Kk 写真撮影遊戯機、写真撮影遊戯方法及び制御プログラム
JP2015012437A (ja) * 2013-06-28 2015-01-19 株式会社ニコン デジタルカメラ
JP2015148777A (ja) * 2014-02-07 2015-08-20 フリュー株式会社 画像処理装置および撮影方法
JP2016174311A (ja) * 2015-03-17 2016-09-29 フリュー株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10161234A (ja) * 1996-11-28 1998-06-19 Konica Corp 人物写真撮影装置
JP2010062791A (ja) * 2008-09-03 2010-03-18 Furyu Kk 写真シール作成装置および方法、並びに、プログラム
JP2010109651A (ja) * 2008-10-30 2010-05-13 Furyu Kk 写真シール作成装置および方法、並びにプログラム
JP2011142534A (ja) * 2010-01-08 2011-07-21 Make Softwear:Kk 写真撮影遊戯機、写真撮影遊戯方法及び制御プログラム
JP2015012437A (ja) * 2013-06-28 2015-01-19 株式会社ニコン デジタルカメラ
JP2015148777A (ja) * 2014-02-07 2015-08-20 フリュー株式会社 画像処理装置および撮影方法
JP2016174311A (ja) * 2015-03-17 2016-09-29 フリュー株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
JP7021432B2 (ja) 2022-02-17

Similar Documents

Publication Publication Date Title
JP5018896B2 (ja) 写真撮影プリント装置、写真撮影プリント装置の制御方法、写真撮影プリント装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体
JP4920175B2 (ja) 写真撮影プリント装置、写真撮影プリント装置の制御方法、写真撮影プリント装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体
JP6098879B2 (ja) 画像提供システム、画像提供方法、および画像提供装置
JP2023021174A (ja) 撮影装置、撮影方法、及び撮影処理プログラム
JP2016174312A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9807276B2 (en) Image processing apparatus having a display device for displaying a trimming range selection screen, and image processing method
JP7021432B2 (ja) 撮影装置、画像処理方法、及び画像処理プログラム
JP7014953B2 (ja) 画像処理装置及び画像処理方法
JP2019012153A (ja) 画像取得システム
JP6493587B1 (ja) 撮影装置、画像処理方法、及び画像処理プログラム
JP2004159158A (ja) 写真プリント提供装置および方法
JP2018029343A (ja) 画像処理装置、画像処理方法およびプログラム
JP2012142772A (ja) 画像処理装置および画像処理方法
JP2019134345A (ja) 撮影装置、画像処理方法、及び画像処理プログラム
JP5050746B2 (ja) 写真撮影編集方法および写真撮影編集装置
JP2016006981A (ja) 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP2016042641A (ja) 写真撮影遊戯装置、画像処理方法、及び画像処理プログラム
JP2020086109A (ja) 撮影装置、写真撮影遊戯方法、及び写真撮影遊戯方法プログラム
JP2019050582A (ja) 写真撮影遊戯装置、画像処理方法、及び画像処理プログラム
JP6897428B2 (ja) 画像読み取り装置
JP2006162719A (ja) 写真シール販売機および方法、並びにプログラム
JP6468386B2 (ja) 写真撮影遊戯装置、画像処理方法、及び画像処理プログラム
JP2002218454A (ja) 写真自販機
JP7009833B2 (ja) 画像プリントシステム及び画像プリント装置
JP3561717B2 (ja) 写真撮影方法および写真撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220117

R151 Written notification of patent or utility model registration

Ref document number: 7021432

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151