JP2013097094A - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2013097094A JP2013097094A JP2011238477A JP2011238477A JP2013097094A JP 2013097094 A JP2013097094 A JP 2013097094A JP 2011238477 A JP2011238477 A JP 2011238477A JP 2011238477 A JP2011238477 A JP 2011238477A JP 2013097094 A JP2013097094 A JP 2013097094A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- subject
- subject image
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Abstract
【解決手段】被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第1撮像位置情報とを取得する第1取得部と、前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第2撮像位置情報とを取得する第2取得部と、仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させる表示制御部と、を備え、前記表示制御部は、前記仮想空間の、前記第1撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第2撮像位置情報に基づいて、前記広範囲画像も共に描画する、情報処理装置。
【選択図】図6
Description
1.画像表示システムの構成
2.撮像装置の構成
3.表示装置の構成
4.表示制御装置の構成
4−1.仮想三次元空間上の被写体画像の配置
4−2.仮想三次元空間上の被写体画像とパノラマ画像の表示
4−3.被写体画像の仮想三次元空間上の描画の流れ
4−4.視点移動に伴うパノラマ画像の切替表示
5.画像表示システムの動作
6.まとめ
図1及び図2を参照しながら、本開示の一実施形態に係る画像表示システム10の構成について説明する。図1は、一実施形態に係る画像表示システム10の概略構成を示す図である。図2は、一実施形態に係る画像表示システム10の構成を示すブロック図である。
図4を参照しながら、本開示の一実施形態に係る撮像装置20の詳細構成について説明する。図4は、一実施形態に係る撮像装置20の詳細構成を示すブロック図である。
図5を参照しながら、本開示の一実施形態に係る表示装置40の詳細構成について説明する。図5は、一実施形態に係る表示装置40の詳細構成を示すブロック図である。
図6を参照しながら、画像表示システム10において画像表示を制御する情報処理装置の一例である表示制御装置300の機能構成について説明する。図6は、表示制御装置300の機能構成を示すブロック図である。
以下では、説明の便宜上、大画面表示装置50の表示画面に仮想三次元空間が表示されるものとして説明する。また、仮想三次元空間上に配置される被写体画像は、パーティショット機能で自動撮像された被写体画像であるものとする。
図6に戻って、説明を続ける。表示制御部330は、被写体の自動撮像時の撮像環境を容易に把握できるように、被写体画像を仮想三次元空間の描画位置に描画する際に、第2取得部320で取得されたパノラマ画像も共に描画する。
図6に戻って、説明を続ける。表示制御部330は、被写体画像の撮像位置に対応した方位に仮想三次元空間を回転表示させ、被写体画像を、回転表示された仮想三次元空間の描画位置に描画する。
図6に戻って、説明を続ける。操作受付部340は、表示画面に表示された仮想三次元空間において、ユーザの視点の仮想三次元空間の移動操作を受け付ける。例えば、操作受付部340は、表示装置40の入力部250(タッチパネル)によるタッチ操作を検知することで、仮想三次元空間において視点の仮想三次元空間の時間軸上の移動操作を受け付ける。
(仮想三次元空間上の被写体画像とパノラマ画像の表示処理)
図17〜図19を参照しながら、仮想三次元空間上の被写体画像とパノラマ画像の表示処理について説明する。
pixPerAngleEye = devWidth / α
pixPerAnglePano = panoWidth / β
convCoefficients = pixPerAngleEye / pixPerAnglePano
drawLeft=(devWidth /2)+ (startBearing - λ) * pixPerAngleEye
drawRight= drawLeft + panoWidth * convCoefficients
drawTop = 0
drawButtom= panoHeight * convCoeffients
上記の計算結果に基づいて、パノラマ画像が描画される。
図21を参照しながら、自動撮像された被写体画像を仮想三次元空間上に配置する描画処理について説明する。図21は、自動撮像された被写体画像の仮想三次元空間上の描画処理を示すフローチャートである。本フローチャートは、撮像装置20によって被写体画像が自動撮像されたところから開始される。
ψ=d*(P−α)
λ=λ+ψ
上述したように、情報処理装置は、仮想三次元空間(仮想空間)の描画位置に被写体画像を描画する際に、パノラマ画像(広範囲画像)も共に描画する。ここで、パノラマ画像は、被写体を撮像する際の視野よりも広範囲の視野で撮像された画像であるので、被写体画像と共に描画されたパノラマ画像によって被写体が撮像された環境等を容易に把握することが可能となる。特に、パーティショット機能では、自動撮像される被写体画像において被写体の顔が大きく撮像される特性がある。このため、被写体画像のみを仮想三次元空間上に配置させると撮像環境が把握し難いが、パノラマ画像も一緒に描画することでかかる問題を解決できる。
(1)被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第1撮像位置情報とを取得する第1取得部と、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第2撮像位置情報とを取得する第2取得部と、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させる表示制御部と、
を備え、
前記表示制御部は、
前記仮想空間の、前記第1撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、
前記第2撮像位置情報に基づいて、前記広範囲画像も共に描画する、情報処理装置。
前記広範囲画像は、パノラマ画像である、前記(1)に記載の情報処理装置。
前記被写体画像の前記撮像位置に対応した方位に前記仮想空間を回転表示させ、
前記被写体画像を、回転表示された前記仮想空間の前記描画位置に描画する、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
前記被写体画像を所定時間だけ拡大表示させた後に、前記被写体画像を非表示にした状態で前記仮想空間を回転表示させ、
前記仮想空間の回転表示後に、前記被写体画像を再度表示させて前記描画位置に描画する、前記(5)又は(6)に記載の情報処理装置。
前記表示制御部は、仮想空間の基準点を中心とする円の半径方向を時間軸とし、前記仮想空間の、前記第1撮像時刻情報及び前記第1撮像位置情報に基づいた描画位置に前記被写体画像を描画する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
表示された前記仮想空間において、ユーザの視点の前記仮想空間の移動操作を受け付ける操作受付部を更に備え、
前記表示制御部は、前記操作受付部が受け付けた前記視点の移動操作に応じて広範囲画像に切替えて描画する、前記(8)に記載の情報処理装置。
前記操作受付部は、表示された前記仮想空間において、ユーザによる視点の前記仮想空間の前記時間軸上の移動操作を受け付け、
前記表示制御部は、移動した前記視点の前記時間軸上の位置に対応した撮像時刻に撮像された広範囲画像に切替えて描画する、前記(9)に記載の情報処理装置。
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第2撮像位置情報とを取得することと、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、
前記仮想空間の、前記第1撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第2撮像位置情報に基づいて前記広範囲画像も共に描画することと、
を含む、情報処理方法。
被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第1撮像位置情報とを取得することと、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第2撮像位置情報とを取得することと、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、
前記仮想空間の、前記第1撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第2撮像位置情報に基づいて前記広範囲画像も共に描画することと、
を実行させるためのプログラム。
20 撮像装置
30 回転雲台
40 表示装置
50 大画面表示装置
70 サーバ
110 制御部
120 表示部
130 撮像部
140 通信部
150 記憶部
160 入力部
170 電子コンパス
210 制御部
220 記憶部
230 通信部
240 表示部
250 入力部
260 外部I/F
300 表示制御装置
310 第1取得部
320 第2取得部
330 表示制御部
340 操作受付部
Claims (13)
- 被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第1撮像位置情報とを取得する第1取得部と、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第2撮像位置情報とを取得する第2取得部と、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させる表示制御部と、
を備え、
前記表示制御部は、
前記仮想空間の、前記第1撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、
前記第2撮像位置情報に基づいて、前記広範囲画像も共に描画する、情報処理装置。 - 前記被写体画像は、前記被写体の顔を撮像した画像であり、
前記広範囲画像は、パノラマ画像である、請求項1に記載の情報処理装置。 - 前記表示制御部は、画像化して表示される前記仮想空間の背景部分に、前記第2撮像位置情報に基づいて前記広範囲画像を描画する、請求項1に記載の情報処理装置。
- 前記被写体画像及び前記広範囲画像は、回転自在な回転雲台に載置され前記回転雲台の回転に連動して回転する撮像装置によって撮像された画像である、請求項1に記載の情報処理装置。
- 前記表示制御部は、
前記被写体画像の前記撮像位置に対応した方位に前記仮想空間を回転表示させ、
前記被写体画像を、回転表示された前記仮想空間の前記描画位置に描画する、請求項1に記載の情報処理装置。 - 前記表示制御部は、前記被写体画像を、回転表示された前記仮想空間上でバウンドさせた後に前記描画位置に描画する、請求項5に記載の情報処理装置。
- 前記表示制御部は、
前記被写体画像を所定時間だけ拡大表示させた後に、前記被写体画像を非表示にした状態で前記仮想空間を回転表示させ、
前記仮想空間の回転表示後に、前記被写体画像を再度表示させて前記描画位置に描画する、請求項5に記載の情報処理装置。 - 前記第1取得部は、前記被写体画像の撮像時刻を示す第1撮像時刻情報を更に取得し、
前記表示制御部は、仮想空間の基準点を中心とする円の半径方向を時間軸とし、前記仮想空間の、前記第1撮像時刻情報及び前記第1撮像位置情報に基づいた描画位置に前記被写体画像を描画する、請求項1に記載の情報処理装置。 - 前記第2取得部は、複数の広範囲画像を取得し、
表示された前記仮想空間において、ユーザの視点の前記仮想空間の移動操作を受け付ける操作受付部を更に備え、
前記表示制御部は、前記操作受付部が受け付けた前記視点の移動操作に応じて広範囲画像に切替えて描画する、請求項8に記載の情報処理装置。 - 前記複数の広範囲画像は、撮像時刻が異なり、
前記操作受付部は、表示された前記仮想空間において、ユーザによる視点の前記仮想空間の前記時間軸上の移動操作を受け付け、
前記表示制御部は、移動した前記視点の前記時間軸上の位置に対応した撮像時刻に撮像された広範囲画像に切替えて描画する、請求項9に記載の情報処理装置。 - 前記第1撮像位置情報の前記撮像位置は、前記撮像装置の撮像時の回転角度と、前記撮像装置の絶対方位とに基づいて設定される、請求項4に記載の情報処理装置。
- 被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第1撮像位置情報とを取得することと、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第2撮像位置情報とを取得することと、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、
前記仮想空間の、前記第1撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第2撮像位置情報に基づいて前記広範囲画像も共に描画することと、
を含む、情報処理方法。 - コンピュータに、
被写体を撮像した被写体画像と、前記被写体画像の撮像位置を示す第1撮像位置情報とを取得することと、
前記被写体を撮像する際の視野よりも広範囲の視野で撮像された広範囲画像と、前記広範囲画像の撮像位置を示す第2撮像位置情報とを取得することと、
仮想空間内の基準点を中心とする円の円周方向に前記撮像位置に対応する方位軸を有する仮想空間を、画像化して表示させることと、
前記仮想空間の、前記第1撮像位置情報に基づいた描画位置に、前記被写体画像を描画する際に、前記第2撮像位置情報に基づいて前記広範囲画像も共に描画することと、
を実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011238477A JP6056127B2 (ja) | 2011-10-31 | 2011-10-31 | 情報処理装置、情報処理方法、及びプログラム |
CN201210405868.0A CN103093741A (zh) | 2011-10-31 | 2012-10-23 | 信息处理设备,信息处理方法和程序 |
US13/659,238 US20130106991A1 (en) | 2011-10-31 | 2012-10-24 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011238477A JP6056127B2 (ja) | 2011-10-31 | 2011-10-31 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013097094A true JP2013097094A (ja) | 2013-05-20 |
JP6056127B2 JP6056127B2 (ja) | 2017-01-11 |
Family
ID=48172006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011238477A Expired - Fee Related JP6056127B2 (ja) | 2011-10-31 | 2011-10-31 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130106991A1 (ja) |
JP (1) | JP6056127B2 (ja) |
CN (1) | CN103093741A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020022152A (ja) * | 2018-07-24 | 2020-02-06 | 株式会社リコー | 通信端末、プログラム、表示方法、記録媒体 |
JP2020507828A (ja) * | 2017-05-12 | 2020-03-12 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 車内支払いのための方法およびデバイス |
WO2021210657A1 (ja) * | 2020-04-16 | 2021-10-21 | 日本電気株式会社 | 表示制御装置、監視支援システム、表示制御方法および非一時的なコンピュータ可読媒体 |
US11182950B2 (en) | 2017-05-23 | 2021-11-23 | Sony Corporation | Information processing device and information processing method |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140362287A1 (en) * | 2013-06-10 | 2014-12-11 | Chien Fu CHUNG | Multi-directional positioning apparatus for mobile-phone camera shooting |
CN103685945A (zh) * | 2013-11-28 | 2014-03-26 | 宇龙计算机通信科技(深圳)有限公司 | 全景拍照的方法及其移动终端 |
JP6071866B2 (ja) | 2013-12-18 | 2017-02-01 | キヤノン株式会社 | 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム |
GB2526263B (en) * | 2014-05-08 | 2019-02-06 | Sony Interactive Entertainment Europe Ltd | Image capture method and apparatus |
CN104539877B (zh) * | 2014-10-31 | 2018-08-07 | 苏州市吴江区公安局 | 警用电子罗盘监控方法 |
JP7158307B2 (ja) * | 2019-02-07 | 2022-10-21 | シャープ株式会社 | 電子機器、制御プログラム、制御装置、および制御方法 |
CN111415386B (zh) * | 2020-03-16 | 2023-05-26 | 如你所视(北京)科技有限公司 | 拍摄设备位置提示方法、装置、存储介质及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008017036A (ja) * | 2006-07-04 | 2008-01-24 | Canon Inc | 撮像装置、撮像装置の制御方法、及びコンピュータプログラム |
JP2011186565A (ja) * | 2010-03-04 | 2011-09-22 | Sony Corp | 電子機器、画像出力方法及びプログラム |
JP2013054318A (ja) * | 2011-09-06 | 2013-03-21 | Nikon Corp | 画像表示装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6552744B2 (en) * | 1997-09-26 | 2003-04-22 | Roxio, Inc. | Virtual reality camera |
JP2004234455A (ja) * | 2003-01-31 | 2004-08-19 | Canon Inc | 情報処理方法および画像再生装置 |
JP2005149409A (ja) * | 2003-11-19 | 2005-06-09 | Canon Inc | 画像再生方法及び装置 |
EP2284814A1 (en) * | 2005-01-03 | 2011-02-16 | Vumii, Inc. | Systems and methods for night time surveillance |
EP1900196B1 (en) * | 2005-05-11 | 2012-03-21 | FUJIFILM Corporation | Image capturing apparatus, image capturing method and program |
JP2007066291A (ja) * | 2005-08-02 | 2007-03-15 | Seiko Epson Corp | 画像表示方法および画像表示装置、画像表示システム、サーバ、プログラム、記録媒体 |
US8077918B2 (en) * | 2008-08-28 | 2011-12-13 | Google, Inc. | Architectures and methods for creating and representing time-dependent imagery |
JP4962460B2 (ja) * | 2008-10-03 | 2012-06-27 | ソニー株式会社 | 撮像装置、撮像方法、およびプログラム |
US20120188333A1 (en) * | 2009-05-27 | 2012-07-26 | The Ohio State University | Spherical view point controller and method for navigating a network of sensors |
US9036001B2 (en) * | 2010-12-16 | 2015-05-19 | Massachusetts Institute Of Technology | Imaging system for immersive surveillance |
US9043325B1 (en) * | 2011-06-24 | 2015-05-26 | Google Inc. | Collecting useful user feedback about geographical entities |
-
2011
- 2011-10-31 JP JP2011238477A patent/JP6056127B2/ja not_active Expired - Fee Related
-
2012
- 2012-10-23 CN CN201210405868.0A patent/CN103093741A/zh active Pending
- 2012-10-24 US US13/659,238 patent/US20130106991A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008017036A (ja) * | 2006-07-04 | 2008-01-24 | Canon Inc | 撮像装置、撮像装置の制御方法、及びコンピュータプログラム |
JP2011186565A (ja) * | 2010-03-04 | 2011-09-22 | Sony Corp | 電子機器、画像出力方法及びプログラム |
JP2013054318A (ja) * | 2011-09-06 | 2013-03-21 | Nikon Corp | 画像表示装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020507828A (ja) * | 2017-05-12 | 2020-03-12 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | 車内支払いのための方法およびデバイス |
US10950063B2 (en) | 2017-05-12 | 2021-03-16 | Advanced New Technologies Co., Ltd. | Method and device for in-vehicle payment |
US11182950B2 (en) | 2017-05-23 | 2021-11-23 | Sony Corporation | Information processing device and information processing method |
JP2020022152A (ja) * | 2018-07-24 | 2020-02-06 | 株式会社リコー | 通信端末、プログラム、表示方法、記録媒体 |
JP7346830B2 (ja) | 2018-07-24 | 2023-09-20 | 株式会社リコー | 通信端末、プログラム、表示方法、記録媒体、システム |
WO2021210657A1 (ja) * | 2020-04-16 | 2021-10-21 | 日本電気株式会社 | 表示制御装置、監視支援システム、表示制御方法および非一時的なコンピュータ可読媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP6056127B2 (ja) | 2017-01-11 |
US20130106991A1 (en) | 2013-05-02 |
CN103093741A (zh) | 2013-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6056127B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6335395B2 (ja) | 画像処理装置及び撮像装置及び画像処理方法及びプログラム | |
US10250800B2 (en) | Computing device having an interactive method for sharing events | |
JP5477059B2 (ja) | 電子機器、画像出力方法及びプログラム | |
JP6106764B2 (ja) | 撮像装置及びタイムラプス撮像方法 | |
JP5978610B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6167703B2 (ja) | 表示制御装置、プログラム及び記録媒体 | |
WO2017088678A1 (zh) | 长曝光全景图像拍摄装置和方法 | |
CN105144687B (zh) | 图像处理装置、图像处理方法及计算机可读介质 | |
CN106973228B (zh) | 一种拍摄方法及电子设备 | |
JP7248304B2 (ja) | 画像表示方法、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム | |
US20120194636A1 (en) | Information processing apparatus, information processing method, program, and imaging apparatus | |
US20110298940A1 (en) | Method and apparatus for operating camera function in portable terminal | |
US20160050349A1 (en) | Panoramic video | |
CN103907341A (zh) | 图像生成装置和图像生成方法 | |
JP2009512381A (ja) | デジタル画像形成における動き歪みを低減させるための方法及び装置 | |
WO2014067422A1 (zh) | 一种采集图像数据的处理方法及装置 | |
US20140340535A1 (en) | Server, client terminal, system, and program | |
JP2013097773A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP5682170B2 (ja) | 表示制御装置、画像配信サーバ、表示端末、画像配信システム、及び、プログラム | |
CN101969499A (zh) | 具有图像重现功能的电子装置及方法 | |
JP2013012848A (ja) | カメラ装置及びその制御方法 | |
JP2012227717A (ja) | 表示装置、表示プログラムおよび表示方法 | |
JP6040336B1 (ja) | 撮影対象位置特定装置、撮影対象位置特定方法、及びプログラム | |
CN113612907A (zh) | 拍摄方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161121 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6056127 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |