JP2013115624A - 撮影装置、表示方法及びプログラム - Google Patents

撮影装置、表示方法及びプログラム Download PDF

Info

Publication number
JP2013115624A
JP2013115624A JP2011260275A JP2011260275A JP2013115624A JP 2013115624 A JP2013115624 A JP 2013115624A JP 2011260275 A JP2011260275 A JP 2011260275A JP 2011260275 A JP2011260275 A JP 2011260275A JP 2013115624 A JP2013115624 A JP 2013115624A
Authority
JP
Japan
Prior art keywords
information
photographer
subject
photographing
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011260275A
Other languages
English (en)
Other versions
JP2013115624A5 (ja
JP5858754B2 (ja
Inventor
Takeshi Kuroki
剛 黒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011260275A priority Critical patent/JP5858754B2/ja
Priority to CN2012105100276A priority patent/CN103227893A/zh
Priority to US13/687,361 priority patent/US9232194B2/en
Publication of JP2013115624A publication Critical patent/JP2013115624A/ja
Publication of JP2013115624A5 publication Critical patent/JP2013115624A5/ja
Priority to US14/956,159 priority patent/US9852343B2/en
Application granted granted Critical
Publication of JP5858754B2 publication Critical patent/JP5858754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00323Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a measuring, monitoring or signaling apparatus, e.g. for transmitting measured information to a central location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】撮影者に対して、その嗜好に合った近辺の新たな撮影対象を提示することを目的とする。
【解決手段】撮像手段と、撮影装置の位置情報を検出する位置検出手段と、位置検出手段で検出された位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報をディスプレイに表示する表示手段と、を有することによって課題を解決する。
【選択図】図3

Description

本発明は、撮影装置、表示方法及びプログラムに関する。
昨今、非特許文献1に記されるように、カメラ付き携帯電話やデジタルカメラで撮影した写真をインターネット上のウェブサービス上に登録し、不特定多数の人がそれを見ることができる、写真共有サービスが広く普及している。そのような写真共有サービスにおいては、写真に埋め込まれた位置情報を参照し、地図上に写真のサムネイルを表示できる機能を備えたものもある。
このように地図上で不特定多数の投稿者の写真を見られるようにすることで、その閲覧者は、地図上のどの地点でよく写真が撮られているのかを把握し、例えば自分の周囲にどのような撮影スポットがあるのかを知ることができる。
また、写真に対して、タグやメモ等といった、テキスト情報を関連づけることができる写真共有サービスも多い。このテキスト情報を利用して、撮影者や閲覧者は、その写真に何が写っているのかを記述することができる。
また、非特許文献2に記載されているように、画像認識技術により、写真に関連したテキスト情報を自動で入力する、という技術も研究されている。
特開2011−86261号公報
Y. Zheng, Z. Zha and T. Chua "Research and applications on georeferenced multimedia: a survey", Multimedia Tools and Applications, Volume 51, Number 1, Jan 2011. 柳井啓司, 一般物体認識の現状と今後, 情報処理学会論文誌コンピュータビジョンとイメージメディア, Vol.48, Nov 2007. L. Kennedy , M. Naaman , S. Ahern , R. Nair and T. Rattenbury "How Flickr helps us make sense of the world: Context and content in community−contributed media collections", Proc. ACM Multimedia, 2007.
上記の、地図上に投稿された写真を見ることができるウェブサービスによって、閲覧者は、地図上のどの位置が撮影者の人気を集めているかを知ることができる。しかしながら、このようなサービスで人気を集める箇所は、万人に興味を持たれる一般的な名所旧跡である。例えば鉄道趣味やカワセミ等特定の動物の撮影等、撮影者が特殊な嗜好を持つ場合には、このようなウェブサービスを利用しても、撮影者の嗜好に合った撮影スポットを見つけることはできない。
本発明はこのような問題点に鑑みなされたもので、撮影者に対して、その嗜好に合った近辺の新たな撮影対象を提示することを目的とする。
そこで、本発明は、撮像手段と、撮影装置の位置情報を検出する位置検出手段と、前記位置検出手段で検出された位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報をディスプレイに表示する表示手段と、を有する。
本発明によれば、撮影者に対して、その嗜好に合った近辺の新たな撮影対象を提示することができる。
撮影装置の外観を説明する図である。 撮影装置のハードウェア構成を示した概略図である。 実施形態1の撮影装置の機能的な構成を示した図である。 実施形態1の情報交換サーバの機能的な構成を示した図である。 撮影装置が、撮影者が撮影した後に自動的に行う処理の流れを図示したフローチャートである。 頻度分布表示画面の一例を示した図である。 頻度マップの一例を示す図である。 所望被写体を表示した一例を示す図である。 所望被写体の表示の処理の一例を示すフローチャートである。 実施形態2の撮影装置の機能的な構成を示した図である。 実施形態2の情報交換サーバの機能的な構成を示した図である。 実施形態3の撮影装置の機能的な構成を示した図である。 実施形態3の情報交換サーバの機能的な構成を示した図である。 実施形態4の撮影装置の機能的な構成を示した図である。 実施形態4の情報交換サーバの機能的な構成を示した図である。 実施形態5の撮影装置の機能的な構成を示した図である。
以下、本発明の実施形態について図面に基づいて説明する。
<実施形態1>
本実施形態では、撮影者に対して、表示画面を通して撮影者の近辺にある撮影対象を提示する撮影装置に関して説明する。本実施形態の撮影者は、撮影装置を携行する際、付近の撮影対象の提案を受け付ける撮影装置本体のモード設定にしている場合に、自身の周囲にある撮影対象の情報を受信し、撮影装置の表示画面で確認することができる。
本実施形態の撮影装置は、GPSを備えて自身の位置を測定して撮影した写真データに位置情報を記録する機能を持ち、また無線通信機能を備えて、撮影した写真データを情報交換サーバに送信する機能を持つ。情報交換サーバは、複数の撮影者の持つ撮影装置からの写真データを受信する。また、情報交換サーバは、後述するように、撮影者の撮影装置に付近の撮影対象候補の情報を送信する。
図1は、本実施形態における撮影装置の外観を説明する図である。本実施形態における撮影装置は、例えば、コンパクトデジタルカメラであり、図1の例では、後述する液晶ディスプレイ906に表示画面301が表示されている。
図2は、本実施形態における撮影装置のハードウェア構成を示した概略図である。図において、光学系901は、光学ズームレンズやシャッターを有する。CCD902は、被写体像を電気的な画像信号に変換する。A/Dコンバータ903は、CCDからの出力をデジタル信号に変換する。903から911までの各要素は、それぞれデータバス904に接続されている。デジタル信号処理部905は、A/Dコンバータ903からの画像信号に対して所定の信号処理を施す。液晶ディスプレイ906は、薄型の視覚表示装置である。メモリ907は、画像を一時的に記憶したり、本撮影装置で必要となる様々なデータを読み書きしたりする。無線通信モジュール908は、撮影装置からのデータを無線送信したり、受信したデータをデータバス904に流したりする。スイッチ類909は、撮影装置本体に付属するスイッチやボタンの類であり、撮影者の操作を受け付ける。CPU910は、撮影装置全体の制御を行う。HDD911は、撮影した画像等を記録する。GPSモジュール912は、GPS測位機能を有し、撮影装置の所在する位置を表す緯度・経度及び高度データを算出する。
液晶ディスプレイ906は、ディスプレイの一例である。
CPU910がメモリ907やHDD911等に記憶されているプログラムに基づき処理を実行することによって、後述する撮影装置の機能構成の全て又は一部、フローチャートの各ステップの処理の全て又は一部等が実現される。
なお、情報交換サーバは、ハードウェア構成としてCPUやHDD等を有する。そして、CPUがHDD等に記憶されているプログラムに基づき処理を実行することによって、情報交換サーバの機能構成の全て又は一部、情報交換サーバのフローチャートの各ステップの処理の全て又は一部等が実現される。
図3は、本実施形態における撮影装置の機能的な構成を示した図である。以下、図面を参照しながら、本実施形態における撮影装置の機能的な構成を説明する。
撮像部101は、光学系901、CCD902、A/Dコンバータ903、デジタル信号処理部905から構成される。撮像部101は、画像信号を制御部105に出力する。
表示部102は、撮影した画像及び、撮影候補情報の表示を行う。表示部102は液晶ディスプレイ906によって構成される。
位置検出部103は、撮影装置が地球上のどの位置にあるかの情報を検出する。位置検出部103は、撮影装置に内蔵されるGPSモジュール912によって構成される。
無線通信部104は、撮影した写真データを、公衆無線を通して情報交換サーバに送信する。また、無線通信部104は、情報交換サーバからのデータを受信する。無線通信部104は、無線通信モジュール908によって構成される。
制御部105は、撮影装置内の各種の制御処理を行う。制御部105は、CPU910等によって構成される。
画像認識部106は、撮像部101の撮影した画像中の物体の認識を行う。画像認識部106は、CPU910等によって構成される。
撮影傾向記録部107は、撮影者が撮影する被写体の撮影傾向を記録する。撮影傾向記録部107は、CPU910等によって構成される。撮影傾向はHDD911に記録される。
所望被写体登録部108は、撮影者の所望する被写体を登録する。所望被写体登録部108は、CPU910等によって構成される。撮影者の所望する被写体はHDD911に記録される。
以上、図面を用いて、本実施形態における撮影装置の構成を説明した。
図4は、本実施形態における情報交換サーバの構成を示した図である。以下、図面を参照しながら、本実施形態における情報交換サーバの構成を説明する。本実施形態における情報交換サーバは、一般的なコンピュータによって構成される。
通信部201は、複数の撮影装置から公衆無線を通してインターネットに送信された写真データを受信する。
データ蓄積部202は、通信部201で受信した写真データを蓄積する。また、データ蓄積部202は地図情報を内蔵する。データ蓄積部202は、CPU等によって構成され、データはHDDに蓄積される。
制御部203は、情報交換サーバの各種制御を行う。制御部203は、情報交換サーバのCPU等によって構成される。
撮影候補決定部204は、情報交換サーバに無線を通して接続する撮影装置に対して、その撮影装置から送信される所望被写体情報及び現在の位置情報に基づいて、撮影装置を持つ所持者の近辺の撮影候補を決定する。撮影候補決定部204はCPU等によって構成される。所望被写体情報は、撮影者望被写体情報の一例である。
以上、図面を用いて、本実施形態における情報交換サーバの構成を説明した。
図5は、本実施形態における撮影装置が、撮影者が撮影した後に自動的に行う処理の流れを図示したフローチャートである。以下、図面を用いて、本実施形態において、撮影装置が撮影後に行う処理の流れに付いて説明する。
撮影者が撮影を行うと、S601において、撮影画像に何が撮影されているかの画像認識が行われる。画像認識は、画像認識部106において特許文献1に示されるような手法によって実行され、撮影画像中にどのような人や物体、建物、動植物等が含まれているのかが判定される。S601が終了すると、処理は、S602に進む。
S602では、撮影装置を利用する撮影者の撮影傾向(撮影傾向情報)の更新が行われる。撮影傾向の更新は撮影傾向記録部107で実行される。この過程においては、画像認識部106で認識された結果が蓄積され、撮影者が該当する撮影装置においてどのような「もの」を撮影してきたのかの履歴が記録される。この履歴は、撮影してきた「もの」ごとの頻度の分布として記録され、この頻度分布は撮影者の操作により、撮影装置の液晶ディスプレイ906に表示することができる。図6は、頻度分布表示画面の一例を示した図である。図6中の401は、「もの」ごとの撮影される頻度を棒グラフで表現したものであり、402は、撮影された「もの」をテキストで表現したものである。表示画面に一度に表示されるのは「もの」の一部であり、撮影者は表示部分をスクロールさせることで、自らの撮影した「もの」全部の撮影頻度を確認することができる。S602が終了すると、処理は、S603に進む。
S603では、撮影者がどのような被写体を所望しているかの情報である、所望被写体情報の更新が行われる。所望被写体情報の更新は、所望被写体登録部108において実行される。
ここで、撮影者がどのような被写体を所望するかの判定は、次の手順によって行う。まず、基本的な考え方として、撮影者がよく撮影する被写体を、所望被写体登録部108は、撮影者は被写体として欲しているものと判定する。また、撮影者がよく被写体とするものであっても、「男性」「女性」「緑」等とあまりに一般的で誰でも撮影を行うものは、所望被写体登録部108は、撮影者が所望する被写体としては判定しないものとする。
上記の考え方を満たす方法として、本実施形態では、TF−IDF法を用いる。TF−IDF法は情報検索や文章要約等の分野で用いられる手法であるが、本実施形態では、TF(Term Frequency)を次の式で計算する。
tを、ある特定の「もの」、例えば「狛犬」として、
tf(t)=撮影者の全ての撮影写真中のtの出現回数/撮影者の全ての撮影写真中の認識された「もの」の総数
また、IDF(Inverse Document Frequency)を、次の式で計算する。
idf(t)=1+ln(情報交換サーバを利用する全ての撮影者の数/全ての撮影者の中でtを撮影したことがある撮影者の数)
tf(t)とidf(t)を掛け合わせた結果が、ある一定値以上に高いものは、基本的な考え方を満たした、撮影者の欲する被写体、即ち所望被写体であるものとして考えることができる。なお、この計算の際、IDFの値は情報交換サーバと通信して得るものとしてもよいし、或いは、撮影装置内に予め特定の時点でのIDFが記録されているものとしてよい。また、IDFは、地域による被写体の傾向差を考慮し、国や地域等を場所で限定して異なるIDFを用意し、撮影者の属する地域のIDFを用いるものとしてよい。
なお、本実施形態では、TF−IDF法を用いて所望被写体を決定するものとしたが、異なる所望被写体決定手法を用いるものとしてよい。以下、他に用いることのできる所望被写体決定手法の一例である、タイプ判定法について述べる。
カメラを用いて撮影をする者の中には、「鉄道好き」「動物好き」「山歩き好き」等、典型的な嗜好を持った撮影者たちが存在する。タイプ判定法では、このような典型的な嗜好について、それぞれアドホックな判定式を用意する。例えば、撮影者を「鉄道好き」と判別する基準は、例えば「電車が含まれてなおかつ人物の含まれない写真を100枚に1枚以上撮影している」というものである。
このようにアドホックな判定式を予め撮影装置内に記録しておき、所望被写体登録部108によってそれぞれの判定式を判定することで、撮影装置を持つ撮影者がどのタイプに属し、どのような被写体を所望するのかを判断することができる。撮影者は、複数のタイプに属するものと判定されてもよいし、或いはどのタイプにも属さないと判定されるものとしてよい。
以上、S603でどのように所望被写体情報を更新するかについて説明した。S603が終了すると、処理は、S604に進む。
S604では、制御部105によって、撮影し記録された写真データに対して、情報の付加が行われる。この過程では、写真データに、位置検出部103の検出した緯度・経度・高度情報、更に画像認識部106で認識された被写体の情報がテキスト情報で付加される。S604が終了すると、処理は、S605に進む。
S605では、緯度・経度・高度情報、テキスト情報を付加した写真データ(画像データ)を、無線通信部104が情報交換サーバに向けて無線送信する。
以上、図面を用いて、本実施形態において、撮影装置が撮影後に行う処理の流れに付いて説明した。
なお、S601においては、画像認識を用いて自動的に撮影したものの情報を抽出するものとしたが、これは必ずしも画像認識を用いる必要はなく、撮影者のテキスト入力により実行されるものとしてよい。また、S603の所望被写体更新においては、必ずしも自動的に所望被写体を決定せずに、撮影者のテキスト入力や選択肢からの入力により所望被写体が決定されるものとしてよい。
次に、撮影装置から送信された写真データが、情報交換サーバに送られてどのように処理されるかについて説明する。情報交換サーバは、複数の撮影者から送信された写真をデータ蓄積部202に蓄積する。情報交換サーバは、蓄積された写真データと地図データとを用いて、図7に示されるような頻度マップを作成する。図7中において、501は、地図である。502は、地図上でよく撮影されている被写体をテキストで表したものである。テキストの書体の大きさは、より大きな書体であれば、それだけ多く撮影されている、ということを示している。頻度マップは、情報交換サーバにインターネットを介して接続するコンピュータに提示される。なお、本実施形態においては、頻度マップの作成は、非特許文献3に記されている方法で行うが、その他の同等の結果が得られる方法を用いるものとしてよい。
本実施形態においては、撮影者が撮影装置を携行し、付近の撮影対象の提案を受け付ける設定にしている場合で、撮影者周囲に所望被写体がある場合に、撮影装置に図8のような表示がなされる。701は、近辺の地図である。702は現在の位置である。703は、所望被写体の存在する位置である。704は、所望被写体の内容と被写体までの距離とを表したテキストである。
このような付近の所望被写体の表示の処理を、図9のフローチャートを用いて説明する。この処理は、撮影装置と情報交換サーバとの双方の協調動作によって実現される。
図9の付近被写体提示処理は、撮影者が付近の撮影対象の提案を受け付ける設定にしている場合、時間を置いて定期的に実行される。本実施形態においては、図9の処理は、図示していない撮影装置内部の加速度計が加速度の変化を測定している際、即ち撮影装置が移動していると推定される場合に、1分に1度の頻度で実行される。
付近被写体提示処理が開始されると、S801において、位置検出部103で現在位置の測定が行われる。測定した位置情報は、所望被写体登録部108に登録されている所望被写体情報と合わせて、無線通信部104を通して情報交換サーバに送信される。S801が終了すると、処理は、S802に進む。
S802では、情報交換サーバにおいて、付近の被写体候補の検索が行われる。付近被写体候補の検索は、撮影候補決定部204によって実行される。本実施形態においては、撮影候補決定部204は、撮影者から送信されてきた位置近辺の図7のごとくなる頻度マップ上において、撮影者の現在位置を中心とする半径1kmの範囲内に、撮影者の所望する被写体が存在するかどうかを検索する。S802が終了すると、処理は、S803に進む。
撮影者の現在位置を中心とする半径1kmの範囲内は、探索範囲内の一例である。
S803では、制御部203が、S802の結果、所望被写体が検索により得られたかどうかを判定する。得られていればS804に進み、得られていなければ図9に示される処理は終了する。
S804では、情報交換サーバが撮影装置に対して、得られた被写体候補情報を送信する。それを受けて、撮影装置は、図8のような付近の被写体候補の表示を行い、終了する。なお、この際、図8に表示される地図は、情報交換サーバから送信されるものであるが、撮影装置に地図データを内蔵し、そのデータを用いて地図を描画するものとしてもよい。
以上、S802においては、撮影者の近辺1kmの範囲で被写体が検索されたが、この範囲は、撮影者がどのように移動していると判断されるかによって変更するものとしてよい。例えば、撮影者が車で移動していると検出される位置情報から推定される場合には、例えば検索範囲をより広めて10kmとしてよい。或いは、位置情報の移動履歴から、撮影者が電車に乗っていると推定される場合には、進行方向の路線上にある地域で検索を行うものとしてよい。
また、S802の過程において、撮影者が被写体を所望する度合いや被写体候補までの距離に応じて、推薦の度合いを変化させるものとしてよい。この手法により、撮影者が強く所望し、また近辺に被写体候補があればあるほど、撮影者への推薦の度合いを強くすることができる。これを実現する方法としては、pをS802で検索されたスポットであるとして、その推薦度R(p)を次の式で計算する方法がある。
R(p)=所望度D(p)/(現在値からR(p)までの距離の二乗)
ここで、所望度D(p)とは、pに存在する被写体候補を撮影者がどの程度所望しているかを示す指数であり、S603の過程において決定することができる。このようにしてR(p)を計算し、複数の被写体候補が検索された場合に、S804において高いR(p)を持った被写体候補を優先して表示することで、撮影者に対して近辺の強い所望を持つ被写体候補を優先して推薦することができる。
上記S802の過程において、検索範囲を空間で指定するだけでなく、時間範囲で指定できるようにするものとしてもよい。例えば、1年以内に情報交換サーバに送信されてきた写真データのみを検索に反映させることで、古いデータを除くことができ、より新しい情報を使って被写体候補を検索することができる。また、景勝地等では、同じ季節の写真データのみを検索に反映させることで、紅葉等で季節によって景観が異なる場合にも対応した被写体候補を提示することができる。また、直近30分等を検索範囲にすることで、例えば近辺で最近芸能人が撮影された場合にその情報を受け取る、等ということが可能になる。
以上、本実施形態において、撮影装置と情報交換サーバがどのような構成をし、どのように動作するかについて説明した。本実施形態による撮影装置を用いることで、撮影者は、自らの嗜好に合った付近の撮影候補を、撮影装置を通して知ることができる。本実施形態においては、画像認識を撮影装置上で実施する構成としたが、これに限らず、情報交換サーバ上に画像認識部を備え、画像認識を情報交換サーバで行い、その結果を撮影装置に送信するものとしてよい。また、撮影傾向記録部及び所望被写体登録部を撮影装置ではなく、情報交換サーバに備える構成としてもよい。
<実施形態2>
本実施形態では、実施形態1では撮影装置に備えられ、動作していた画像認識部106が、撮影装置ではなく情報交換サーバに備えられ、実行される場合について説明する。図10Aは本実施形態の撮影装置の構成を、図10Bは情報交換サーバの構成を示している図である。実施形態1と異なり、画像認識部106は情報交換サーバに備えられるが、各部の働きは実施形態1と同様である。
本実施形態では、撮影後の動作が実施形態1と異なる。実施形態1ではS601からS605まで順々に実行されていくのに対して、本実施形態では撮影後の動作が、S604→S605→S601→S602→S603の順で実行される。本実施形態ではS601において、画像認識が情報交換サーバ中の画像認識部106で実行され、認識結果が通信部201を通して撮影装置に送信される。
その他の部分については、実施形態1と同様であるため、説明を省略する。
<実施形態3>
本実施形態では、実施形態1では撮影装置に備えられ、実行されていた画像認識部106、撮影傾向記録部107及び所望被写体登録部108が、撮影装置ではなく情報交換サーバに備えられ、動作する場合について説明する。図11Aは本実施形態の撮影装置の構成を、図11Bは情報交換サーバの構成を示している図である。実施形態1と異なり、画像認識部106、撮影傾向記録部107及び所望被写体登録部108は情報交換サーバに備えられるが、各部の働きは実施形態1と同様である。撮影傾向記録部107及び所望被写体登録部108は、情報交換サーバに接続する撮影装置の撮影者(利用者)それぞれの撮影傾向及び所望被写体を撮影者ごとに区別して記録することができる。
本実施形態では、撮影後の動作が実施形態1と異なる。実施形態1ではS601からS605まで順々に実行されていくのに対して、本実施形態では撮影後の動作が、S604→S605→S601→S602→S603の順で実行される。また、本実施形態ではS601、S602及びS603は情報交換サーバで実行され、撮影傾向及び所望被写体の情報は、撮影装置を識別するID情報と共に情報交換サーバ側に保存される。
本実施形態では、所望被写体の表示処理が実施形態1と異なる。S801からS804までの処理の流れは実施形態1と同様であるが、本実施形態ではS801において、位置情報と、撮影装置を識別するID情報と、が情報交換サーバに送信される。更に、S802において、撮影装置を識別するID情報から、それに対応する所望被写体情報が取り出され、付近の被写体候補の有無が判定される。
その他の部分については、実施形態1と同様であるため、説明を省略する。
<実施形態4>
本実施形態では、実施形態1では撮影装置に備えられ、実行されていた撮影傾向記録部107及び所望被写体登録部108が、撮影装置ではなく情報交換サーバに備えられ、動作する場合について説明する。図12Aは本実施形態の撮影装置の構成を、図12Bは情報交換サーバの構成を示している。実施形態1と異なり、撮影傾向記録部107及び所望被写体登録部108は情報交換サーバに備えられるが、各部の働きは実施形態1と同様である。撮影傾向記録部107及び所望被写体登録部108は、情報交換サーバに接続する撮影装置の撮影者それぞれの撮影傾向及び所望被写体を撮影者ごとに区別して記録することができる。
本実施形態では、撮影後の動作が実施形態1と異なる。実施形態1ではS601からS605まで順々に実行されていくのに対して、本実施形態では撮影後の動作が、S601→S604→S605→S602→S603の順で実行される。また、本実施形態ではS602及びS603は、情報交換サーバで実行され、撮影傾向及び所望被写体の情報は、撮影装置を識別するID情報と共に情報交換サーバ側に保存される。
本実施形態では、所望被写体の表示処理が実施形態1と異なる。S801からS804までの処理の流れは実施形態1と同様であるが、本実施形態ではS801において、位置情報と、撮影装置を識別するID情報が情報交換サーバに送信される。更に、S802において、撮影装置を識別するID情報から、それに対応する所望被写体情報が取り出され、付近の被写体候補の有無が判定される。
その他の部分については、実施形態1と同様であるため、説明を省略する。
<実施形態5>
本実施形態では、情報交換サーバの機能が全て撮影装置内に内蔵される構成について説明する。図13は、本実施形態の撮影装置の構成を示した図である。実施形態1と異なり、本実施形態では、情報交換サーバの機能が全て撮影装置内に統合されている。
本実施形態では、撮影後の動作が実施形態1と異なり、S605のデータ送信の過程が実行されない。また、本実施形態では、所望被写体の表示処理が実施形態1と異なり、S801の過程が実行されない。以上の過程においてデータの送受信は行われず、全てが撮影装置の内部で実行される。
それぞれの撮影装置は、内部にデータ蓄積部を持ち、自身の撮影した画像のみならず、他者の撮影した画像をも保持する。蓄積されたデータの更新は、同様の他の撮影装置との断続的なP2P通信によってなされる。
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
以上、上述した実施形態によれば、撮影者に対して、その嗜好に合った近辺の新たな撮影対象を提示することができる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
907 メモリ、908 無線通信モジュール、910 CPU、911 HDD、912GPSモジュール

Claims (13)

  1. 撮像手段と、
    撮影装置の位置情報を検出する位置検出手段と、
    前記位置検出手段で検出された位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報をディスプレイに表示する表示手段と、
    を有する撮影装置。
  2. 前記位置検出手段で検出された位置情報を、無線通信を介してサーバ装置に送信する送信手段と、
    前記位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報を、無線通信を介して前記サーバ装置より受信する受信手段と、
    を更に有し、
    前記表示手段は、受信した前記撮影候補情報を前記ディスプレイに表示する請求項1記載の撮影装置。
  3. 前記位置検出手段で検出された位置情報と、撮影者が望む被写体の撮影者望被写体情報と、を、無線通信を介してサーバ装置に送信する送信手段と、
    前記位置情報と前記撮影者望被写体情報とに基づいて決定された、前記位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報を、無線通信を介して前記サーバ装置より受信する受信手段と、
    を更に有し、
    前記表示手段は、受信した前記撮影候補情報を前記ディスプレイに表示する請求項1記載の撮影装置。
  4. 前記撮像手段による撮影の撮影傾向情報を記録する記録手段と、
    前記記録手段により記録された撮影傾向情報に基づいて撮影者が望む被写体の撮影者望被写体情報を判断し、登録する登録手段と、
    を更に有し、
    前記送信手段は、前記位置情報と、前記登録手段で登録された前記撮影者望被写体情報とを、無線通信を介してサーバ装置に送信し、
    前記受信手段は、前記位置情報と前記撮影者望被写体情報とに基づいて作成された画像データと、地図データと、に基づき作成された頻度マップより決定された前記位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報を、無線通信を介して前記サーバ装置より受信する請求項3記載の撮影装置。
  5. 前記位置検出手段で検出された位置情報に基づいて、前記位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報をする決定手段を更に有し、
    前記表示手段は、前記決定手段により決定された前記撮影候補情報を前記ディスプレイに表示する請求項1記載の撮影装置。
  6. 前記位置検出手段で検出された位置情報と、撮影者が望む被写体の撮影者望被写体情報と、に基づいて、前記位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報をする決定手段を更に有し、
    前記表示手段は、前記決定手段により決定された前記撮影候補情報を前記ディスプレイに表示する請求項1記載の撮影装置。
  7. 前記撮像手段による撮影の撮影傾向情報を記録する記録手段と、
    前記記録手段により記録された撮影傾向情報に基づいて撮影者が望む被写体の撮影者望被写体情報を判断し、登録する登録手段と、
    前記撮像手段で撮影された画像に前記位置検出手段で検出された位置情報と前記画像に写っている被写体の被写体情報とを付加して画像データとして蓄積し、画像データと地図データとに基づいて頻度マップを作成する蓄積手段と、
    を更に有し、
    前記決定手段は、前記位置情報と、前記撮影者望被写体情報と、に基づいて、前記頻度マップを検索し、前記位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報を決定する請求項6記載の撮影装置。
  8. 撮像手段を有する撮影装置における表示方法であって、
    撮影装置の位置情報を検出する位置検出ステップと、
    前記位置検出ステップで検出された位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報をディスプレイに表示する表示ステップと、
    を含む表示方法。
  9. 前記位置検出ステップで検出された位置情報を、無線通信を介してサーバ装置に送信する送信ステップと、
    前記位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報を、無線通信を介して前記サーバ装置より受信する受信ステップと、
    を更に含み、
    前記表示ステップでは、前記位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報を、無線通信を介して前記サーバ装置より受信すると、受信した前記撮影候補情報を前記ディスプレイに表示する請求項8記載の表示方法。
  10. 前記位置検出ステップで検出された位置情報に基づいて、前記位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報をする決定ステップを更に含み、
    前記表示ステップでは、前記決定ステップにより決定された前記撮影候補情報を前記ディスプレイに表示する請求項8記載の表示方法。
  11. 撮像手段を有するコンピュータに、
    コンピュータの位置情報を検出する位置検出ステップと、
    前記位置検出ステップで検出された位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報をディスプレイに表示する表示ステップと、
    を実行させるためのプログラム。
  12. 前記位置検出ステップで検出された位置情報を、無線通信を介してサーバ装置に送信する送信ステップと、
    前記位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報を、無線通信を介して前記サーバ装置より受信する受信ステップと、
    を更に実行させ、
    前記表示ステップでは、受信した前記撮影候補情報を前記ディスプレイに表示する請求項11記載のプログラム。
  13. 前記位置検出ステップで検出された位置情報に基づいて、前記位置情報に関する探索範囲内の撮影者が撮りたい被写体の撮影候補情報をする決定ステップを更に実行させ、
    前記表示ステップでは、前記決定ステップにより決定された前記撮影候補情報を前記ディスプレイに表示する請求項11記載のプログラム。
JP2011260275A 2011-11-29 2011-11-29 撮影装置、表示方法及びプログラム Active JP5858754B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011260275A JP5858754B2 (ja) 2011-11-29 2011-11-29 撮影装置、表示方法及びプログラム
CN2012105100276A CN103227893A (zh) 2011-11-29 2012-11-28 摄像装置及显示方法
US13/687,361 US9232194B2 (en) 2011-11-29 2012-11-28 Imaging apparatus, display method, and storage medium for presenting a candidate object information to a photographer
US14/956,159 US9852343B2 (en) 2011-11-29 2015-12-01 Imaging apparatus, display method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011260275A JP5858754B2 (ja) 2011-11-29 2011-11-29 撮影装置、表示方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2013115624A true JP2013115624A (ja) 2013-06-10
JP2013115624A5 JP2013115624A5 (ja) 2015-01-15
JP5858754B2 JP5858754B2 (ja) 2016-02-10

Family

ID=48466509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011260275A Active JP5858754B2 (ja) 2011-11-29 2011-11-29 撮影装置、表示方法及びプログラム

Country Status (3)

Country Link
US (2) US9232194B2 (ja)
JP (1) JP5858754B2 (ja)
CN (1) CN103227893A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052765A (ja) * 2018-09-27 2020-04-02 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101867051B1 (ko) * 2011-12-16 2018-06-14 삼성전자주식회사 촬상장치, 촬상 구도 제공 방법 및 컴퓨터 판독가능 기록매체
US10931769B2 (en) * 2014-11-12 2021-02-23 Stringr Inc. Location-based method and system for requesting and obtaining images
JP6268498B2 (ja) * 2015-08-27 2018-01-31 パナソニックIpマネジメント株式会社 警備システム及び人物画像表示方法
KR102479495B1 (ko) * 2015-09-07 2022-12-21 엘지전자 주식회사 이동단말기 및 그의 동작 방법
JP6791962B2 (ja) * 2016-07-01 2020-11-25 マクセル株式会社 撮像装置
JP6875196B2 (ja) * 2017-05-26 2021-05-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd モバイルプラットフォーム、飛行体、支持装置、携帯端末、撮像補助方法、プログラム、及び記録媒体
CN112586001B (zh) * 2018-12-17 2024-05-24 谷歌有限责任公司 用于确定由地理环境应用使用的位置的方法及系统
GB2596082B (en) * 2020-06-16 2022-06-08 Exaactly Ltd Systems and methods for capturing image data for mapping

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4240739B2 (ja) * 2000-03-21 2009-03-18 富士フイルム株式会社 電子カメラ及び情報入手システム
JP3833486B2 (ja) 2000-04-19 2006-10-11 富士写真フイルム株式会社 撮像装置
JP4348503B2 (ja) * 2000-12-21 2009-10-21 三菱電機株式会社 ナビゲーション装置
US7184611B2 (en) * 2000-12-26 2007-02-27 Sony Corporation Data recording apparatus and method, data reproducing apparatus and method, data recording and reproducing apparatus and method, and map image data format
JP4608791B2 (ja) * 2001-03-15 2011-01-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US20040145660A1 (en) * 2001-06-06 2004-07-29 Yosuke Kusaka Electronic imaging apparatus and electronic imaging system
AU2002354181A1 (en) * 2001-12-03 2003-06-17 Nikon Corporation Electronic apparatus, electronic camera, electronic device, image display apparatus, and image transmission system
JP2005045398A (ja) 2003-07-24 2005-02-17 Canon Inc 撮影支援方法、撮影支援装置及び撮影装置
US8665325B2 (en) * 2003-10-08 2014-03-04 Qwest Communications International Inc. Systems and methods for location based image telegraphy
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US8301159B2 (en) * 2004-12-31 2012-10-30 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US7580952B2 (en) * 2005-02-28 2009-08-25 Microsoft Corporation Automatic digital image grouping using criteria based on image metadata and spatial information
US7782359B2 (en) * 2005-10-26 2010-08-24 Olympus Corporation Image capture apparatus and method
US8160400B2 (en) * 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
WO2007077613A1 (ja) * 2005-12-28 2007-07-12 Fujitsu Limited ナビゲーション情報表示システム、ナビゲーション情報表示方法、およびそのためのプログラム
US20090048860A1 (en) * 2006-05-08 2009-02-19 Corbis Corporation Providing a rating for digital media based on reviews and customer behavior
KR100775123B1 (ko) * 2006-09-15 2007-11-08 삼성전자주식회사 영상 객체 인덱싱 방법 및 이를 이용한 영상 객체 인덱싱시스템
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
EP2154481A4 (en) * 2007-05-31 2014-09-10 Panasonic Ip Corp America PICTURE RECORDING DEVICE, SERVER FOR PROVIDING ADDITIONAL INFORMATION AND SYSTEM FOR FILING SUPPLEMENTARY INFORMATION
US9582937B2 (en) * 2008-01-02 2017-02-28 Nokia Technologies Oy Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US8717411B2 (en) * 2008-02-05 2014-05-06 Olympus Imaging Corp. Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
US9786164B2 (en) * 2008-05-23 2017-10-10 Leverage Information Systems, Inc. Automated camera response in a surveillance architecture
JP2010045436A (ja) 2008-08-08 2010-02-25 Olympus Imaging Corp カメラ及び撮影システム
JP5173666B2 (ja) 2008-08-08 2013-04-03 オリンパスイメージング株式会社 カメラ
TWI661723B (zh) * 2008-08-08 2019-06-01 日商尼康股份有限公司 攜帶資訊機器及資訊取得系統
JP4582428B2 (ja) * 2008-08-29 2010-11-17 ソニー株式会社 地名登録装置及び地名登録方法
US20100130236A1 (en) * 2008-11-26 2010-05-27 Nokia Corporation Location assisted word completion
JP5489493B2 (ja) 2009-03-06 2014-05-14 トヨタ自動車株式会社 情報検索装置
JP5287465B2 (ja) 2009-04-21 2013-09-11 ソニー株式会社 撮像装置、撮影設定方法及びそのプログラム
JP2011010133A (ja) 2009-06-26 2011-01-13 Hitachi Ltd 撮影装置及び情報共有システム
US20110029635A1 (en) * 2009-07-30 2011-02-03 Shkurko Eugene I Image capture device with artistic template design
US8589069B1 (en) * 2009-11-12 2013-11-19 Google Inc. Enhanced identification of interesting points-of-interest
US8340438B2 (en) * 2009-12-17 2012-12-25 Deere & Company Automated tagging for landmark identification
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
JP2011188054A (ja) 2010-03-05 2011-09-22 Panasonic Corp 位置情報利用可能な画像撮影装置、画像撮影方法およびプログラム
US9064020B2 (en) 2010-04-28 2015-06-23 Rakuten, Inc. Information providing device, information providing processing program, recording medium having information providing processing program recorded thereon, and information providing method
KR101643869B1 (ko) * 2010-05-06 2016-07-29 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US8478516B2 (en) * 2010-05-17 2013-07-02 Fujitsu Limited Method and system for providing navigation assistance on a mobile device
US8326327B2 (en) * 2010-08-27 2012-12-04 Research In Motion Limited System and method for determining action spot locations relative to the location of a mobile device
KR101720774B1 (ko) * 2010-11-24 2017-03-28 삼성전자주식회사 디지털 촬영 장치 및 그의 사진 제공 방법
KR101739378B1 (ko) * 2010-12-23 2017-05-24 삼성전자주식회사 디지털 영상 촬영 장치 및 이의 제어 방법
US8488011B2 (en) * 2011-02-08 2013-07-16 Longsand Limited System to augment a visual data stream based on a combination of geographical and visual information
US9055276B2 (en) * 2011-07-29 2015-06-09 Apple Inc. Camera having processing customized for identified persons
US20140289328A1 (en) * 2012-12-03 2014-09-25 No Plan B Productions, LLC Occasion-based social network

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052765A (ja) * 2018-09-27 2020-04-02 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP7099925B2 (ja) 2018-09-27 2022-07-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2022128493A (ja) * 2018-09-27 2022-09-01 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US11594027B2 (en) 2018-09-27 2023-02-28 Fujifilm Corporation Image processing device, image processing method, program, and recording medium
JP7343660B2 (ja) 2018-09-27 2023-09-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
US9232194B2 (en) 2016-01-05
US9852343B2 (en) 2017-12-26
US20130135464A1 (en) 2013-05-30
US20160086036A1 (en) 2016-03-24
JP5858754B2 (ja) 2016-02-10
CN103227893A (zh) 2013-07-31

Similar Documents

Publication Publication Date Title
JP5858754B2 (ja) 撮影装置、表示方法及びプログラム
US9990585B2 (en) Information processing apparatus, information processing method and computer-readable storage medium for generating course information
US8264570B2 (en) Location name registration apparatus and location name registration method
WO2016002285A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20120226752A1 (en) Method and apparatus for sharing media based on social network in communication system
JP5334159B2 (ja) 電子地図上での写真表示方法及びシステム
JP2014160471A (ja) ナビゲータとしてのモバイルイメージング装置
JP5229791B2 (ja) 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体
US9600932B2 (en) Three dimensional navigation among photos
CN105956091B (zh) 扩展信息获取方法及装置
TW201118339A (en) Road image processing method and system of moving camera
WO2016002284A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP5288445B2 (ja) 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体
US20150156460A1 (en) System and method of filling in gaps in image data
JP2012190244A (ja) 情報提供方法及び情報提供装置
JP2009134333A (ja) デジタル写真共有システム装置
JP2008085408A (ja) 撮影画像への情報付加システム
KR100956114B1 (ko) 촬상장치를 이용한 지역 정보 제공 장치 및 방법
JP2006287741A (ja) ナビゲーション装置・撮影装置の連携システムおよびナビゲーション装置
JP2014106695A (ja) 情報処理装置
JP2022012290A (ja) 情報処理装置、情報処理方法、及び、システム
KR20200020431A (ko) 자연공원 관광서비스 관리서버
JP7359074B2 (ja) 情報処理装置、情報処理方法、及びシステム
KR102228366B1 (ko) 여행 정보 관리를 위한 장치 및 방법
KR20120107671A (ko) 전자 기기, 교통 관련 컨텐츠 제공 방법 및 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151215

R151 Written notification of patent or utility model registration

Ref document number: 5858754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151