JP2021060630A - 中間サーバ装置、情報処理装置、通信方法 - Google Patents

中間サーバ装置、情報処理装置、通信方法 Download PDF

Info

Publication number
JP2021060630A
JP2021060630A JP2019182452A JP2019182452A JP2021060630A JP 2021060630 A JP2021060630 A JP 2021060630A JP 2019182452 A JP2019182452 A JP 2019182452A JP 2019182452 A JP2019182452 A JP 2019182452A JP 2021060630 A JP2021060630 A JP 2021060630A
Authority
JP
Japan
Prior art keywords
subject
metadata
camera
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019182452A
Other languages
English (en)
Other versions
JP7379059B2 (ja
Inventor
里奈 羅
Rina Ra
里奈 羅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019182452A priority Critical patent/JP7379059B2/ja
Priority to US17/033,030 priority patent/US11775579B2/en
Publication of JP2021060630A publication Critical patent/JP2021060630A/ja
Application granted granted Critical
Publication of JP7379059B2 publication Critical patent/JP7379059B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/567—Integrating service provisioning from a plurality of service providers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】 複数のクラウドサービスでの被写体認識の結果を統合する場合、被写体認識結果を出力するまでの時間を要するクラウドサービスがあると、カメラでメタデータを利用可能になるまでに時間がかかる。【解決手段】 画像の被写体認識を行う複数のサーバ装置に、クライアント端末から取得した画像を送信して被写体認識を要求する中間サーバ装置であって、各サーバ装置から被写体認識の結果を受信する受信手段と、受信した被写体認識の結果に基づいて、画像のメタデータに付与する被写体情報を前記クライアント端末に送信する送信手段と、制御手段と、を備え、制御手段は、送信手段が、被写体認識の結果ごとに被写体情報を送信するか、被写体認識の結果を統合して被写体情報を送信するか、を切り替えるように制御することを特徴とする中間サーバ装置である。【選択図】 図１

Description

本発明は、画像の被写体認識を行うサーバ装置と通信を行い、被写体認識の結果に基づいて画像のメタデータに被写体情報を付与する技術に関する。
近年、機械学習を中心としたＡＩ技術の開発が盛んに行われている。例えば、カメラで撮影した画像に含まれる被写体の情報（例えば、人物名、物体名、性別、年齢など）を自動で認識する技術の開発が進められている。このような被写体認識の技術を個人・企業向けに提供するクラウドサービスが複数存在する。
被写体認識を行うクラウドサービスを利用して、カメラで撮影した画像にメタデータとして被写体情報を付与することが考えられる。しかし、被写体認識を行うクラウドサービスは各社特徴があり、同じ画像に対して被写体認識させたとしても、必ずしも同じ被写体認識結果が返ってくるとは限らない。例えば、「リンゴ、バナナ、ブドウ」が写った画像に対して、Ａ社では「リンゴ、バナナ」と返すが、Ｂ社では「バナナ、ブドウ」と返すことがある。
特許文献１は、複数のサービスから得られる情報をまとめて１つの情報としてクライアントに送信する技術を開示している。これを、上述したような被写体認識を行うクラウドサービスを利用した被写体情報のメタデータ付与に適応と、Ａ社およびＢ社の結果を論理和で統合することで、「バナナ、リンゴ、ブドウ」という信頼性の高い被写体認識結果を得ることが出来る。
特開２０１４−２０６７９４号公報
しかしながら、複数のクラウドサービスでの被写体認識の結果を統合する場合、全てのクラウドサービスから被写体認識結果を受信するまでメタデータを付与できないという課題がある。そのため、被写体認識結果を出力するまでの時間が長いクラウドサービスがあると、カメラでメタデータを利用可能になるまでに時間がかかる。一方、クラウドサービスから被写体認識結果を受信する度にメタデータの付与を行えば、カメラの処理負荷（ＣＰＵ／メモリ使用率、メディアアクセス、電力消費など）が高くなる。
そこで本発明では、被写体認識を行うクラウドサービスを複数用いてメタデータの付与を行う場合、ユーザの設定や機器の状態に応じて、メタデータ付与を行うタイミングを制御する。
本発明の１実施態様は、画像の被写体認識を行う複数のサーバ装置に、クライアント端末から取得した画像を送信して被写体認識を要求する中間サーバ装置であって、各サーバ装置から被写体認識の結果を受信する受信手段と、受信した被写体認識の結果に基づいて、画像のメタデータに付与する被写体情報を前記クライアント端末に送信する送信手段と、制御手段と、を備え、制御手段は、送信手段が、被写体認識の結果ごとに被写体情報を送信するか、被写体認識の結果を統合して被写体情報を送信するか、を切り替えるように制御することを特徴とする中間サーバ装置である。
本発明によれば、被写体認識を行うクラウドサービスを複数利用した場合に、全ての認識結果が揃ってからメタデータを付与することでカメラの処理負荷低減を優先するか、得られた認識結果に基づき順次メタデータを付与することでメタデータを利用可能になるまでの時間短縮を優先するかを、状況に応じて切り替える。
第１の実施形態における中間サーバ、カメラ、画像認識サーバの各ブロック図である。 第１の実施形態におけるカメラにて表示されるＧＵＩの一例を示す概念図である。 第１の実施形態における中間サーバ、カメラ、画像認識サーバのメタデータ付与手順の概要を説明するためのシーケンス図である。 第１の実施形態における中間サーバの動作を示すフローチャートである。 第１の実施形態におけるカメラの動作を示すフローチャートである。 第２の実施形態におけるカメラ、画像認識サーバの各ブロック図である。 第２の実施形態におけるカメラ、画像認識サーバのメタデータ付与手順の概要を説明するためのシーケンス図である。 第２の実施形態におけるカメラの動作を示すフローチャートである。
以下、本発明の実施形態を、図面を参照しながら詳細に説明する。
（第１の実施形態）
＜各装置の構成＞
図１は、第１の実施形態におけるシステム全体の構成を表すブロック図である。本実施形態におけるシステムは、中間サーバＡ１００、クライアント端末であるカメラＢ１００、画像認識のクラウドサービスを提供する画像認識サーバＣ１００、インターネットＤ１００、によって構成される。図１には、画像認識サーバは１つだけ記載されているが、中間サーバＡ１００が通信する画像認識サーバは２つ以上の複数である。
まず、中間サーバＡ１００について説明する。
サーバ装置はそれぞれ単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などで接続されている。
制御部Ａ１０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、サーバ装置Ａ１００全体を制御する。制御部Ａ１０１は、所定の条件に従い、画像認識サーバＣ１００からの画像認識結果をカメラＢ１００に順次送信するかまとめて送信するかを決定するプログラムを含む。なお、制御部Ａ１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）Ａ１０２は、書き換え可能な不揮発性メモリであり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などのプログラムや外部装置から供給されるプログラムを保持する。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）Ａ１０３は、揮発性メモリであり、プログラムやデータを一時記憶する。
記憶部Ａ１０４は、中間サーバＡ１００に設置されたＨＤＤ（ハードディスクドライブ）、フラッシュメモリで構成されるＳＳＤ（ソリッドステートドライブ）、ハードディスクとフラッシュメモリを併用したハイブリッドドライブやメモリカードなどである。
操作部Ａ１０５は、ユーザの操作を受け付け、入力された情報を制御部Ａ１０１に通知する処理部である。
通信部Ａ１０６は、有線通信を実現するための通信ユニットである。通信部Ａ１０６は、有線通信のためのハードウェアと有線信号を処理するための通信コントローラから構成され、ＩＥＥＥ８０２．３系規格に従った有線通信を実現する。制御部Ａ１０１は、通信部Ａ１０６を制御し、インターネットＤ１００を介して、カメラＢ１００や画像認識サーバＣ１００との通信を実現する。
内部バスＡ１０７はＡ１０１〜Ａ１０６の各ブロックを通信可能に接続する。
以上が、中間サーバＡ１００の説明である。
次に、カメラＢ１００について説明する。
制御部Ｂ１０１は、例えば一つまたは複数のＣＰＵやＭＰＵやＧＰＵ等のプロセッサであり、カメラＢ１００全体を制御する。また、制御部Ｂ１０１は、撮像部Ｂ１０６から取り込んだ静止画に対し画像処理を施す。なお、制御部Ｂ１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。
ＲＯＭ Ｂ１０２は、書き換え可能な不揮発性メモリであり、ＯＳなどのプログラムや外部装置から供給されるプログラムを保持する。
ＲＡＭ Ｂ１０３は、揮発性メモリであり、プログラムや撮影された画像データ、通信データなどを一時記憶する。
記憶部Ｂ１０４は、デジタルカメラＢ１００に着脱可能なメモリカードである。記憶部Ｂ１０４は撮像部Ｂ１０６によって生成された画像データを記憶する。
操作部Ｂ１０５は、ユーザの操作を受け付け、入力された情報を制御部Ｂ１０１に通知する処理部である。操作部Ｂ１０５は、タッチパネル、ボタンスイッチ、十字キー等によって構成される。
撮像部Ｂ１０６は、撮像レンズ、絞り、シャッター、ＣＭＯＳセンサ等の撮像素子、およびＡ／Ｄ変換器等で構成され、撮像レンズを介して入力されるアナログ信号をデジタルデータに変換して画像データを取得する。
表示部Ｂ１０７は、ユーザに機器の動作状態など、各種のメッセージを通知するための処理部である。表示部Ｂ１０７は、液晶パネルやＬＥＤ等によって構成される。
通信部Ｂ１０８は、無線通信を実現するための通信ユニットである。通信部Ｂ１０８は、無線通信のためのアンテナと無線信号を処理するための通信コントローラから構成される。通信部Ｂ１０８は、例えば第５世代移動通信システム規格に従った無線通信を実現する。制御部Ｂ１０１は、通信部Ｂ１０８を制御し、インターネットＤ１００を介して、中間サーバＡ１００との通信を実現する。
内部バスＢ１０９はＢ１０１〜Ｂ１０８の各ブロックを通信可能に接続する。
以上が、カメラＢ１００の説明である。
次に、画像認識サーバＣ１００について説明する。
制御部Ｃ１０１は、例えば一つまたは複数のＣＰＵやＭＰＵやＧＰＵ等のプロセッサであり、画像認識サーバＣ１００全体を制御する。なお、制御部Ｃ１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。
また制御部Ｃ１０１は、通信部Ｃ１０６によって受信した画像データを元に画像認識を行う。
ＲＯＭ Ｃ１０２は、書き換え可能な不揮発性メモリであり、ＯＳなどのプログラムや外部装置から供給されるプログラムを保持する。
ＲＡＭ Ｃ１０３は、揮発性メモリであり、プログラムや画像データ、通信データなどを一時記憶する。
記憶部Ｃ１０４は、画像認識サーバＣ１００に設置されたＨＤＤ（ハードディスクドライブ）、フラッシュメモリで構成されるＳＳＤ（ソリッドステートドライブ）、ハードディスクとフラッシュメモリを併用したハイブリッドドライブやメモリカードなどである。操作部Ｃ１０５は、ユーザの操作を受け付け、入力された情報を制御部Ｃ１０１に通知する処理部である。
通信部Ｃ１０６は、有線通信を実現するための通信ユニットである。通信部Ｃ１０６は、有線通信のためのハードウェアと有線信号を処理するための通信コントローラから構成され、ＩＥＥＥ８０２．３系規格に従った有線通信を実現する。制御部Ｃ１０１は、通信部Ｃ１０６を制御し、インターネットＤ１００を介して、中間サーバＡ１００との通信を実現する。
内部バスＣ１０７はＣ１０１〜Ｃ１０６の各ブロックを通信可能に接続する。
図２は、本実施形態におけるシステムを実現するために、カメラＢ１００に表示されるＧＵＩの一例である。制御部Ｂ１０１は、ユーザの操作に応じて、サムネイル一覧画面２００ａおよび検索画面２００ｂ、検索結果画面２００ｃを、表示部Ｂ１０７に表示する。
サムネイル一覧画面２００ａは、カメラＢ１００が記憶する撮影画像のサムネイル一覧である。制御部Ｂ１０１は、操作部Ｂ１０５を介して、撮影画像のサムネイル一覧を表示する旨の操作を受け付けたと判定した場合に、サムネイル一覧画面２００ａを表示部Ｂ１０７に表示する。
メタデータ付与完了表示２０１ａは、その表示を付与した画像について、メタデータ付与が完了したことを示すアイコンである。
メタデータ付与未完了表示２０２ａは、例えば、進捗インジケータやプログレスバー、リングカーソルなどであり、その表示を付与した画像について、メタデータ付与が完了していないことを示すアイコンである。
メタデータ付与進捗表示２０３ａは、例えば、パーセンテージであり、その表示を付与した画像について、メタデータ付与の進捗状況を示すものである。
検索画面２００ｂは、撮影画像に付与されたメタデータを用いて、カメラＢ１００が記憶する撮影画像から所望の画像を画像検索するための画面である。
メタデータ種類選択タブ２０１ｂは、検索可能なメタデータの種類を示すものである。図２の場合、メタデータ種類選択タブ２０１ｂとして、被写体の人物、被写体の動作、被写体の物体、被写体の感情が用意されている。なお、これは一例であって、他の項目手もよい。制御部Ｂ１０１は、操作部Ｂ１０５を介してメタデータ種類選択タブ２０１ｂの押下を受け付けると、押下されたタブに対応するメタデータ選択項目２０２ｂを表示部Ｂ１０７に表示する。
メタデータ選択項目２０２ｂは、検索に用いるメタデータの項目を示すものである。メタデータ未選択表示２０３ｂは、検索に用いるためのメタデータ項目が未選択状態であることを示すものである。メタデータ選択表示２０４ｂは、検索に用いるためのメタデータ項目が選択状態であることを示すものである。検索開始ボタン２０５ｂは、検索開始するためのボタンである。検索キャンセルボタン２０６ｂは、検索をキャンセルするためのボタンである。
検索結果画面２００ｃは、メタデータを用いた検索結果として検索条件に該当する画像のサムネイル一覧を表示する画面である。制御部Ｂ１０１は、操作部Ｂ１０５を介して、検索開始ボタン２０５ｂが押下されたと判定した場合に、記憶する撮影画像から検索を行って、検索結果画面２００ｃを表示部Ｂ１０７に表示する。
検索結果画面２００ｃは、メタデータ付与を行っている途中の画像も表示してもよく、メタデータ付与未完了表示２０１ｃは、サムネイル画像に対するメタデータ付与が未完了であることを示している。
＜システムの概要＞
図３を参照して、本実施形態におけるシステムの処理シーケンスを説明する。画像認識サーバＣ３１０と画像認識サーバＣ３２０は、図１に記載する画像認識サーバＣ１００と同様の構成を有する。図３は、一例として、中間サーバＡ１００が、画像認識サーバＣ３１０と画像認識サーバＣ３２０から画像認識結果を受信するまでの各時間について、前者より後者の方が長い場合の処理シーケンスを示すものである。
Ｓ３０１において、カメラＢ１００は操作部Ｂ１０５を介して撮影要求を受け付ける。
Ｓ３０２において、カメラＢ１００は撮像部Ｂ１０６により静止画を撮影する。
Ｓ３０３において、カメラＢ１００はＳ３０２で撮影した静止画からサムネイル表示用の縮小画像を生成する。
Ｓ３０４において、カメラＢ１００は中間サーバＡ１００に画像認識要求を送信する。カメラＢ１００は、前記画像認識要求に、Ｓ３０３で生成した縮小画像とカメラの状態情報（カメラＢ１００のバッテリー残量やカメラＢ１００のユーザ設定情報、カメラＢ１００の動作状態に関する情報等）を含める。
ユーザ設定情報は、カメラＢ１００のユーザが設定した情報であって、中間サーバＡ１００が画像認識応答を順次送信するか、あるいは画像認識結果をまとめて返すか、に関する情報を含む。例えば、カメラＢ１００のユーザがメタデータの利用を急ぐ場合は、画像認識応答を順次送信するようカメラに設定することが考えられる。一方、画像認識応答が順次送信されるとカメラＢ１００と中間サーバＡ１００の間の通信の回数が増えることでカメラの消費電力が増える可能性がある。そこで、ユーザがカメラの消費電力を抑えるために画像認識結果をまとめて返すようカメラに設定することも考えられる。このように、ユーザが指定して画像認識応答の送信方法を切り替えることが可能である。
カメラの動作状態に関する情報は、カメラが撮影動作中であるか否かの情報を含む。カメラが撮影動作中である場合に画像認識応答が順次送信されるとカメラＢ１００と中間サーバＡ１００の間の通信の回数が増えることで、カメラＢ１００の撮影動作の処理性能が低下することが考えられる。従って、カメラＢ１００が撮影動作中は画像認識結果をまとめて返す方が望ましい。このように、カメラＢ１００の動作状態に応じて画像認識応答の送信方法を切り替えることが可能である。
Ｓ３０５において、中間サーバＡ１００は、画像認識サーバＣ３１０および画像認識サーバＣ３２０に画像認識要求をそれぞれ送信する。中間サーバＡ１００は、前記画像認識要求にＳ３０４で受信した縮小画像を含める。
Ｓ３０６において、画像認識サーバＣ３１０および画像認識サーバＣ３２０は、Ｓ３０５で受信した画像認識要求に含まれる縮小画像に基づいて、画像内の人物、動作、物体、感情などの画像認識を行う。
Ｓ３０７において、カメラＢ１００は操作部Ｂ１０５を介して撮影画像のサムネイル一覧表示要求を受け付ける。
Ｓ３０８において、カメラＢ１００は表示部Ｂ１０７にサムネイル一覧画面２００ａを表示する。カメラＢ１００は、Ｓ３０４で画像認識要求を送信した画像に対して、メタデータ付与未完了表示２０２ａおよびメタデータ付与進捗表示２０３ａを重畳表示する。この時のメタデータ付与進捗表示２０３ａは、０％である。
Ｓ３０９において、画像認識サーバＣ３１０はＳ３０６の画像認識を完了すると、中間サーバＡ１００に画像認識応答を送信する。画像認識サーバＣ３１０は前記画像認識応答に、被写体（人物名、動作名、物体名など）および被写体ごとの信頼度を含める。
中間サーバＡ１００はＳ３０９で画像認識応答を受信すると、中間サーバＡ１００がカメラＢ１００に画像認識応答を順次送信する（以下、順次応答）か、画像認識結果をまとめて返す（以下、一括応答）か、を判定する。
中間サーバＡ１００は、下記のいずれかに合致した場合は順次応答すると判定する。
・Ｓ３０４で受信した画像認識要求に含まれるカメラのバッテリー残量が所定値より多い場合
・Ｓ３０４で受信した画像認識要求に含まれるカメラのユーザ設定が順次応答を要求するものである場合
・Ｓ３０４で受信した画像認識要求に含まれるカメラの動作状態に関する情報が、カメラが撮影動作中ではないことを示す場合
・中間サーバＡ１００の処理負荷（ＣＰＵ／メモリ使用率など）が所定値より低い場合
・順次応答フラグが有効である場合（詳細はＳ３２３およびＳ３３０の説明で述べる）
一方、中間サーバＡ１００は、上記のいずれにも合致しない場合は、順次応答せずに一括応答すると判定する。
Ｓ３１０において、中間サーバＡ１００はカメラＢ１００に画像認識応答を送信する。中間サーバＡ１００は前記画像認識応答に、Ｓ３０９で受信した被写体および被写体ごとの信頼度、メタデータ付与進捗情報（Ｓ３０５で送信した画像認識要求の総数のうち画像認識応答が返ってきた数をパーセンテージで示したもの）を含める。この時の前記メタデータ付与進捗情報は５０％である。
Ｓ３１１において、カメラＢ１００はＳ３０２で撮影したオリジナルの撮影画像に対して、Ｓ３１０で受信した画像認識応答の情報（被写体および被写体ごとの信頼度、メタデータ付与進捗情報）をメタデータとして関連付けて記憶部Ｂ１０４に記憶する（メタデータ付与）。
Ｓ３１２において、カメラＢ１００はＳ３１１のメタデータ付与に応じて、Ｓ３０８で表示部Ｂ１０７に表示したサムネイル一覧画面２００ａを更新する。カメラＢ１００は、Ｓ３０８で表示したサムネイル一覧画面２００ａ中のメタデータ付与進捗表示２０３ａの値をＳ３１１で付与したメタデータに含まれるメタデータ付与進捗情報の値（５０％）に更新し表示する。
Ｓ３１３において、中間サーバＡ１００はＳ３０９で受信した画像認識応答の情報をＲＡＭ Ａ１０３に一時保存する。
Ｓ３１４において、画像認識サーバＣ３２０はＳ３０６の画像認識を完了すると、中間サーバＡ１００に画像認識応答を送信する。画像認識サーバＣ３２０は前記画像認識応答に、被写体および被写体ごとの信頼度を含める。
Ｓ３１５において、中間サーバＡ１００はＳ３１３で一時保存した情報とＳ３１４で受信した画像認識応答の情報を統合（マージ）する。中間サーバＡ１００は、Ｓ３１３で一時保存した情報とＳ３１４で受信した画像認識応答の情報で被写体が異なる場合、各情報の論理和をマージ結果とする。例えば、Ｓ３１３で一時保存した情報が「こうじ」（信頼度８５％）、Ｓ３１４で受信した情報が「たけし」（信頼度６０％）であった場合、中間サーバＡ１００は「こうじ（信頼度８５％）かつ、たけし（信頼度６０％）」をマージ結果とする。中間サーバＡ１００は、Ｓ３１３で一時保存した情報とＳ３１４で受信した画像認識応答の情報で被写体が同一で信頼度が異なる場合、各情報の前記被写体と各信頼度の平均値をマージ結果とする。例えば、Ｓ３１３で一時保存した情報がこうじ（信頼度８５％）、Ｓ３１４で受信した情報がこうじ（信頼度９０％）であった場合、中間サーバＡ１００は「こうじ（信頼度８７．５％）」をマージ結果とする。
Ｓ３１６において、中間サーバＡ１００はカメラＢ１００に画像認識応答を送信する。中間サーバＡ１００は前記画像認識応答に、Ｓ３１５でマージした情報に含まれる被写体および被写体ごとの信頼度、メタデータ付与進捗情報を含める。この時の前記メタデータ付与進捗情報は１００％である。
Ｓ３１７において、カメラＢ１００はＳ３０２で撮影したオリジナルの撮影画像に対して、Ｓ３１５で受信した画像認識応答の情報（被写体および被写体ごとの信頼度、メタデータ付与進捗情報）を被写体情報のメタデータとして関連付けて記憶部Ｂ１０４に記憶する（メタデータ更新）。
Ｓ３１８において、カメラＢ１００はＳ３１７のメタデータ更新に応じて、Ｓ３０８で表示部Ｂ１０７に表示したサムネイル一覧画面２００ａを更新する。カメラＢ１００は、Ｓ３１７で更新したメタデータに含まれるメタデータ付与進捗情報が１００％であるため、Ｓ３０８で表示したサムネイル一覧画面２００ａ中のメタデータ付与未完了表示２０２ａとメタデータ付与進捗表示２０３ａを削除し、メタデータ付与完了表示２０１ａを重畳表示する。
Ｓ３１９において、中間サーバＡ１００はＳ３１３で一時保存した情報を削除する。
次に、カメラＢ１００が検索開始要求を受け付けた場合について説明する。なお、先述と同様の処理については、同一の番号を付与して説明を省略する。
Ｓ３２０において、カメラＢ１００は操作部Ｂ１０５を介して検索要求を受け付ける。
Ｓ３２１において、カメラＢ１００は表示部Ｂ１０７に検索画面２００ｂを表示する。
Ｓ３２２において、カメラＢ１００は中間サーバＡ１００に順次応答要求を送信する。
Ｓ３２３において、中間サーバＡ１００は順次応答フラグを有効化し、ＲＡＭ Ａ１０３に記憶する。
Ｓ３２４において、カメラＢ１００は操作部Ｂ１０５を介して検索開始要求を受け付ける。カメラＢ１００は操作部Ｂ１０５を介して検索開始ボタン２０５ｂが押下されたことを検索開始要求と判断する。
Ｓ３２５において、カメラＢ１００はＳ３２４で選択されたメタデータ項目に関連付けられた画像を記憶部Ｂ１０４から検索し、表示部Ｂ１０７に検索結果画面２００ｃとして表示する。
Ｓ３２６において、カメラＢ１００はＳ３１１で付与したメタデータに含まれる被写体がＳ３２４で検索条件として選択されたメタデータに合致している場合、検索結果画面２００ｃを更新する。カメラＢ１００は、検索結果画面２００ＣにＳ３０２で撮影したオリジナル画像を追加して表示し、メタデータ付与未完了表示２０２ａおよびメタデータ付与進捗表示２０３ａを重畳表示する。この時の前記メタデータ付与進捗表示２０３ａは５０％である。
Ｓ３２７において、カメラＢ１００は、Ｓ３１７で更新したメタデータに含まれる被写体がＳ３２４で検索条件として選択されたメタデータに合致している場合、検索結果画面２００ｃを更新する。カメラＢ１００は、Ｓ３１７で更新したメタデータに含まれるメタデータ付与進捗情報が１００％であるため、Ｓ３２６で表示した検索結果画面２００ｃ中のメタデータ付与未完了表示２０２ａとメタデータ付与進捗表示２０３ａを削除し、メタデータ付与完了表示２０１ａを重畳表示する。
次に、カメラＢ１００が検索開始要求を受け付けた後に検索中止操作を受け付けた場合について説明する。なお、先述と同様の処理については、同一の番号を付与して説明を省略する。
Ｓ３２８において、カメラＢ１００は操作部Ｂ１０５を介して検索中止要求を受け付ける。カメラＢ１００は操作部Ｂ１０５を介して検索キャンセルボタン２０６ｂが押下されたことを検索中止要求と判断する。
Ｓ３２９において、カメラＢ１００は中間サーバＡ１００に順次応答中止要求を送信する。
Ｓ３３０において、中間サーバＡ１００は順次応答フラグを無効化し、ＲＡＭ Ａ１０３に記憶する。
以上のように、本実施形態の中間サーバＡ１００は、ユーザの設定や機器の状態に応じて、順次メタデータを付与するか、全ての認識結果が揃ってから統合してメタデータを付与するかを切り替える。これにより、各装置の処理負荷が低い、あるいは、ユーザがメタデータ利用を急ぐ場合にはメタデータを利用可能になるまでの時間短縮を優先し、そうでない場合には各装置の処理負荷低減を優先することができる。
＜各装置の動作＞
上記の動作を実現するための中間サーバＡ１００およびカメラＢ１００の詳細な動作について、図４および図５を参照しながら説明する。
図４は、本実施形態の中間サーバＡ１００の動作を示すフローチャートである。なお、本フローチャートに示す処理は、制御部Ａ１０１が入力信号やプログラムに従い、中間サーバＡ１００の各部を制御することにより実現される。
Ｓ４０１において、制御部Ａ１０１は通信部Ａ１０６を介してカメラＢ１００から画像認識要求を受信したか判定する。制御部Ａ１０１は、前記画像認識要求を受信したと判定した場合、Ｓ４０２の処理に移行し、そうでない場合Ｓ４０１の処理を繰り返す。
Ｓ４０２において、制御部Ａ１０１は通信部Ａ１０６を介して１台以上の画像認識サーバＣ１００に画像認識要求を送信する。制御部Ａ１０１は、前記画像認識要求にＳ４０１で受信した縮小画像を含める。本ステップは図３におけるＳ３０５の処理に相当する。
Ｓ４０３において、制御部Ａ１０１は通信部Ａ１０６を介して画像認識サーバＣ１００から画像認識応答を受信したか判定する。制御部Ａ１０１は、前記画像認識応答を受信したと判定した場合Ｓ４０４の処理に移行し、そうでない場合Ｓ４０９処理に移行する。
Ｓ４０４において、制御部Ａ１０１は後述のＳ４１４で記憶した画像認識応答が存在するか判定する。制御部Ａ１０１は、前記画像認識応答が存在したと判定した場合Ｓ４０４の処理に移行し、そうでない場合Ｓ４０６の処理に移行する。
Ｓ４０５において、制御部Ａ１０１は後述のＳ４１４で一時保存した情報とＳ４０３で受信した画像認識結果の情報を統合（マージ）する。制御部Ａ１０１は、Ｓ４１４で一時保存した情報とＳ４０３で受信した画像認識応答の情報で被写体が異なる場合、各情報の論理和をマージ結果とする。例えば、Ｓ４１４で一時保存した情報がこうじ（信頼度８５％）、Ｓ４０３で受信した情報がたけし（信頼度６０％）であった場合、制御部Ａ１０１は「こうじ（信頼度８５％）かつ、たけし（信頼度６０％）」をマージ結果とする。制御部Ａ１０１は、Ｓ４１４で一時保存した情報とＳ４０３で受信した画像認識応答の情報で被写体が同一で信頼度が異なる場合、各情報の前記被写体と各信頼度の平均値をマージ結果とする。例えば、Ｓ４１４で一時保存した情報がこうじ（信頼度８５％）、Ｓ４０３で受信した情報がこうじ（信頼度９０％）であった場合、制御部Ａ１０１は「こうじ（信頼度８７．５％）」をマージ結果とする。本ステップは図３におけるＳ３１４の処理に相当する。
Ｓ４０６において、制御部Ａ１０１はＳ４０３において全ての画像認識サーバＣ１００から画像認識応答を受信したか判定する。制御部Ａ１０１は、Ｓ４０３において全ての画像認識サーバＣ１００から画像認識応答を受信したと判定した場合Ｓ４０７の処理に移行し、そうでない場合Ｓ４１３の処理に移行する。
Ｓ４０７において、制御部Ａ１０１は通信部Ａ１０６を介してカメラＢ１００に画像認識応答を送信する。制御部Ａ１０１は、前記画像認識応答にＳ４０３で受信した画像認識応答の情報もしくはＳ４０５でマージした情報を含める。本ステップは図３におけるＳ３１０およびＳ３１６の処理に相当する。
Ｓ４０８において、制御部Ａ１０１は後述のＳ４１４でＲＡＭ Ａ１０３に一時保存した情報を削除する。本ステップは図３におけるＳ３１９の処理に相当する。
Ｓ４０９において、制御部Ａ１０１は通信部Ａ１０６を介してカメラＢ１００から順次応答要求を受信したか判定する。制御部Ａ１０１は前記順次応答要求を受信したと判定した場合Ｓ４１０の処理に移行し、そうでない場合Ｓ４１１の処理に移行する。
Ｓ４１０において、制御部Ａ１０１は順次応答フラグを有効化しＲＡＭ Ａ１０３に記憶する。本ステップは図３におけるＳ３２３の処理に相当する。
Ｓ４１１において、制御部Ａ１０１は通信部Ａ１０６を介してカメラＢ１００から順次応答中止要求を受信したか判定する。制御部Ａ１０１は前記順次応答中止要求を受信したと判定した場合Ｓ４１２の処理に移行し、そうでない場合Ｓ４０３の処理に移行する。
Ｓ４１２において、制御部Ａ１０１は順次応答フラグを無効化しＲＡＭ Ａ１０３に記憶する。本ステップは図３におけるＳ３３０の処理に相当する。
Ｓ４１３において、制御部Ａ１０１は通信部Ａ１０６を介してカメラＢ１００に順次応答するか一括応答するか判定する。制御部Ａ１０１は順次応答すると判定した場合Ｓ４１４の処理に移行し、そうでない場合Ｓ４１５の処理に移行する。制御部Ａ１０１は、下記のいずれかに合致した場合に順次応答すると判定する。
・Ｓ４０１で受信した画像認識要求に含まれるカメラのバッテリー残量が所定値より多い場合
・Ｓ４０１で受信した画像認識要求に含まれるカメラのユーザ設定が順次応答を要求するものである場合
・Ｓ４０１で受信した画像認識要求に含まれるカメラの動作状態に関する情報が、カメラが撮影動作中ではないことを示す場合
・中間サーバＡ１００の処理負荷（ＣＰＵ／メモリ使用率など）が所定値より低い場合
・順次応答フラグが有効である場合
一方、制御部Ａ１０１は、上記のいずれにも合致しない場合は、順次応答せずに一括応答すると判定する。Ｓ４１４において、制御部Ａ１０１はＳ４０３で受信した画像認識応答の情報もしくはＳ４０５でマージした情報をＲＡＭ Ａ１０３に記憶する。本ステップは図３におけるＳ３１３の処理に相当する。
以上が、本実施形態の中間サーバＡ１００の動作を示すフローチャートの説明である。
以上のように、本実施形態の中間サーバＡ１００は、ユーザの設定や機器の状態に応じて、順次メタデータを付与するか、全ての認識結果が揃ってから統合してメタデータを付与するかを切り替える。これにより、各装置の処理負荷が低い、あるいは、ユーザがメタデータ利用を急ぐ場合にはメタデータを利用可能になるまでの時間短縮を優先し、そうでない場合には各装置の処理負荷低減を優先することができる。
図５は、本実施形態のカメラＢ１００の動作を示すフローチャートである。なお、本フローチャートに示す処理は、カメラＢ１００に制御部Ｂ１０１が入力信号やプログラムに従い、カメラＢ１００の各部を制御することにより実現される。
Ｓ５０１において、制御部Ｂ１０１は操作部Ｂ１０５を介して撮影操作を受け付けたか判定する。制御部Ｂ１０１は撮影操作を受け付けたと判定した場合Ｓ５０２の処理に移行し、そうでない場合Ｓ５０５の処理に移行する。
Ｓ５０２において、制御部Ｂ１０１は撮像部Ｂ１０６により静止画を撮影する。本ステップは図３におけるＳ３０２の処理に相当する。
Ｓ５０３において、制御部Ｂ１０１は前記撮影処理で得た画像データから縮小画像を生成する。本ステップは図３におけるＳ３０３の処理に相当する。
Ｓ５０４において、制御部Ｂ１０１は通信部Ｂ１０８を介して中間サーバＡ１００に画像認識要求を送信する。制御部Ｂ１０１は、前記画像認識要求にＳ５０３で生成した縮小画像とカメラの状態情報を含める。本ステップは図３におけるＳ３０４の処理に相当する。
Ｓ５０５において、制御部Ｂ１０１は通信部Ｂ１０８を介して中間サーバＡ１００から画像認識応答を受信したか判定する。制御部Ｂ１０１は前記画像認識応答を受信したと判定した場合Ｓ５０６の処理に移行し、そうでない場合Ｓ５１２の処理に移行する。
Ｓ５０６において、制御部Ｂ１０１はＳ５０２で撮影したオリジナル画像に対して、Ｓ５０５で受信した画像認識応答の情報（被写体および被写体ごとの信頼度、メタデータ付与進捗情報）をメタデータとして関連付けて記憶部Ｂ１０４に記憶する。本ステップは図３におけるＳ３１１およびＳ３１７の処理に相当する。
Ｓ５０７において、制御部Ｂ１０１は表示部Ｂ１０７にサムネイル一覧画面２００ａを表示中であるか判定する。制御部Ｂ１０１は、表示部Ｂ１０７にサムネイル一覧画面２００ａを表示中であると判定した場合Ｓ５０８の処理に移行し、そうでない場合Ｓ５２０の処理に移行する。
Ｓ５０８において、制御部Ｂ１０１は表示部Ｂ１０７に表示したサムネイル一覧画面２００ａを更新する。制御部Ｂ１０１はＳ５０６で付与したメタデータに含まれるメタデータ付与進捗情報が１００％であった場合、サムネイル一覧画面２００ａ中のメタデータ付与未完了表示２０２ａおよびメタデータ付与進捗表示２０３ａを削除し、メタデータ付与完了表示２０１ａを重畳表示する。制御部Ｂ１０１は、Ｓ５０６で付与したメタデータに含まれるメタデータ付与進捗情報が１００％でない場合、サムネイル一覧画面２００ａ中のメタデータ付与進捗表示２０３ａの値を前記メタデータ付与進捗情報の値に更新し表示する。本ステップは図３におけるＳ３１８の処理に相当する。
Ｓ５０９において、制御部Ｂ１０１はＳ５０２で撮影したオリジナル画像撮影のメタデータ付与が完了したか判定する。制御部Ｂ１０１は、Ｓ５０６で付与したメタデータに含まれるメタデータ付与進捗情報が１００％であった場合にメタデータ付与が完了したと判定する。制御部Ｂ１０１は、メタデータ付与が完了したと判定した場合処理を終了し、そうでない場合Ｓ５０５に移行する。
Ｓ５１０において、制御部Ｂ１０１は操作部Ｂ１０５を介してサムネイル一覧表示要求を受け付けたか判定する。制御部Ｂ１０１は、操作部Ｂ１０５を介してサムネイル一覧表示要求を受け付けたと判定した場合Ｓ５１１の処理に移行し、そうでない場合Ｓ５１２の処理に移行する。
Ｓ５１１において、制御部Ｂ１０１は表示部Ｂ１０７にサムネイル一覧画面２００ａを表示する。本ステップは図３におけるＳ３０８の処理に相当する。
Ｓ５１２において、制御部Ｂ１０１は操作部Ｂ１０５を介して検索要求を受け付けたか判定する。制御部Ｂ１０１は、操作部Ｂ１０５を介して検索要求を受け付けたと判定した場合Ｓ５１３の処理に移行し、そうでない場合はＳ５０５の処理に移行する。
Ｓ５１３において、制御部Ｂ１０１は表示部Ｂ１０７に検索画面２００ｂを表示する。本ステップは図３におけるＳ３２１の処理に相当する。
Ｓ５１４において、制御部Ｂ１０１は通信部Ｂ１０８を介して中間サーバＡ１００に順次応答要求を送信する。本ステップは図３におけるＳ３２２の処理に相当する。
Ｓ５１５において、制御部Ｂ１０１は操作部Ｂ１０５を介して検索開始要求を受け付けたか判定する。制御部Ｂ１０１は、操作部Ｂ１０５を介して検索開始要求を受け付けたと判定した場合Ｓ５１６の処理に移行し、そうでない場合Ｓ５１７の処理に移行する。制御部Ｂ１０１は操作部Ｂ１０５を介して検索開始ボタン２０５ｂが押下されたことを検索開始要求と判断する。
Ｓ５１６において、制御部Ｂ１０１はＳ５１５で選択されたメタデータ項目に関連付けられた画像を記憶部Ｂ１０４から検索し、表示部Ｂ１０７に検索結果画面２００ｃを表示する。本ステップは図３におけるＳ３２５の処理に相当する。
Ｓ５１７において、制御部Ｂ１０１は操作部Ｂ１０５を介して検索中止要求を受け付けたか判定する。制御部Ｂ１０１は、操作部Ｂ１０５を介して検索中止要求を受け付けたと判定した場合Ｓ５１８の処理に移行し、そうでない場合Ｓ５１５の処理に移行する。制御部Ｂ１０１は操作部Ｂ１０５を介して検索キャンセルボタン２０６ｂが押下されたことを検索中止要求と判断する。
Ｓ５１８において、制御部Ｂ１０１は通信部Ｂ１０８を介して中間サーバＡ００に順次応答中止要求を送信する。本ステップは図３におけるＳ３３０の処理に相当する。
Ｓ５１９において、制御部Ｂ１０１は表示部Ｂ１０７にサムネイル一覧画面２００ａを表示する。本ステップは図３におけるＳ３０８の処理に相当する。
Ｓ５２０において、制御部Ｂ１０１は表示部Ｂ１０７に検索結果画面２００ｃが表示中であるか判定する。制御部Ｂ１０１は、表示部Ｂ１０７に検索結果画面２００ｃが表示中であると判定した場合Ｓ５２１の処理に移行し、そうでない場合Ｓ５０９に移行する。
Ｓ５２１において、制御部Ｂ１０１はＳ５０６で付与したメタデータに含まれる被写体がＳ５１５で検索条件として選択されたメタデータ項目に合致しているか判定する。制御部Ｂ１０１は、前記メタデータに含まれる被写体が前記検索条件に合致していると判定した場合Ｓ５２２の処理に移行し、そうでない場合Ｓ５０９の処理に移行する。
Ｓ５２２において、制御部Ｂ１０１は表示部Ｂ１０７に表示中の検索結果画面２００ｃを更新する。制御部Ｂ１０１は、前記画面にＳ５０２で撮影したオリジナル画像を表示していない場合、前記画面に前記画像を追加して表示する。この時、制御部Ｂ１０１はＳ５０６で付与したメタデータに含まれるメタデータ進捗情報が１００％でない場合、Ｓ５０２で撮影したオリジナル画像にメタデータ付与未完了表示２０２ａおよびメタデータ付与進捗表示２０３ａ、メタデータ未完了表示２０１ｃを重畳表示する。一方、前記メタデータ進捗情報が１００％の場合、制御部Ｂ１０１は、メタデータ付与未完了表示２０２ａとメタデータ付与進捗表示２０３ａを削除し、メタデータ付与完了表示２０１ａを重畳表示する本ステップは図３におけるＳ３２６およびＳ３２７の処理に相当する。
以上が、本実施形態のカメラＢ１００の動作を示すフローチャートの説明である。
以上のように、本実施形態のカメラＢ１００では中間サーバＡ１００に順次応答するか一括応答するか判定するために必要な情報を送信する。これにより、中間サーバＡ１００は順次応答するか一括応答するかを適切に判定できる。
（第２の実施形態）
第１の実施形態では、カメラと中間サーバと画像認識サーバから構成されるシステムについて説明した。第２の実施形態では、情報処理装置であるカメラと画像認識のクラウドサービスを提供する画像認識サーバで構成されるシステムについて説明する。なお、本実施形態では、第１の実施形態と異なる点についてのみ詳細に説明し、第１の実施形態と同様の内容については、説明を割愛する。
＜システム構成＞
図７は、本実施形態におけるシステム全体の構成を表すブロック図である。本実施形態におけるシステムは、カメラＢ１００、画像認識サーバＣ１００、インターネットＤ１００、によって構成される。本実施形態では、画像認識サーバは１つのみ記載するが、カメラＢ１００と通信する画像認識サーバは２つ以上の構成でもよい。
制御部Ｂ１０１は、所定の条件に従い、画像認識サーバＣ１００から受信した画像認識結果に基づいて順次メタデータ付与を行うか、画像認識サーバＣ１００から受信した画像認識結果を統合してメタデータ付与をするかを決定する。通信部Ｂ１０８は、インターネットＤ１００を介して１つ以上の画像認識サーバＣ１００との通信を実現する。また、通信部Ｃ１０６も同様に、インターネットを介してカメラＢ１００と通信する。
＜システムの概要＞
本実施形態における処理の処理シーケンスに関して、図７を参照しながら説明する。第１の実施形態と同様の処理に関しては説明を割愛する。
Ｓ７０１において、カメラＢ１００は画像認識サーバＣ３１０および画像認識サーバＣ３２０にそれぞれ画像認識要求を送信する。カメラＢ１００は、前記画像認識要求にＳ３０３で生成した縮小画像を含める。
Ｓ７０２において、画像認識サーバＣ３１０および画像認識サーバＣ３２０はＳ７０１で受信した画像認識要求に含まれる縮小画像から人物・動作・物体などの画像認識を行う。
Ｓ７０３において、画像認識サーバＣ３１０はＳ７０２の画像認識を完了すると、カメラＢ１００に画像認識応答を送信する。画像認識サーバＣ３１０は前記画像認識応答に、被写体および被写体ごとの信頼度を含める。
カメラＢ１００はＳ７０３で画像認識応答を受信すると、順次メタデータを付与する（以下、順次付与）か、画像認識結果をまとめてからメタデータを付与する（以下、一括付与）か、を判定する。カメラＢ１００は、下記のいずれかに合致した場合に順次応答すると判定する。
・カメラＢ１００のバッテリー残量が所定値より多い場合
・カメラＢ１００のユーザ設定が順次付与を要求するものであった場合
・カメラＢ１００の処理負荷（ＣＰＵ／メモリ使用率、メディアアクセスなど）が所定値より低い場合
・カメラＢ１００が撮影動作中ではない場合
・順次付与フラグが有効である場合（詳細はＳ７１２およびＳ７１５の説明で述べる）
一方、カメラＢ１００は、上記のいずれにも合致しない場合は順次付与しない（一括付与する）と判定する。
Ｓ７０４において、カメラＢ１００はＳ３０２で撮影したオリジナル画像に対して、Ｓ７０３で受信した画像認識応答の情報とメタデータ進捗情報（Ｓ７０１で送信した画像認識要求の総数のうち画像認識応答が返ってきた数をパーセンテージで示したもの）をメタデータとして関連付けて記憶部Ｂ１０４に記憶する（メタデータ付与）。
Ｓ７０５において、カメラＢ１００はＳ７０４のメタデータ付与に応じて、Ｓ３０８で表示部Ｂ１０７に表示したサムネイル一覧画面２００ａを更新する。カメラＢ１００は、Ｓ３０８で表示したサムネイル一覧画面２００ａ中のメタデータ付与進捗表示２０３ａの値をＳ７０４で付与したメタデータに含まれるメタデータ付与進捗情報の値（５０％）に更新し表示する。
Ｓ７０６において、カメラＢ１００はＳ７０３で受信した画像認識応答の情報をＲＡＭ Ｂ１０３に一時保存する。
Ｓ７０７において、画像認識サーバＣ３２０はＳ７０２の画像認識を完了すると、カメラＢ１００に画像認識応答を送信する。画像認識サーバＣ３２０は前記画像認識応答に、被写体および被写体ごとの信頼度を含める。
Ｓ７０８において、カメラＢ１００はＳ７０６で一時保存した情報とＳ７０７で受信した画像認識応答の情報をマージする。マージの例は、第１の実施形態と同様であるため、説明を割愛する。
Ｓ７０９において、カメラＢ１００はＳ３０２で撮影したオリジナル画像に対して、Ｓ７０８でマージした情報を被写体情報のメタデータとして関連付けて記憶部Ｂ１０４に記憶する（メタデータ更新）。
Ｓ７１０において、カメラＢ１００はＳ７０９のメタデータ更新に応じて、Ｓ３０８で表示部Ｂ１０７に表示したサムネイル一覧画面２００ａを更新する。カメラＢ１００は、Ｓ７０９で更新したメタデータに含まれるメタデータ付与進捗情報が１００％であるため、Ｓ３０８で表示したサムネイル一覧画面２００ａ中のメタデータ付与未完了表示２０２ａとメタデータ付与進捗表示２０３ａを削除し、メタデータ付与完了表示２０１ａを重畳表示する。
Ｓ７１１において、カメラＢ１００はＳ７０６で一時保存した情報を削除する。
次に、カメラＢ１００が検索開始要求を受け付けた場合について説明する。なお、先述と同様の処理については、同一の番号を付与して説明を省略する。
Ｓ７１２において、カメラＢ１００は順次付与フラグを有効化し、ＲＡＭ Ｂ１０３に記憶する。
Ｓ７１３において、カメラＢ１００はＳ３１１で付与したメタデータに含まれる被写体がＳ３２４で検索条件として選択されたメタデータ項目に合致している場合、検索結果画面２００ｃを更新する。カメラＢ１００は、前記画面にＳ３０２で撮影したオリジナル画像を、検索結果画面２００ｃに追加して表示し、メタデータ付与未完了表示２０２ａおよびメタデータ付与進捗表示２０３ａを重畳表示する。この時の前記メタデータ付与進捗表示２０３ａは５０％である。
Ｓ７１４において、カメラＢ１００は、Ｓ７０９で更新したメタデータに含まれる被写体がＳ３２４で検索条件として選択されたメタデータに合致している場合、検索結果画面２００ｃを更新する。カメラＢ１００は、Ｓ７０９で更新したメタデータに含まれるメタデータ付与進捗情報が１００％であるため、Ｓ３１３で表示した検索結果画面２００ｃ中のメタデータ付与未完了表示２０２ａとメタデータ付与進捗表示２０３ａを削除し、メタデータ付与完了表示２０１ａを重畳表示する。
次に、カメラＢ１００が検索開始要求を受け付けた後に検索中止操作を受け付けた場合について説明する。なお、先述と同様の処理については同一の番号を付与し、説明を省略する。
Ｓ７１５において、カメラＢ１００は順次付与フラグを無効化し、ＲＡＭ Ｂ１０３に記憶する。
以上のように、本実施形態のカメラＢ１００は、ユーザの設定や機器の状態に応じて、順次メタデータを付与するか、全ての認識結果が揃ってからメタデータを付与するかを切り替える。これにより、カメラＢ１００の処理負荷が低い、あるいは、ユーザがメタデータ利用を急ぐ場合にはメタデータを利用可能になるまでの時間短縮を優先し、そうでない場合にはカメラＢ１００の処理負荷低減を優先することができる。
＜各装置の動作＞
図８は、本実施形態のカメラＢ１００の動作を示すフローチャートである。なお、フローチャートに示す処理は、カメラＢ１００に制御部Ｂ１０１が入力信号やプログラムに従い、カメラＢ１００の各部を制御することにより実現される。
Ｓ８０１において、制御部Ｂ１０１は通信部Ｂ１０８を介して画像認識サーバＣ３１０および画像認識サーバＣ３２０にそれぞれ画像認識要求を送信する。制御部Ｂ１０１は、前記画像認識要求にＳ５０３で生成した縮小画像を含める。本ステップは図７におけるＳ７０１の処理に相当する。
Ｓ８０２において、制御部Ｂ１０１は通信部Ｂ１０８を介して画像認識サーバＣ３１０および画像認識サーバＣ３２０から画像認識応答を受信したか判定する。制御部Ｂ１０１は、通信部Ｂ１０８を介して画像認識応答を受信したと判定した場合Ｓ８０３の処理に移行し、そうでない場合Ｓ８１１の処理に移行する。
Ｓ８０３において、制御部Ｂ１０１は後述のＳ８２５で記憶した画像認識応答が存在するかどうか判定する。制御部Ｂ１０１は後述のＳ８２５で記憶した画像認識応答が存在した場合Ｓ８０４の処理に移行し、そうでない場合Ｓ８０５の処理に移行する。
Ｓ８０４において、制御部Ｂ１０１は後述のＳ８２５で記憶した画像認識応答とＳ８０２で受信した画像認識応答をマージする。マージの例はＳ４０５と同様のため説明を割愛する。本ステップは図７におけるＳ７０８の処理に相当する。
Ｓ８０５において、制御部Ｂ１０１は順次付与するか一括付与するか判定する。制御部Ｂ１０１は順次付与すると判定した場合Ｓ８０６の処理に移行し、そうでない場合Ｓ８２１の処理に移行する。カメラＢ１００は、下記のいずれかに合致した場合に順次付与すると判定する。
・カメラＢ１００のバッテリー残量が所定値より多い場合
・カメラＢ１００のユーザ設定が順次応答を要求するものである場合
・カメラＢ１００の処理負荷（ＣＰＵ／メモリ使用率、メディアアクセスなど）が所定値より低い場合
・カメラＢ１００が撮影動作中ではない場合
・順次付与フラグが有効である場合（詳細はＳ８１５およびＳ８１９の説明で述べる）
一方、カメラＢ１００は、上記のいずれにも合致しない場合は順次付与しない（一括付与する）と判定する。
Ｓ８０６において、制御部Ｂ１０１はＳ５０２で撮影したオリジナル画像に対して、Ｓ８０５の処理を行った場合Ｓ８０５でマージした画像認識応答をメタデータとして関連付けて記憶部Ｂ１０４に記憶（メタデータ更新）し、そうでない場合Ｓ８０２で受信した画像認識応答をメタデータとして関連付けて記憶部Ｂ１０４に記憶する（メタデータ付与）。本ステップは図７におけるＳ７０４およびＳ７０９の処理に相当する。
Ｓ８０７において、表示部Ｂ１０７にサムネイル一覧画面２００ａが表示中であるか判定する。制御部Ｂ１０１は、表示部Ｂ１０７にサムネイル一覧画面２００ａが表示中であると判定した場合Ｓ８０８に移行し、そうでない場合Ｓ８２２の処理に移行する。
Ｓ８０８において、制御部Ｂ１０１は表示部Ｂ１０７に表示したサムネイル一覧画面２００ａを更新する。制御部Ｂ１０１は、Ｓ８０６で付与したメタデータに含まれるメタデータ付与進捗情報が１００％であった場合、サムネイル一覧画面２００ａ中のメタデータ付与未完了表示２０２ａおよびメタデータ付与進捗表示２０３ａを削除し、メタデータ付与完了表示２０１ａを重畳表示する。制御部Ｂ１０１は、Ｓ８０６で付与したメタデータに含まれるメタデータ付与進捗情報が１００％でない場合、サムネイル一覧画面２００ａ中のメタデータ付与進捗表示２０３ａの値を前記メタデータ付与進捗情報の値に更新し表示する。本ステップは図７におけるＳ７０５および７１０の処理に相当する。
Ｓ８０９において、制御部Ｂ１０１はＳ８０２において全ての画像認識サーバから画像認識応答を受信したか判定する。制御部Ｂ１０１は、Ｓ８０２において全ての画像認識サーバから画像認識応答を受信したと判定した場合Ｓ８１０の処理に移行し、そうでない場合Ｓ８２５の処理に移行する。
Ｓ８１０において、制御部Ｂ１０１は後述のＳ８２５でＲＡＭ Ｂ１０３に一時保存した情報を削除する。
Ｓ８１１において、制御部Ｂ１０１は操作部Ｂ１０５を介してサムネイル一覧表示要求を受け付けたか判定する。制御部Ｂ１０１は、操作部Ｂ１０５を介してサムネイル一覧表示要求を受け付けたと判定した場合Ｓ８１２の処理に移行し、そうでない場合Ｓ８１３の処理に移行する。
Ｓ８１２において、制御部Ｂ１０１は表示部Ｂ１０７にサムネイル一覧画面２００ａを表示する。本ステップは図７におけるＳ３０８の処理に相当する。
Ｓ８１３において、制御部Ｂ１０１は操作部Ｂ１０５を介して検索要求を受け付けたか判定する。制御部Ｂ１０１は、操作部Ｂ１０５を介して検索要求を受け付けたと判定した場合Ｓ８１４の処理に移行し、そうでない場合はＳ８０２の処理に移行する。
Ｓ８１４において、制御部Ｂ１０１は表示部Ｂ１０７に検索画面２００ｂを表示する。本ステップは図７におけるＳ３２１の処理に相当する。
Ｓ８１５において、制御部Ｂ１０１は順次付与フラグを有効化し、ＲＡＭ Ｂ１０３に記憶する。本ステップは図７におけるＳ７１２の処理に相当する。
Ｓ８１６において、制御部Ｂ１０１は操作部Ｂ１０５を介して検索開始要求を受け付けたか判定する。制御部Ｂ１０１は、操作部Ｂ１０５を介して検索開始要求を受け付けたと判定した場合Ｓ８１７の処理に移行し、そうでない場合Ｓ８１８の処理に移行する。制御部Ｂ１０１は操作部Ｂ１０５を介して検索開始ボタン２０５ｂが押下されたことを検索開始要求と判断する。
Ｓ８１７において、制御部Ｂ１０１は表示部Ｂ１０７に検索結果画面２００ｃを表示しＳ８０２の処理に移行する。本ステップは図７におけるＳ３２５の処理に相当する。
Ｓ８１８において、制御部Ｂ１０１は操作部Ｂ１０５を介して検索中止要求を受け付けたか判定する。制御部Ｂ１０１は、操作部Ｂ１０５を介して検索中止要求を受け付けたと判定した場合Ｓ８１９の処理に移行し、そうでない場合Ｓ８１６の処理に移行する。制御部Ｂ１０１は操作部Ｂ１０５を介して検索キャンセルボタン２０６ｂが押下されたことを検索中止要求と判断する。
Ｓ８１９において、制御部Ｂ１０１は順次付与フラグを無効化し、ＲＡＭ Ｂ１０３に記憶する。本ステップは図７におけるＳ７１５の処理に相当する。
Ｓ８２０において、制御部Ｂ１０１は表示部Ｂ１０７にサムネイル一覧画面２００ａを表示する。本ステップは図７におけるＳ３０８の処理に相当する。
Ｓ８２１において、制御部Ｂ１０１はＳ８０２において全ての画像認識サーバから画像認識応答を受信したか判定する。制御部Ｂ１０１は、Ｓ８０２において全ての画像認識サーバから画像認識応答を受信したと判定した場合Ｓ８０６の処理に移行し、そうでない場合Ｓ８２５の処理に移行する。
Ｓ８２２において、制御部Ｂ１０１は表示部Ｂ１０７に検索結果画面２００ｃが表示中であるか判定する。制御部Ｂ１０１は、表示部Ｂ１０７に検索結果画面２００ｃが表示中であると判定した場合Ｓ８２３の処理に移行し、そうでない場合Ｓ８０９に移行する。
Ｓ８２３において、制御部Ｂ１０１はＳ８０６で付与したメタデータに含まれる被写体がＳ８１６で検索条件として選択されたメタデータ項目に合致しているか判定する。制御部Ｂ１０１は、前記メタデータに含まれる被写体が前記検索条件に合致していると判定した場合Ｓ８２４の処理に移行し、そうでない場合Ｓ８０２の処理に移行する。
Ｓ８２４において、制御部Ｂ１０１は表示部Ｂ１０７に表示中の検索結果画面２００ｃを更新する。制御部Ｂ１０１は、前記画面にＳ５０２で撮影したオリジナル画像を表示していない場合、前記画面に前記画像を追加して表示する。この時、制御部Ｂ１０１はＳ５０６で付与したメタデータに含まれるメタデータ進捗情報が１００％でない場合、Ｓ５０２で撮影したオリジナル画像にメタデータ付与未完了表示２０２ａおよびメタデータ付与進捗表示２０３ａ、メタデータ未完了表示２０１ｃを重畳表示する。一方、前記メタデータ進捗情報が１００％の場合、制御部Ｂ１０１は、メタデータ付与未完了表示２０２ａとメタデータ付与進捗表示２０３ａを削除し、メタデータ付与完了表示２０１ａを重畳表示する本ステップは図３におけるＳ７１３およびＳ７１４の処理に相当する。
Ｓ８２５において、制御部Ｂ１０１はＳ８０２で受信した画像認識応答の情報もしくはＳ８０５でマージした情報をＲＡＭ Ｂ１０３に記憶する。本ステップは図７におけるＳ７０６の処理に相当する。
以上が、本実施形態のカメラＢ１００の動作を示すフローチャートの説明である。
以上のように、本実施形態のカメラＢ１００は、ユーザの設定や機器の状態に応じて、順次メタデータを付与するか、全ての認識結果が揃ってから統合してメタデータを付与するかを切り替える。これにより、カメラＢ１００の処理負荷が低い、あるいは、ユーザがメタデータ利用を急ぐ場合にはメタデータを利用可能になるまでの時間短縮を優先し、そうでない場合にはカメラＢ１００の処理負荷低減を優先することができる。
（その他の実施形態）
上述の実施形態におけるカメラは、撮影画像を複数表示する場合を例に説明したが、単一表示と複数表示とで表示内容を変える構成でも良い。すなわち、単一表示の場合はメタデータ付与未完了表示２０２ａおよびメタデータ付与進捗表示２０３ａを重畳表示し、複数表示の場合はメタデータ付与未完了表示２０２ａのみを重畳表示する構成でも良い。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、および当該プログラムを記憶した記憶媒体は本発明を構成することになる。
Ａ１００ 中間サーバ
Ｂ１００ カメラ
Ｃ１００ 画像認識サーバ
Ｄ１００ インターネット

Claims (10)

  1. 画像の被写体認識を行う複数のサーバ装置に、クライアント端末から取得した画像を送信して被写体認識を要求する中間サーバ装置であって、
    各サーバ装置から被写体認識の結果を受信する受信手段と、
    受信した被写体認識の結果に基づいて、前記画像のメタデータに付与する被写体情報を前記クライアント端末に送信する送信手段と、
    制御手段と、を備え、
    前記制御手段は、前記送信手段が、被写体認識の結果ごとに被写体情報を送信するか、被写体認識の結果を統合して被写体情報を送信するか、を切り替えるように制御することを特徴とする中間サーバ装置。
  2. 前記制御手段は、前記クライアント端末の状態に応じて制御することを特徴とする請求項１に記載の中間サーバ装置。
  3. 前記制御手段は、前記クライアント端末が画像検索を行っている場合は、被写体認識の結果ごとに被写体情報を送信するように制御することを特徴とする請求項２に記載の中間サーバ装置。
  4. 前記制御手段は、前記中間サーバ装置の状態に応じて制御することを特徴とする請求項１から３のいずれか１項に記載の中間サーバ装置。
  5. 前記制御装置は、前記中間サーバ装置の処理負荷が所定値よりも低い場合は、被写体認識の結果ごとに被写体情報を送信するように制御することを特徴とする請求項４に記載の中間サーバ装置。
  6. 前記被写体情報は、認識した被写体の信頼度を含むことを特徴とする請求項１から５の何れか１項に記載の中間サーバ装置。
  7. 画像の被写体認識を行う複数のサーバ装置に、画像を送信して被写体認識を要求する情報処理装置であって、
    各サーバ装置から被写体認識の結果を受信する受信手段と、
    受信した被写体認識の結果に基づいて、前記画像のメタデータに被写体情報を付与する付与手段と、
    制御手段と、を備え、
    前記制御手段は、被写体の結果ごとに被写体情報を付与するか、被写体認識の結果を統合して被写体情報を付与するか、を切り替えるように制御することを特徴とする情報処理装置。
  8. 前記制御手段は、前記情報処理装置の状態に応じて制御することを特徴とする請求項７に記載の情報処理装置。
  9. 撮像手段を備え、
    前記制御手段は、前記撮像手段が撮影動作中は、被写体認識の結果を統合して被写体情報を付与するように制御することを特徴とする請求項７に記載の情報処理装置。
  10. 画像の被写体認識を行う複数のサーバ装置に、クライアント端末から取得した画像を送信して被写体認識を要求し、
    各サーバ装置から被写体認識の結果を受信し、
    受信した被写体認識の結果に基づいて、前記画像のメタデータに付与する被写体情報を前記クライアント端末に送信する、通信方法であって、
    前記被写体情報の送信において、被写体認識の結果ごとに被写体情報を送信するか、被写体認識の結果を統合して被写体情報を送信するか、を切り替えるように制御することを特徴とする通信方法。
JP2019182452A 2019-10-02 2019-10-02 中間サーバ装置、情報処理装置、通信方法 Active JP7379059B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019182452A JP7379059B2 (ja) 2019-10-02 2019-10-02 中間サーバ装置、情報処理装置、通信方法
US17/033,030 US11775579B2 (en) 2019-10-02 2020-09-25 Server apparatus, information processing apparatus, and communication method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019182452A JP7379059B2 (ja) 2019-10-02 2019-10-02 中間サーバ装置、情報処理装置、通信方法

Publications (2)

Publication Number Publication Date
JP2021060630A true JP2021060630A (ja) 2021-04-15
JP7379059B2 JP7379059B2 (ja) 2023-11-14

Family

ID=75275143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019182452A Active JP7379059B2 (ja) 2019-10-02 2019-10-02 中間サーバ装置、情報処理装置、通信方法

Country Status (2)

Country Link
US (1) US11775579B2 (ja)
JP (1) JP7379059B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220198028A1 (en) * 2020-12-17 2022-06-23 The Toronto-Dominion Bank Secure resolution of email-based queries involving confidential third-party data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309600A (ja) * 2005-04-28 2006-11-09 Olympus Corp 検索システム
JP2012518238A (ja) * 2009-02-18 2012-08-09 エーナイン・ドット・コム インコーポレイテッド 画像マッチングのための方法およびシステム
WO2012111252A1 (ja) * 2011-02-17 2012-08-23 日本電気株式会社 情報処理装置
JP2013501976A (ja) * 2009-08-07 2013-01-17 グーグル インコーポレイテッド 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス
JP2016517599A (ja) * 2013-03-15 2016-06-16 ロバート ハドック， 知識への１段階アクセスを提供する適応ユーザインターフェースを有する知的インターネットシステム
JP2018181081A (ja) * 2017-04-18 2018-11-15 日本電信電話株式会社 画像認識エンジン連携装置およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5693638B2 (ja) 2013-04-10 2015-04-01 株式会社クラフト Ｘｍｌタグ等の分割・結合機能を備える通信中継システム
US20180107660A1 (en) * 2014-06-27 2018-04-19 Amazon Technologies, Inc. System, method and apparatus for organizing photographs stored on a mobile computing device
CN107291560A (zh) * 2016-03-31 2017-10-24 北京三星通信技术研究有限公司 一种智能设备的内容确定方法和装置
US10990495B1 (en) * 2019-04-15 2021-04-27 Snap Inc. Selectively enabling features based on rules
US20210006624A1 (en) * 2019-07-03 2021-01-07 Chargifi Limited Systems and Methods for Activating Functionality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309600A (ja) * 2005-04-28 2006-11-09 Olympus Corp 検索システム
JP2012518238A (ja) * 2009-02-18 2012-08-09 エーナイン・ドット・コム インコーポレイテッド 画像マッチングのための方法およびシステム
JP2013501976A (ja) * 2009-08-07 2013-01-17 グーグル インコーポレイテッド 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス
WO2012111252A1 (ja) * 2011-02-17 2012-08-23 日本電気株式会社 情報処理装置
JP2016517599A (ja) * 2013-03-15 2016-06-16 ロバート ハドック， 知識への１段階アクセスを提供する適応ユーザインターフェースを有する知的インターネットシステム
JP2018181081A (ja) * 2017-04-18 2018-11-15 日本電信電話株式会社 画像認識エンジン連携装置およびプログラム

Also Published As

Publication number Publication date
US11775579B2 (en) 2023-10-03
JP7379059B2 (ja) 2023-11-14
US20210103612A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
RU2641995C2 (ru) Способ и оборудование для управления устройством
KR20110020746A (ko) 오브젝트 정보 제공방법 및 이를 적용한 촬영장치
EP3614628A1 (en) Electronic apparatus and control method thereof
EP3929719A1 (en) Information processing apparatus, control method for information processing apparatus, and program
EP3046352A1 (en) Method by which portable device displays information through wearable device, and device therefor
CN112187845A (zh) 信息处理装置及方法、远程监控机器人、据点控制系统
JP2016048911A (ja) 情報処理装置、その制御方法、および制御プログラム
JP7561501B2 (ja) 撮像装置、デバイス、制御方法、およびプログラム
JP7379059B2 (ja) 中間サーバ装置、情報処理装置、通信方法
JP7286333B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP2021072600A (ja) 撮像装置、情報処理装置、それらの制御方法、撮像装置システム、プログラム
CN109391771B (zh) 摄像装置、通信装置、其控制方法和存储介质
CN110278589A (zh) 通信装置、数据传输装置及其控制方法和存储介质
JP2021009439A (ja) 画像処理システム及びプログラム。
US9426347B2 (en) Imaging operation terminal, imaging system, software extraction method, and computer-readable device
CN111263061B (zh) 摄像头控制方法和通信终端
JP2021013159A (ja) 情報処理装置、テレプレゼンスロボット、拠点制御システム、遠隔制御システム、情報処理方法およびプログラム
JP2021089582A (ja) 情報処理装置、中継装置、システム、情報処理装置の制御方法、中継装置の制御方法およびプログラム
JP6023577B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2020071721A (ja) 電子機器、その制御方法、およびそのプログラム
JP7030561B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7341690B2 (ja) 情報処理装置、方法、及びプログラム
JP6448439B2 (ja) 電子機器及びその制御方法
JP2019101783A (ja) 情報処理装置及び方法
JP2019219800A (ja) サーバ、情報機器、情報提供方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231101

R151 Written notification of patent or utility model registration

Ref document number: 7379059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151