JP2019139653A - 周辺機器、通信システム、通信方法及び通信プログラム - Google Patents

周辺機器、通信システム、通信方法及び通信プログラム Download PDF

Info

Publication number
JP2019139653A
JP2019139653A JP2018024422A JP2018024422A JP2019139653A JP 2019139653 A JP2019139653 A JP 2019139653A JP 2018024422 A JP2018024422 A JP 2018024422A JP 2018024422 A JP2018024422 A JP 2018024422A JP 2019139653 A JP2019139653 A JP 2019139653A
Authority
JP
Japan
Prior art keywords
information
central control
control device
peripheral device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018024422A
Other languages
English (en)
Inventor
野中 修
Osamu Nonaka
修 野中
豊田 哲也
Tetsuya Toyoda
哲也 豊田
圭都 福島
Keito Fukushima
圭都 福島
義久 尾形
Yoshihisa Ogata
義久 尾形
健世 伊藤
Takeyo Ito
健世 伊藤
浩一 新谷
Koichi Shintani
浩一 新谷
勝久 川口
Katsuhisa Kawaguchi
勝久 川口
和彦 長
Kazuhiko Cho
和彦 長
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2018024422A priority Critical patent/JP2019139653A/ja
Priority to US16/273,028 priority patent/US20190253491A1/en
Priority to CN201910113124.3A priority patent/CN110166520A/zh
Publication of JP2019139653A publication Critical patent/JP2019139653A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1061Peer-to-peer [P2P] networks using node-based peer discovery mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10Program control for peripheral devices
    • G06F13/102Program control for peripheral devices where the programme performs an interfacing function, e.g. device driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/382Information transfer, e.g. on bus using universal interface adapter
    • G06F13/387Information transfer, e.g. on bus using universal interface adapter for adaptation of different data processing systems to different peripheral devices, e.g. protocol converters for incompatible systems, open system
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/51Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/22Processing or transfer of terminal data, e.g. status or physical capabilities
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

【課題】中央制御機器が種々の判断をするために用いられ得る話題を提供できる周辺機器、そのような周辺機器を有する通信システム及び通信方法を提供すること。【解決手段】周辺機器20は、中央制御機器と通信する。周辺機器20は、中央制御機器又は中央制御機器のユーザに対して提供する話題を含む第1の情報を送信する制御回路202を備える。【選択図】図3

Description

本発明は、中央制御機器と通信される周辺機器、そのような周辺機器を有する通信機器制御システム、通信方法及び通信プログラムに関する。
近年の人工知能(AI)技術の進歩に伴い、種々の機器にAIを搭載しようという試みがなされている。この種のAI搭載機器の代表的なものとして、スマートスピーカと呼ばれる機器が知られている。スマートスピーカは、対話型のAIアシスタントを有している。このAIアシスタントは、ユーザからの音声指示に応じて、音楽を再生したり、必要な情報をインターネット等から検索してユーザに報告したりといった各種のサービスを提供する。AIアシスタントの学習が進めば、ユーザによる詳細な指示がなくとも、AIアシスタントがユーザにとって関心のある情報を判断し、判断した情報をユーザに対して報告することも期待される。この種のユーザにとって関心のある情報を判断するための技術として、例えば特許文献1において提案されている技術がある。
特開2013−12204号公報
今後、スマートスピーカ等のAI搭載機器が中央制御機器となってキャプチャ機器、AV機器、スマート家電といった種々のIoT(Internet of Things)機器を周辺機器として制御するようになることが期待されている。この場合、中央制御機器のAIアシスタントがユーザに対して種々の提案をしたり、周辺機器を制御したりするのにあたり、中央制御機器が周辺機器の各種の情報を収集することが想定される。
本発明は前記の事情に鑑みてなされたものであり、中央制御機器が種々の判断をするために用いられ得る話題を提供できる周辺機器、そのような周辺機器を有する通信システム及び通信方法を提供することを目的とする。
前記の目的を達成するために、本発明の第1の態様の周辺機器は、中央制御機器と通信する周辺機器であって、前記中央制御機器又は中央制御機器のユーザに対して提供する話題を含む第1の情報を送信する制御回路を具備する。
前記の目的を達成するために、本発明の第2の態様の通信システムは、少なくとも1つの周辺機器と、前記周辺機器と通信する中央制御機器とを有する通信システムであって、前記周辺機器は、前記中央制御機器又は中央制御機器のユーザに対して提供する話題を含む第1の情報を送信する第1の制御回路を具備し、前記中央制御機器は、受信した前記第1の情報に基づいて対応を判断することと、判断した対応を実行することとを行う第2の制御回路を具備する。
前記の目的を達成するために、本発明の第3の態様の通信方法は、周辺機器と、前記周辺機器と通信する中央制御機器とを有する通信システムにおける通信方法であって、前記周辺機器が、前記中央制御機器又は中央制御機器のユーザに対して提供する話題を含む第1の情報を送信することと、前記中央制御機器が、受信した前記第1の情報に基づいて対応を判断することと、判断した対応を実行することとを具備する。
前記の目的を達成するために、本発明の第4の態様の通信プログラムは、周辺機器と、前記周辺機器と通信する中央制御機器とを有する通信システムにおける通信プログラムであって、前記中央制御機器又は中央制御機器のユーザに対して提供する話題を含む第1の情報を前記周辺機器から受信することと、前記受信した前記第1の情報に基づいて対応を判断することとを前記中央制御機器に実行させる。
本発明によれば、中央制御機器が種々の判断をするために用いられ得る話題を提供できる周辺機器、そのような周辺機器を有する通信システム、通信方法及び通信プログラムを提供することができる。
図1は、第1及び第2の実施形態に係る通信システムの一例の構成を示す図である。 図2は、中央制御機器の一例の構成を示すブロック図である。 図3は、周辺機器の一例の構成を示すブロック図である。 図4は、通信システムの動作の概要を説明するための図である。 図5Aは、第1の実施形態における中央制御機器と周辺機器との間の情報伝達について説明するための図である。 図5Bは、第1の実施形態における中央制御機器と周辺機器との間の情報伝達について説明するための図である。 図6は、第1の実施形態における周辺機器の動作を示すフローチャートである。 図7は、第1の実施形態における中央制御機器の動作を示すフローチャートである。 図8は、第2の情報伝達として通信されるアドバタイジング信号と詳細情報の内容の一例を示した図である。 図9Aは、第3の情報伝達として通信されるアドバタイジング信号と詳細情報の内容の一例を示した図である。 図9Bは、第3の情報伝達として通信されるアドバタイジング信号と詳細情報の内容の一例を示した図である。 図9Cは、第3の情報伝達として通信されるアドバタイジング信号と詳細情報の内容の一例を示した図である。 図10は、第2の実施形態における周辺機器の動作を示すフローチャートである。 図11は、アドバタイジング信号送信処理を示すフローチャートである。 図12Aは、状態チェック処理を示すフローチャートである。 図12Bは、状態チェック処理を示すフローチャートである。 図13は、第2の実施形態における中央制御機器の動作を示すフローチャートである。 図14Aは、対応の判断処理の詳細を示すフローチャートである。 図14Bは、対応の判断処理の詳細を示すフローチャートである。 図15Aは、ユーザの撮影履歴の例を示す図である。 図15Bは、ユーザの撮影履歴の例を示す図である。 図16は、第3の実施形態における通信システムの構成を示す図である。 図17Aは、第3の実施形態におけるデジタルカメラの動作を示すフローチャートである。 図17Bは、第3の実施形態におけるデジタルカメラの動作を示すフローチャートである。 図18は、第3の実施形態におけるスマートホンの動作を示すフローチャートである。
以下、図面を参照して本発明の実施形態を説明する。
[第1の実施形態]
まず、第1の実施形態を説明する。図1は、第1及び第2の実施形態に係る通信システムの一例の構成を示す図である。通信システム1は、中央制御機器10と、少なくとも1つの周辺機器20とを有する。図1では、4つの周辺機器20が示されている。中央制御機器10と、周辺機器20のそれぞれとは、互いに通信する。また、中央制御機器10及び周辺機器20のそれぞれは、サーバ30と通信する。中央制御機器10と、周辺機器20とは、家の中等の比較的に狭い範囲内に存在している。一方、サーバ30は、中央制御機器10、周辺機器20の近くにあってもよいし、遠くにあってもよい。
中央制御機器10は、例えば音声を用いた対話型のユーザインターフェイスを備えたスマートスピーカである。中央制御機器10は、ユーザの音声に従って種々の情報をスピーカから音声として発する。また、中央制御機器10は、周辺機器20の遠隔制御もする。ここで、中央制御機器10は、人工知能を備えている。中央制御機器10は、対話型以外のユーザインターフェイスを備えていてもよい。
周辺機器20は、それぞれが中央制御機器10及びサーバ30と通信できる機器である。周辺機器20は、例えば情報機器群である。情報機器群は、各種の情報を取得したり、管理したりするための機器である。情報機器群は、例えば、デジタルカメラ、ボイスレコーダ、パーソナルコンピュータ(PC)、スマートホンといった機器を含む。また、周辺機器20は、例えばオーディオ及びビジュアル(AV)機器群である。AV機器群は、映像又は音声を記録又は再生するための機器である。AV機器群は、テレビ、録画機器、音響機器といった機器を含む。また、周辺機器20は、例えばスマート家電群である。スマート家電群は、通信機能を備えた家電である。スマート家電群は、例えばスマートエアコン、スマート冷蔵庫、スマート掃除機、スマートトイレ、スマート照明機器といった機器を含む。また、周辺機器20は、ホームセキュリティ機器群である。ホームセキュリティ機器群は、家庭内のセキュリティに関わる機器である。ホームセキュリティ機器群は、例えばインターホン、監視カメラ、電子錠といった機器を含む。ここでは、家庭内のネットワークを構成する周辺機器を例示したが、ビジネスの場、病院、実験室等の、特定の中央制御機器と連携してネットワークを構成する周辺機器であっても本実施形態の技術は適用され得る。病院、実験室等では、様々な専用装置(観察装置や検査装置など)が配置されている。しかしながら、必ずしも中央制御装置がネットワークを構成していない機器もある。
ここで、中央制御機器10と通信できる複数の周辺機器20が存在しているとき、これらの複数の周辺機器20は同じ複数の機器であってもよいし、異なる複数の機器であってもよい。また、周辺機器20は、中央制御機器10と通信できればよく、サーバ30とは通信できなくてもよい。また、周辺機器20は、人工知能を備えていてもよく、備えていなくてもよい。
サーバ30は、種々の情報を記憶している。中央制御機器10は、サーバ30に記憶されている情報から必要な情報を検索する。サーバ30は、単一のコンピュータ等で構成されていてもよい。また、サーバ30は、複数のコンピュータ等で構成されていてもよい。また、サーバ30は、ネットワーク上に分散して配置されてもよい。
サーバ30は、人工知能として働いてもよい。人工知能としては、記録されているプログラムに従ったシーケンシャルな処理の中で条件毎に特定の処理を生成する等のアクションを起こす機能を実現するための回路及びプログラムが想定される。これらの回路及びプログラムの全ては、同一の機器の内部にある必要はない。また、人工知能を実現するためのプログラムは頻繁に更新されるものであってもよい。例えば、ユーザにより、シーケンシャルな処理中の特定の分岐処理ばかりが選択され、別の分岐処理が選択されていない場合には、選択されている回数の多い分岐処理をさらに細分化させる更新が行われてもよい。これにより、よりユーザにふさわしいカスタマイズがされる。例えば、特定の周辺機器の電源のオンが指示された又はオフが指示されたといった単純な情報でも、それらの指示の頻度で異なる条件分岐がなされてもよい。例えば、周辺機器のオン又はオフといった指示の回数が多いユーザは、その周辺機器を頻繁に利用していると考えられる。この場合、人工知能は、その周辺機器の電源のオン又はオフの指示がされたときには、その周辺機器の使い方の情報よりも、メンテナンスの情報を提示する。周辺機器や状況によっては、その逆の例もあり得る。また、さらなる高度な機械学習が行われてもよい。例えば、オン又はオフを命じる声と特定の周辺機器との関係を学習させれば、人工知能は、どの周辺機器の情報を誰に出せばよいかといった判断もできるようになることが期待される。音声を用いてユーザを特定することは、例えばユーザの声紋パターンの学習によって実現され得る。また、ユーザの行動分析の手法として、スマートホン等の情報機器の使用履歴から、そのユーザの行動を分析する技術も知られている。例えば、情報機器の使われた日時及び使われた場所の履歴から、その情報機器のユーザがどの季節のどの曜日にどこに行く可能性が高いか等が判定され得る。また、商品の購買情報、カメラ等で撮影された画像といった情報を用いた深層学習により、ユーザの行動を予測したり、ユーザの嗜好を判断したりすることもできる。例えば、人工知能は、情報機器に内蔵されている時計によって得られる時間と位置検出回路によって得られる場所との関係を教師データとして学習する。それによって、人工知能は、将来のある特定の時点(例えば来週の週末)にどこに行く確率が高いか、またユーザはそこに行きたいであろうことを推論できる。また、人工知能は、その場所に関わるイベント情報を学習していれば、どのようなイベントにいつ行きたいか等も推論できる。このような推論に基づき、人工知能は、そのようなイベントの情報を適宜に検索して前もってユーザに提示すると喜ばれるであろうといった判断をすることができる。また、人工知能は、カメラで撮影された画像から被写体を解析し、その被写体と撮影時間との関係から、その人が何時、どのような写真を撮りたいかといった推論をすることが期待される。同様に、人工知能は、特定の被写体が現れる日時及び場所の情報を、インターネット上にあるその特定の被写体を含む類似の画像の撮影日時及び撮影場所の情報又は特定の被写体に関連したテキストに含まれる日時又は場所の情報によって判断もできる。さらに、人工知能は、インターネット上の情報を教師データとして用いた学習により、撮影にふさわしい場所及び日時を推論することも期待される。このような推論により、人工知能は、ユーザが準備できる期間(例えば遠い場所なら1ヶ月、近い場所なら1週間)を考慮して事前にユーザに情報を提供する。遠距離の移動を好まないと判断されたユーザに対しては、人工知能は、近い場所の情報だけを提供する。これにより、よりユーザの好みを反映した情報の提供が行われ得る。情報を提供する時間も、同様の考え方が適用できる。例えば、人工知能は、ユーザが近くにいるタイミングで、かつ、朝の忙しい時間帯でないときにこそ提供したほうがよい情報と忙しい時間帯にこそ提供すべき情報とを判断して情報の提供をしてもよい。提供した情報がユーザにとって有効かどうかをユーザに答えさせることで、時間帯と有効な情報のカテゴリー、無効情報のカテゴリーを使った学習によって特定の情報を出すような制御が行われることがより望ましい。特定のユーザの音声の入力があったときに、人工知能は、そのユーザの嗜好にあった情報を提供するようにしてもよいし、ユーザから入力された音声を踏まえて類似の情報を提供してもよい。また、人工知能は、予めいくつかの情報を準備しておき、それを適宜に提供するようにしてもよい。また、人工知能は、特定のユーザの音声の入力がなくても、そのユーザの行動パターン及びそのユーザの操作した周辺機器の履歴の情報等に基づいた特定の状況であると判断したときに、そこに特定のユーザがいるとして情報の提供を行ってもよい。
以下、中央制御機器10及び周辺機器20についてさらに説明する。図2は、中央制御機器10の一例の構成を示すブロック図である。図2に示すように、中央制御機器10は、制御回路102と、音声入力回路104と、音声認識回路106と、音声出力回路108と、メモリ110と、通信回路112とを有する。
制御回路102は、中央制御機器10の各ブロックの動作を制御する。制御回路102は、CPU、GPU、ASIC、FPGA、メインメモリといったハードウェアを備えている。制御回路102は、メモリ110に記憶されているプログラム及びライブラリにより、人工知能を備えたAIアシスタントとしても動作する。この人工知能のプログラムは、メモリ110に記憶されていなくてもよい。例えば、人工知能のプログラムはサーバ30にあってもよい。この場合、制御回路102は、必要に応じてサーバ30の人工知能にアクセスして必要な情報を受け取る。制御回路102は、単独のCPU等によって構成されてもよいし、複数のCPU等によって構成されてもよい。また、制御回路102の一部の機能は、ソフトウェアによって実現されてもよい。
音声入力回路104は、マイクロホン(マイク)を備えている。音声入力回路104は、マイクを通して中央制御機器10の外部の音声を取得する。そして、音声入力回路104は、取得した音声を音声認識回路106に入力する。音声入力回路104は、取得した音声の雑音を除去する回路等を備えていてもよい。
音声認識回路106は、音声入力回路104から入力された音声を認識する。音声認識回路106は、例えば入力された音声を分解し、分解した音声をメモリ110に記憶されている音響モデル及び単語辞書と比較することによって音声を認識する。音声認識のための音響モデル及び単語辞書といった情報は、メモリ110に記憶されていなくてもよい。例えば、音声認識のための情報はサーバ30にあってもよい。
音声出力回路108は、スピーカを備えている。音声出力回路108は、スピーカを通して制御回路102から指示された音声を発する。
メモリ110は、フラッシュメモリ、ハードディスク、ソリッドステートドライブといったメモリである。メモリ110には、中央制御機器10で用いられる種々のプログラムが記憶される。また、メモリ110には、音声認識で用いられる音響モデル及び単語辞書といった情報が記憶される。また、メモリ110には、周辺機器20を特定するための情報が記憶される。周辺機器20を特定するための情報は、周辺機器20の固体名及び機器種別等である。さらに、メモリ110には、周辺機器20の呼び名の情報が記憶される。周辺機器20の呼び名の情報は、中央制御機器10が周辺機器20からの通知又は話題をユーザに対して報告するときに用いられる情報である。呼び名の情報は、例えば「PC1」、「スマホ1」、「カメラ1」、「カメラ2」といった、ユーザが識別し易い呼び名の情報であればよい。中央制御機器10は、新規の周辺機器20を通信システム1に登録するときに、周辺機器20を特定するための情報及び周辺機器20の呼び名の情報をメモリ110に記憶する。メモリ110は、単一であっても複数であってもよい。また、メモリ110は、中央制御機器10に内蔵されていなくてもよい。つまり、メモリ110は、その一部又は全部が中央制御機器10の外部にあってもよい。
通信回路112は、中央制御機器10が外部の機器と通信するための回路を含む。例えば、通信回路112は、第1通信回路と、第2通信回路と含む。第1通信回路は、例えばBluetooth(登録商標)Low Energy(BLE)といった低消費電力の通信のための通信回路である。また、第2通信回路は、例えばWi−Fi(登録商標)といった大容量通信のための通信回路である。さらに、通信回路112は、第4世代(4G)携帯電話回線等の携帯電話通信のための通信回路を含んでいてもよい。
図3は、周辺機器20の一例の構成を示すブロック図である。図3に示すように、周辺機器20は、制御回路202と、主機能回路群204と、表示素子206と、操作部材208と、メモリ210と、通信回路212とを有する。
制御回路202は、メモリ210に記憶されているプログラムに従って、周辺機器20の各ブロックの動作を制御する。制御回路202は、CPU、GPU、ASIC、FPGA、メインメモリといったハードウェアを備えている。制御回路202は、単独のCPU等によって構成されてもよいし、複数のCPU等によって構成されてもよい。また、制御回路202の一部の機能は、ソフトウェアによって実現されてもよい。
主機能回路群204は、周辺機器20の主要な機能に関連する回路群である。したがって、主機能回路群204は、周辺機器20の種類に応じて異なる回路群を有することになる。例えば、周辺機器20がデジタルカメラであるときには、主機能回路群204は、撮像素子を含む。また、例えば、周辺機器20がテレビであるときには、主機能回路群204は、液晶ディスプレイ等の表示素子を含む。また、例えば周辺機器20がスマートエアコンであるときには、主機能回路群204は、冷暖房に係る回路等を含む。
表示素子206は、各種の画像を表示する。表示素子206は、液晶ディスプレイ又は有機ELディスプレイといった表示素子である。周辺機器によっては、表示素子206はなくてもよい。また、画像は、必ずしも表示素子206に表示される必要はない。例えば、画像は、周辺機器20と通信できる場所にあるテレビモニタに表示されてもよい。
操作部材208は、ボタン、スイッチ、ダイヤルといった機械的な操作部材を含む。また、操作部材208は、タッチパネルを含んでいてもよい。タッチパネルは、例えば表示素子206の表示画面と一体的に設けられる。
メモリ210は、フラッシュメモリといったメモリである。メモリ210には、周辺機器20で用いられる種々のプログラムが記憶される。メモリ210は、単一であっても複数であってもよい。また、メモリ210は、周辺機器20に内蔵されていなくてもよい。つまり、メモリ210は、その一部又は全部が周辺機器20の外部にあってもよい。
通信回路212は、周辺機器20が外部の機器と通信するための回路を含む。例えば、通信回路212は、第1通信回路と、第2通信回路と含む。第1通信回路は、例えばBLEといった低消費電力の通信のための通信回路である。また、第2通信回路は、例えばWi−Fiといった大容量通信のための通信回路である。
次に、通信システム1の動作の概要を説明する。図4は、通信システム1の動作の概要を説明するための図である。図4において、通信システム1は、例えばユーザAの家の中に設置される。図4に示すように、中央制御機器10は、周辺機器20の1つであるデジタルカメラ20aと通信できるように配置される。また、中央制御機器10は、デジタルカメラ20a以外の周辺機器20である、情報機器群20b、AV機器群20c、スマート家電群20d、ホームセキュリティ機器群20eとも通信できるように配置される。
図4のような状況において、例えば、ユーザAが「今日の写真、おばあちゃんに見せようかな?」と中央制御機器10に向けてつぶやいたとする。このとき、中央制御機器10は、ユーザAが発した音声の内容を解釈する。そして、中央制御機器10は、解釈した音声の内容から対応を判断する。ここで、本実施形態では、デジタルカメラ20aから自発的に各種の話題が提供される。この提供される話題の中に、例えば「本日の撮影済みの画像の情報」といった話題が含まれている。中央制御機器10は、ユーザの音声に含まれる「今日の写真」という内容が含まれていることから、デジタルカメラ20aから提供されている「本日の撮影済みの画像の情報」を参照するという判断をする。そして、中央制御機器10は、本日の撮影済みの画像を参照した結果から、例えば「みんなで写っているのがいいですか?」といった提案をユーザAに対して行う。この提案にユーザAがよいと答えると、中央制御機器10は、デジタルカメラ20aに対して画像送信のコマンドを発する。これを受けて、デジタルカメラ20aは、本日撮影済みの画像の中で家族が皆で写っている画像を、ネットワークNを通じてユーザBとしての祖母のスマートホンに送信する。
このように、本実施形態では、周辺機器20が自発的に中央制御機器10に対して「話題」を提供する。このため、中央制御機器10は、ユーザからの「命令」がない場合であっても適切な提案等をし易くなる。また、中央制御機器10は、ユーザの単なるつぶやきといった中央制御機器10に対する「命令」でない言葉に対しても、適切な提案等をし易くなる。
図5A及び図5Bは、第1の実施形態における中央制御機器10と周辺機器20との間の情報伝達について説明するための図である。本実施形態では、中央制御機器10と周辺機器20との間の情報伝達は3種類に大別される。
第1の情報伝達は、ユーザからの指示に基づいて周辺機器20に対して所定の動作を実行させることを目的としている。第1の情報伝達では、ユーザから与えられた指示に基づいたコマンドが中央制御機器10から周辺機器20に対して伝達される。第1の情報伝達の場合、周辺機器20は、中央制御機器10によって伝達されたコマンドに従って動作する。
第2の情報伝達は、ユーザに対する通知を目的としている。第2の情報伝達では、周辺機器20から伝達された情報が中央制御機器10に対して伝達される。第2の情報伝達の場合、中央制御機器10は、周辺機器20から伝達された情報を、例えばスピーカから音声を発することでユーザに通知する。このように、第2の情報伝達で伝達される情報の使い方は、通知に限定される。
第3の情報伝達は、中央制御機器10又はユーザに対する話題の提供を目的としている。第3の情報伝達では、周辺機器20から中央制御機器10に話題の提供のための情報が伝達される。ここでの話題は、周辺機器20がどのような機器でどのようなことができるかといったことを示すための話題である。この話題は、周辺機器20が現在の状況に関する情報と周辺機器20の機能に関する情報との少なくとも何れかに関連した、中央制御機器10又はユーザに対する「提案」のための情報を含む。第3の情報伝達の場合、中央制御機器10は、周辺機器20から伝達された情報を用いて種々の判断をする。そして、中央制御機器10は、必要に応じてユーザに対して例えば音声による提案をしたり、周辺機器20の制御をしたり、後の別の判断のために情報を蓄積したりする。このように、第3の情報伝達で伝達される話題の提供のための情報の使い方は、中央制御機器10によって判断される。
図5Aでは、情報機器群の例として、PC、スマートホン、デジタルカメラ、ボイスレコーダが挙げられている。
中央制御機器10とPCとの間の第1の情報伝達として、中央制御機器10は、ユーザからの電源オン又はオフ、アプリの起動又は終了といった指示に基づいて、PCに対してコマンドを発行する。
中央制御機器10とPCとの間の第2の情報伝達として、PCは、OSのアップデート通知、アプリのアップデート通知、To Doの通知、エラー通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10とPCとの間の第3の情報伝達として、PCは、ユーザのスケジュールの報告、使用されていないアプリの報告、特定のコンテンツの再生の提案、特定のコンテンツのシェアの提案といった情報を中央制御機器10に伝達する。ここでのコンテンツは、画像、映像、又は音声である。なお、ここでの映像は、動画映像のことを意味している。また、シェアとは、他の周辺機器との情報の共有のことを意味している。
中央制御機器10とスマートホンとの間の第1の情報伝達として、中央制御機器10は、ユーザからの電源オン又はオフ、アプリの起動又は終了といった指示に基づいて、スマートホンに対してコマンドを発行する。
中央制御機器10とスマートホンとの間の第2の情報伝達として、スマートホンは、OSのアップデート通知、アプリのアップデート通知、To Doの通知、エラー通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10とスマートホンとの間の第3の情報伝達として、スマートホンは、ユーザのスケジュールの報告、使用されていないアプリの報告、特定のコンテンツの再生の提案、特定のコンテンツのシェアの提案といった情報を中央制御機器10に伝達する。
中央制御機器10とデジタルカメラとの間の第1の情報伝達として、中央制御機器10は、ユーザからの電源オン又はオフ、撮影開始又は終了、画像の再生又は終了、各種の設定といった指示に基づいて、デジタルカメラに対してコマンドを発行する。
中央制御機器10とデジタルカメラとの間の第2の情報伝達として、デジタルカメラは、電池残量が無くなったことの通知、メモリ残量が無くなったことの通知、設定完了の通知、エラー通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10とデジタルカメラとの間の第3の情報伝達として、デジタルカメラは、充電の提案、メモリ交換の提案、本日の撮影済み画像の情報、これまでの撮影済み画像の情報、特定の画像の再生の提案、特定の画像のシェアの提案、特定の画像の編集の提案、特定の画像の整理の提案といった情報を中央制御機器10に伝達する。
本日の撮影済み画像の情報は、例えば、本日の撮影済みの画像の有無、本日の撮影済み画像の累計の枚数、本日の撮影済みの画像の中でのスナップ写真の枚数、本日の撮影済みの画像の中での集合写真の枚数、本日の撮影済みの画像の中での風景写真の枚数、本日の撮影済みの画像の中での動画の数、本日の撮影済みの画像の中での失敗画像の数といった情報を含む。
これまでの撮影済み画像の情報は、ユーザのこれまでの撮影の履歴情報である。これまでの撮影済み画像の情報は、例えば、これまでの累計の撮影枚数、スナップ写真の累計の枚数、集合写真の累計の枚数、風景写真の累計の枚数、動画の累計の数、失敗画像の累計の枚数といった情報を含む。再生の提案がされる特定の画像は、本日の撮影済みの画像、再生回数の少ない画像、ユーザによるお気に入り設定のタグ付けがされた画像等である。シェアの提案がされる特定の画像は、本日の撮影済みの画像、集合写真、シェアされたことがない画像等である。編集の提案がされる特定の画像は、未編集の音声、再生回数の少ない画像等である。整理の提案がされる特定の画像は、失敗画像、重複している画像等である。
中央制御機器10とボイスレコーダとの間の第1の情報伝達として、中央制御機器10は、ユーザからの電源オン又はオフ、録音開始又は終了、音声の再生又は終了、各種の設定といった指示に基づいて、ボイスレコーダに対してコマンドを発行する。
中央制御機器10とボイスレコーダとの間の第2の情報伝達として、ボイスレコーダは、電池残量の通知、メモリ残量の通知、設定完了の通知、エラー通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10とボイスレコーダとの間の第3の情報伝達として、ボイスレコーダは、充電の提案、メモリ交換の提案、本日の録音済み音声の情報、これまでの録音済み音声の情報、特定の音声の再生の提案、特定の音声のシェアの提案、特定の音声の編集の提案、特定の音声の整理の提案といった情報を中央制御機器10に伝達する。再生の提案がされる特定の音声は、本日の録音済みの音声、再生回数の少ない音声、ユーザによるお気に入り設定のタグ付けがされたお気に入りの音声等である。シェアの提案がされる特定の音声は、本日の録音済みの音声、シェアされたことがない音声等である。編集の提案がされる特定の音声は、未編集の音声、再生回数の少ない音声等である。整理の提案がされる特定の音声は、失敗音声、重複している音声等である。
また、図5Aでは、AV機器群の例として、テレビ、音響機器、録画機器が挙げられている。
中央制御機器10とテレビとの間の第1の情報伝達として、中央制御機器10は、ユーザからの電源オン又はオフ、チャンネルの変更、番組表の表示、各種設定といった指示に基づいて、テレビに対してコマンドを発行する。
中央制御機器10とテレビとの間の第2の情報伝達として、テレビは、視聴予約している番組の開始の通知、設定完了の通知、エラー通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10とテレビとの間の第3の情報伝達として、テレビは、おすすめ番組の提案といった情報を中央制御機器10に伝達する。
中央制御機器10と音響機器との間の第1の情報伝達として、中央制御機器10は、ユーザからの電源オン又はオフ、音楽再生の開始又は終了、各種設定といった指示に基づいて、音響機器に対してコマンドを発行する。
中央制御機器10と音響機器との間の第2の情報伝達として、音響機器は、音楽の再生開始又は終了の通知、設定完了の通知、エラー通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10と音響機器との間の第3の情報伝達として、音響機器は、おすすめ音楽の提案、聞いていない音楽の再生の提案といった情報を中央制御機器10に伝達する。
中央制御機器10と録画機器との間の第1の情報伝達として、中央制御機器10は、ユーザからの電源オン又はオフ、映像再生の開始又は終了、各種設定といった指示に基づいて、録画機器に対してコマンドを発行する。
中央制御機器10と録画機器との間の第2の情報伝達として、録画機器は、映像の再生開始又は終了の通知、録画開始又は終了の通知、設定完了の通知、エラー通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10と録画機器との間の第3の情報伝達として、録画機器は、おすすめ番組の提案、見ていない映像の再生の提案といった情報を中央制御機器10に伝達する。
また、図5Bでは、スマート家電群の例として、冷蔵庫、エアコン、掃除機、トイレ、照明機器が挙げられている。
中央制御機器10と冷蔵庫との間の第1の情報伝達として、中央制御機器10は、貯蔵物の確認、庫内の食材を利用したレシピ表示、各種設定といった指示に基づいて、冷蔵庫に対してコマンドを発行する。
中央制御機器10と冷蔵庫との間の第2の情報伝達として、冷蔵庫は、貯蔵物の許容量オーバーの通知、製氷用の水不足の通知、設定完了の通知、エラー通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10と冷蔵庫との間の第3の情報伝達として、冷蔵庫は、貯蔵物の情報、本日の献立の提案といった情報を中央制御機器10に伝達する。
中央制御機器10とエアコンとの間の第1の情報伝達として、中央制御機器10は、ユーザからの電源オン又はオフ、温度変更、各種設定といった指示に基づいて、エアコンに対してコマンドを発行する。
中央制御機器10とエアコンとの間の第2の情報伝達として、エアコンは、クリーニングの開始又は終了の通知、設定完了の通知、エラー通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10とエアコンとの間の第3の情報伝達として、エアコンは、温度変化に伴うエアコン利用の提案、温度変更の提案といった情報を中央制御機器10に伝達する。
中央制御機器10と掃除機との間の第1の情報伝達として、中央制御機器10は、ユーザからの清掃の開始又は終了、各種設定といった指示に基づいて、掃除機に対してコマンドを発行する。
中央制御機器10と掃除機との間の第2の情報伝達として、掃除機は、清掃の開始又は終了の通知、設定完了の通知、エラー通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10と掃除機との間の第3の情報伝達として、掃除機は、清掃開始の提案といった情報を中央制御機器10に伝達する。
中央制御機器10と照明機器との間の第1の情報伝達として、中央制御機器10は、ユーザからの電源オン又はオフ、各種設定といった指示に基づいて、照明機器に対してコマンドを発行する。
中央制御機器10と照明機器との間の第2の情報伝達として、照明機器は、設定完了の通知、エラー通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10と照明機器との間の第3の情報伝達として、照明機器は、明るさ調整の提案といった情報を中央制御機器10に伝達する。
また、図5Bでは、ホームセキュリティ機器群の例として、インターホン、監視カメラ、電子錠が挙げられている。
中央制御機器10とインターホンとの間の第1の情報伝達として、中央制御機器10は、外部の映像の表示のオン又はオフ、記録画像再生の開始又は終了、各種設定といった指示に基づいて、インターホンに対してコマンドを発行する。
中央制御機器10とインターホンとの間の第2の情報伝達として、インターホンは、来訪者の通知、エラー通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10とインターホンとの間の第3の情報伝達として、インターホンは、記録画像の再生の提案といった情報を中央制御機器10に伝達する。
中央制御機器10と監視カメラとの間の第1の情報伝達として、中央制御機器10は、電源のオン又はオフ、映像再生の開始又は終了、各種設定といった指示に基づいて、監視カメラに対してコマンドを発行する。
中央制御機器10と監視カメラとの間の第2の情報伝達として、監視カメラは、不審者の通知、エラー通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10と監視カメラとの間の第3の情報伝達として、監視カメラは、記録映像の再生の提案といった情報を中央制御機器10に伝達する。
中央制御機器10と電子錠との間の第1の情報伝達として、中央制御機器10は、施錠又は開錠といった指示に基づいて、電子錠に対してコマンドを発行する。
中央制御機器10と電子錠との間の第2の情報伝達として、電子錠は、施錠又は開錠の通知、その他の通知といった通知を中央制御機器10に伝達する。
中央制御機器10と電子錠との間の第3の情報伝達として、電子錠は、メンテナンスの提案といった情報を中央制御機器10に伝達する。
ここで、図5A及び図5Bで示した第1の情報伝達、第2の情報伝達、第3の情報伝達の内容は、一例である。第1の情報伝達、第2の情報伝達、第3の情報伝達の中に、図5A及び図5Bで示したもの以外が含まれてもよいし、図5A及び図5Bで示したものの一部がなくてもよい。
次に、通信システム1の動作を説明する。図6は、第1の実施形態における周辺機器20の動作を示すフローチャートである。図6の動作は、周辺機器20の制御回路202によって制御される。図6で示す動作は、周辺機器20の電源がオンであるとき及びオフであるときの何れにおいても行われてよい。
ステップS1において、制御回路202は、ユーザによる操作部材208の操作があるか否かを判定する。ステップS1において、ユーザによる操作部材208の操作があると判定されたときには、処理はステップS2に移行する。ステップS1において、ユーザによる操作部材208の操作がないと判定されたときには、処理はステップS3に移行する。
ステップS2において、制御回路202は、ユーザによって操作された操作部材208に応じた動作を実行する。動作の実行後、処理はステップS1に戻る。操作部材208に応じた動作は、例えば、電源スイッチのオン操作に伴う周辺機器20の電源のオン又は電源スイッチのオフ操作に伴う周辺機器20の電源のオフである。この他、操作部材208に応じた動作は、操作部材208の操作に応じた各種の設定の動作である。
ステップS3において、制御回路202は、中央制御機器10からのコマンドを受信したか否かを判定する。ステップS3において、中央制御機器10からのコマンドを受信したと判定されたときには、処理はステップS4に移行する。ステップS3において、中央制御機器10からのコマンドを受信していないと判定されたときには、処理はステップS5に移行する。
ステップS4において、制御回路202は、コマンドに応じた動作を実行する。動作の実行後、処理はステップS1に戻る。コマンドに応じた動作は、図5A及び図5Bの第1の情報伝達として示した、電源オンのコマンドに伴う周辺機器20の電源のオン又は電源オフのコマンドに伴う周辺機器20の電源のオフである。この他、コマンドに応じた動作は、図5A及び図5Bの第1の情報伝達として示した、各種の設定の動作である。
ステップS5において、制御回路202は、通知を送信するか否かを判定する。この判定において、制御回路202は、周辺機器20の状況をチェックする。そして、制御回路202は、図5A及び図5Bの第2の情報伝達として示した、何れかの通知の条件に合致したときには、通知を送信すると判定する。ステップS5において、通知を送信すると判定されたときには、処理はステップS6に移行する。ステップS5において、通知を送信しないと判定されたときには、処理はステップS7に移行する。
例えば、周辺機器20がデジタルカメラであれば、制御回路202は、電池残量があるか否か、メモリ210の容量があるか否か、ユーザによって指示された設定が完了したか否か、エラーが発生しているか否か、その他の通知をする必要があるか否かといった各種の判定を行う。そして、制御回路202は、何れかの条件に該当するときには、通知を送信すると判定する。ここで、中央制御機器10から通知済みであると報告された通知については再度の送信をする必要はないと判定されてもよい。
ステップS6において、制御回路202は、送信すると判定した通知を、通信回路212を用いて送信する。その後、処理はステップS1に戻る。このとき、制御回路202は、これから送信する情報が通知であることを示す情報を通知に含めてもよい。
ここで、送信すると判定した通知の中に繰り返し報告の必要性がある通知が含まれているときには、制御回路202は、通知に繰り返し情報を関連付ける。繰り返し情報は、同一の通知の繰り返し報告の必要性の有り又は無しの情報である。例えば、エラー通知は、エラーが解消されるまで行われたほうがよいものである。このような通知には、制御回路202は、繰り返し情報を関連付ける。さらに、送信すると判定した通知の中に特定のユーザについての情報が含まれているときには、制御回路202は、その通知にセキュリティ情報を関連付ける。セキュリティ情報は、例えばユーザ名である。例えば、スマートホンは個人使用が想定される機器である。したがって、スマートホンからの通知は、そのスマートホンのユーザにだけされればよい。このため、周辺機器20がスマートホンであるときには、制御回路202は、通知にセキュリティ情報を関連付ける。
ステップS7において、制御回路202は、話題の提供のための情報を送信するか否かを判定する。以下、話題の提供のための情報を話題情報と言う。この判定において、制御回路202は、図5A及び図5Bの第3の情報伝達として示した、話題の提供の条件に合致したときには、話題情報を送信すると判定する。ステップS7において、話題情報を送信すると判定されたときには、処理はステップS8に移行する。ステップS7において、話題情報を送信しないと判定されたときには、処理はステップS1に戻る。
例えば、周辺機器20がデジタルカメラであれば、制御回路202は、電池残量が予め定められた量よりも少ないか否か、メモリ容量が予め定められた量よりも少ないか否か、本日の撮影済み画像があるか否か、再生の提案の対象の画像があるか否か、シェアの提案の対象の画像があるか否か、編集の提案の対象の画像があるか否か、整理の提案の対象の画像があるか否かといった各種の判定を行う。そして、制御回路202は、何れかの条件に該当するときには、話題情報を送信すると判定する。
ステップS8において、制御回路202は、送信すると判定した話題情報を、通信回路212を用いて送信する。このとき、制御回路202は、これから送信する情報が話題情報であることを示す情報を話題情報に含めてもよい。その後、処理はステップS1に戻る。
ここで、送信すると判定した話題情報の中に繰り返し報告の必要性がある情報が含まれているときには、制御回路202は、その話題情報に繰り返し情報を関連付ける。繰り返し情報は、同一の話題情報の繰り返し報告の必要性の有り又は無しの情報である。例えば、デジタルカメラにおける充電の提案は、充電が行われるまで行われたほうがよいものである。このような話題提案には、制御回路202は、繰り返し情報を関連付ける。さらに、送信すると判定した話題情報の中に特定のユーザについての情報が含まれているときには、制御回路202は、その話題情報にセキュリティ情報を関連付ける。セキュリティ情報は、例えばユーザ名である。例えば、画像の再生又はシェアの提案は、その画像の撮影場所によっては個人のプライバシーに触れるおそれがある。このような場合、制御回路202は、話題情報にセキュリティ情報を関連付ける。
図7は、第1の実施形態における中央制御機器10の動作を示すフローチャートである。図7の動作は、中央制御機器10の制御回路102等で実現されるAIアシスタントによって制御される。
ステップS101において、AIアシスタントは、ユーザの音声の入力があるか否かを判定する。ステップS101において、ユーザの音声の入力があると判定されたときには、処理はステップS102に移行する。ステップS101において、ユーザの音声の入力がないと判定されたときには、処理はステップS103に移行する。中央制御機器10に特定の起動ワードが設定されているときもある。この場合のステップS101では、AIアシスタントは、ユーザが起動ワードを発するまで、その他の音声の入力を受け付けなくてもよい。また、ステップS101では、AIアシスタントは、予め登録されている人以外の音声の入力を受け付けなくてもよい。
ステップS102において、AIアシスタントは、入力された音声を認識し、認識した音声に対応した動作を実行する。その後、処理はステップS101に戻る。AIアシスタントは、例えば、入力された音声が周辺機器20に対する指示を含むものであれば、AIアシスタントは、指示に応じたコマンドを対応する周辺機器20に通信回路112を用いて送信する。また、入力された音声が特定の音楽の再生指示を含むものであれば、AIアシスタントは、必要に応じてインターネットを検索しつつ、音声出力回路108から音楽を再生する。また、入力された音声がニュースの再生指示を含むものであれば、AIアシスタントは、必要に応じてインターネットを検索しつつ、音声出力回路108からニュースを再生する。さらには、AIアシスタントは、必要に応じて、ユーザの音声の内容と周辺機器20から提供された話題情報とを併用して対応を判断してもよい。例えば、図4で示したように、AIアシスタントは、ユーザからの「今日の写真、おばあちゃんに見せようかな?」とのつぶやきに対してデジタルカメラから提供された「本日の撮影済みの画像の情報」を用いて対応してもよい。
ステップS103において、AIアシスタントは、周辺機器20から通知を受信したか否かを判定する。ステップS103において、周辺機器20から通知を受信したと判定されたときには、処理はステップS104に移行する。ステップS103において、周辺機器20から通知を受信していないと判定されたときには、処理はステップS107に移行する。
ステップS104において、AIアシスタントは、通知が特定のユーザについてのものであるか否かを判定する。通知にセキュリティ情報が関連付けられているときには、通知が特定のユーザについてのものであると判定される。ステップS104において、通知が特定のユーザについてのものであると判定されたときには、処理はステップS105に移行する。ステップS104において、通知が特定のユーザについてのものでないと判定されたときには、処理はステップS106に移行する。
ステップS105において、AIアシスタントは、音声出力回路108のスピーカを用いた音声による通知を行う。例えば、AIアシスタントは、「カメラ1の電池が無くなりました」といった通知を行う。ここで、ステップS105において、AIアシスタントは、ユーザが近くにいるときにだけ通知を行ってもよい。ステップS106において、AIアシスタントは、通信回路112を用いて、特定のユーザのスマートホンに周辺機器20からの通知を含む電子メールを送信する。ここで、ステップS106において、AIアシスタントは、特定のユーザだけが近くにいるときには音声による通知を行ってもよい。ステップS105又はステップS106の後、処理はステップS107に移行する。ここで、通知に繰り返し情報が関連付けられているときには、AIアシスタントは、ユーザからの報告不要の指示を受けるまで定期的に通知を行う。
ステップS107において、AIアシスタントは、通知を行ったことを、通信回路112を用いて周辺機器20に通知する。その後、処理はステップS101に戻る。
ステップS108において、AIアシスタントは、周辺機器20から話題情報を受信したか否かを判定する。ステップS108において、周辺機器20から話題情報を受信したと判定されたときには、処理はステップS109に移行する。ステップS108において、周辺機器20から話題情報を受信していないと判定されたときには、処理はステップS112に移行する。
ステップS109において、AIアシスタントは、提供された話題情報に基づいて対応を判断する。その後、処理はステップS110に移行する。例えば、充電の提案が話題情報として提供されたときには、AIアシスタントは、ユーザに対して充電の提案をするか否かを判断する。例えば、画像編集の提案が話題情報として提供されたときには、AIアシスタントは、画像の編集の提案をするか否かを判断する。AIアシスタントは、複数の周辺機器20から提供された話題情報を統合して対応を判断してもよい。例えば、PC又はスマートホンからコンテンツのシェアの提案を受け、また、デジタルカメラから画像のシェアの提案を受けたときに、AIアシスタントは、デジタルカメラの画像をPC又はスマートホンに転送する提案することを対応として決めてよい。さらに、AIアシスタントは、複数の周辺機器20にわたる対応を決めてもよい。例えば、PC又はスマートホンによってユーザの外出の予定を把握したときに、AIアシスタントは、外出中に掃除機による清掃を実施させたり、外出中によくユーザによって持ち出される食べ物や飲み物を冷蔵庫に調査させたりすることを対応として決めてよい。また、同時に、AIアシスタントは、外出時にデジタルカメラを携帯させることをユーザに提案することを対応として決めてよい。また、周辺機器20から提供された話題情報によって決められる対応は、1つに限られないこともある。この場合、AIアシスタントは、複数の対応のうちの1つをユーザに選択させることを決めてもよい。
ステップS110において、AIアシスタントは、判断に応じた動作を実行する。その後、処理はステップS111に移行する。例えば、AIアシスタントは、ユーザに対して、「カメラ1から充電が提案されています」といったようにして充電を提案したり、「カメラ1に未編集の画像があるようです」といったようにして未編集の画像の編集を提案したりする。ここで、ステップS110において、AIアシスタントは、ユーザが近くにいるときにだけ提案等を行ってもよい。また、提供された話題情報にセキュリティ情報が関連付けられているときには、提案は、音声以外の例えば電子メールによって行われる。また、AIアシスタントは、特定のユーザだけが近くにいるときには音声による提案等を行ってもよい。また、提供された話題情報に繰り返し情報が関連付けられているときには、AIアシスタントは、ユーザからの報告不要の指示を受けるまで定期的に提案等を行う。また、判断の結果、中央制御機器10に話題情報を蓄積しておくだけとなる場合も考えられる。このような場合には、AIアシスタントは特に何も行わない。ステップS110において蓄積された話題情報は、例えばユーザからの音声の入力があったとき又は別の話題情報の提供があったときに用いられてよい。
ステップS111において、AIアシスタントは、提供された話題情報に基づいて対応を行ったことを、周辺機器20に通信回路112を用いて通知する。その後、処理はステップS101に戻る。なお、複数の周辺機器20にまたがった対応が行われているときは、AIアシスタントは、それぞれの周辺機器に通知する。
ステップS112において、AIアシスタントは、ユーザに対して新規に報告すべき話題があるか否かを判定する。ステップS112における話題は、例えばニュース又は天気予報といった、周辺機器20から提供される話題情報との関連の少ない話題である。ステップS112において、ユーザに対して新規に報告すべき話題があると判定されたときには、処理はステップS113に移行する。ステップS112において、ユーザに対して新規に報告すべき話題がないと判定されたときには、処理はステップS101に戻る。
ステップS113において、AIアシスタントは、例えば音声出力回路108のスピーカを用いた音声によってユーザに対して話題を報告する。その後、処理はステップS101に戻る。
以上説明したように本実施形態によれば、中央制御機器と周辺機器とを備えた通信システムにおいて、周辺機器は、話題となり得る話題情報を自発的に中央制御機器に提供する。これにより、中央制御機器のAIアシスタントは種々の判断をし易くなることが期待される。また、周辺機器が話題となり得る話題情報を自発的に中央制御機器に提供することで、周辺機器のそれぞれの利用価値が高められることも期待される。
[第2の実施形態]
次に、第2の実施形態について説明する。第2の実施形態は、第1の実施形態に比べて低消費電力の通信を利用して第2の情報伝達及び第3の情報伝達を行うものである。以下、第1の実施形態と異なる点を中心に説明する。例えば、第2の実施形態であっても、通信システム1としての基本的な構成は、図1−図3で示したものが適用される。したがって、通信システム1としての基本的な構成についての説明を省略する。また、以下の説明では、周辺機器20は、デジタルカメラであるとして説明する。しかしながら、第2の実施形態の技術は、デジタルカメラ以外の各種の周辺機器に対して適用される。
第2の実施形態では、第2の情報伝達として伝達される情報が要約と詳細とに分けられている。同様に、第2の実施形態では、第3の情報伝達として伝達される情報が要約と詳細とに分けられている。
要約は、中央制御機器10に対して伝達すべき情報の要約の情報である。要約は、詳細に比べてデータ量の小さい情報である。この要約は、アドバタイジング信号に含まれて送信される。アドバタイジング信号は、周辺機器20と中央制御機器10との第1通信回路による通信接続を確立するにあたり、周辺機器20を中央制御機器10に発見してもらうために送信される低消費電力の信号である。アドバタイジング信号を検出した中央制御機器10は、周辺機器20に対して接続許可の信号を発行する。これによって、周辺機器20と中央制御機器10との通信が確立される。このようなアドバタイジング信号を利用することで低消費電力の通信が行われ得る。アドバタイジング信号は、低消費電力の信号であるため、大容量の情報を含めることが困難である。このため、第2の実施形態では、中央制御機器10に対して伝達すべき情報の要約だけがアドバタイジング信号に含められている。
詳細は、中央制御機器10に対して伝達すべき情報の詳細である。詳細を含む詳細情報は、中央制御機器10からの要求を受けたときに周辺機器20から中央制御機器10に送信される。詳細情報は、中央制御機器10と周辺機器20との間の第2通信回路による通信が確立した後で送信される。
図8は、第2の情報伝達として通信されるアドバタイジング信号と詳細情報の内容の一例を示した図である。
図8に示すように、第2の情報伝達におけるアドバタイジング信号は、UUID(Universally Unique Identifier)を含む。UUIDは、周辺機器毎に一意に割り当てられるIDである。中央制御機器10は、アドバタイジング信号に含まれるUUIDによって周辺機器20を特定する。また、アドバタイジング信号は、通知の要約として、例えば電池残量の有り又は無しの情報、メモリ残量の有り又は無しの情報、設定完了の有り又は無しの情報、エラーの有り又は無しの情報、その他の通知の有り又は無しの情報、繰り返しの通知の必要性を示す繰り返し情報と、通知が特定のユーザに対するであることを示すセキュリティ情報とを含む。
図8に示すように、詳細情報は、通知の詳細として、例えば設定の詳細、エラーの詳細を含む。設定の詳細は、例えばどのような設定がどのように完了したかを示す。エラーの詳細は、例えばどのようなエラーが発生したかを示す。エラーの詳細は、例えばエラーの対処方法を含んでいてもよい。
ここで、図8で示したアドバタイジング信号と詳細情報の内容は、一例である。アドバタイジング信号又は詳細情報に、図8で示したもの以外が含まれてもよいし、図8で示したものの一部がなくてもよい。ただし、アドバタイジング信号にはUUIDは、含まれるものとする。また、アドバタイジング信号に含められる「要約」の内容は、情報の有無に限るものではない。アドバタイジング信号の容量の許す限りの情報が「要約」に含められていてよい。また、「要約」の内容は、圧縮されてアドバタイジング信号に含められてもよい。
図9A、図9B及び図9Cは、第3の情報伝達として通信されるアドバタイジング信号と詳細情報の内容の一例を示した図である。
図9A、図9B及び図9Cに示すように、第3の情報伝達におけるアドバタイジング信号も、UUIDを含む。また、第3の情報伝達におけるアドバタイジング信号は、要約として、電池残量に関する話題と、メモリ残量に関する話題と、画像活用に関する話題と、本日の撮影済み画像に関する話題と、これまでの撮影済み画像に関する話題と、カメラの使用に関する話題と、その他の話題と、繰り返しの話題の報告の必要性を示す繰り返し情報と、話題が特定のユーザに対するであることを示すセキュリティ情報とを含む。
さらに、デジタルカメラの購入時に送信されるアドバタイジング信号と、撮影前に送信されるアドバタイジング信号と、撮影後の夜に送信されるアドバタイジング信号と、その他の状況で送信されるアドバタイジング信号とは異なる情報を含み得る。
購入時のアドバタイジング信号は、電池残量に関する話題の要約として、充電の提案の有り又は無しの情報を含む。購入時のアドバタイジング信号は、メモリ残量に関する話題の要約として、メモリの交換の提案の有り又は無しの情報を含む。購入時のアドバタイジング信号は、画像活用に関する話題の要約として、サンプル画像の有り又は無しの情報を含む。購入時のアドバタイジング信号は、カメラの使用に関する話題の要約として、使用の提案の有り又は無しの情報を含む。購入時のアドバタイジング信号は、その他の話題の要約として、話題の有り又は無しの情報を含む。購入時のアドバタイジング信号は、繰り返し情報を含む。購入時のアドバタイジング信号は、セキュリティ情報を含む。
撮影前のアドバタイジング信号は、電池残量に関する話題の要約として、充電の提案の有り又は無しの情報を含む。撮影前のアドバタイジング信号は、メモリ残量に関する話題の要約として、メモリ交換の提案の有り無しの情報を含む。撮影前のアドバタイジング信号は、画像活用に関する話題の要約として、サンプル画像の有り又は無しの情報を含む。撮影前のアドバタイジング信号は、その他の情報の要約として、話題の有り又は無しの情報を含む。撮影前のアドバタイジング信号は、繰り返し情報を含む。撮影前のアドバタイジング信号は、セキュリティ情報を含む。
撮影後の夜のアドバタイジング信号は、電池残量に関する話題の要約として、充電の提案の有り又は無しの情報を含む。撮影後の夜のアドバタイジング信号は、メモリ残量に関する話題の要約として、メモリの交換の提案の有り又は無しの情報を含む。撮影後の夜のアドバタイジング信号は、画像活用に関する話題の要約として、画像再生の提案、画像シェアの提案、画像編集、画像整理の提案のそれぞれの有り又は無しの情報を含む。撮影後の夜のアドバタイジング信号は、本日の撮影済み画像の情報の要約として、本日の撮影済み画像の情報の有り又は無しの情報を含む。撮影後の夜のアドバタイジング信号は、これまでの撮影済み画像の情報の要約として、これまでの撮影済み画像の情報の有り又は無しの情報を含む。撮影後の夜のアドバタイジング信号は、カメラの使用に関する話題の要約として、使用の提案の有り又は無しの情報を含む。撮影後のアドバタイジング信号は、その他の話題の要約として、話題の有り又は無しの情報を含む。撮影後の夜のアドバタイジング信号は、繰り返し情報を含む。撮影後の夜のアドバタイジング信号は、セキュリティ情報を含む。
その他、購入時、撮影前、撮影後の夜の何れにも該当しない場合であっても、例えば電池残量が少ないときには、電池残量に関する話題の要約として、充電の提案の有り又は無しの情報を含むアドバタイジング信号が送信される。また、メモリ残量が少ないときには、メモリ残量に関する話題の要約として、メモリ交換の提案の有り又は無しの情報を含むアドバタイジング信号が送信される。また、再生、シェア、編集又は整理がされていない画像があるときには、画像活用に関する話題の要約として、画像再生、シェア、編集又は整理の提案の有り又は無しの情報を含むアドバタイジング信号が送信される。また、長期間のデジタルカメラの使用がないときには、カメラの使用に関する提案の有り又は無しの情報とこれまでの撮影済み画像の情報の有り又は無しの情報とを含むアドバタイジング信号が送信される。
図9A、図9B及び図9Cに示すように、第3の情報伝達における詳細情報は、電池残量に関する話題の詳細と、メモリ残量に関する話題の詳細と、画像活用に関する話題の詳細と、本日の撮影済み画像に関する話題の詳細と、これまでの撮影済み画像に関する話題の詳細と、カメラの使用に関する話題の詳細と、その他の話題の詳細とを含む。
さらに、デジタルカメラの購入時に送信される詳細情報と、撮影前に送信される詳細情報と、撮影後の夜に送信される詳細情報と、その他の状況で送信される詳細情報とは異なる情報を含み得る。
購入時の詳細情報は、電池残量に関する話題の詳細として、実際の電池残量の値を含む。購入時の詳細情報は、メモリ残量に関する話題の詳細として、実際のメモリ残量の値を含む。購入時の詳細情報は、画像活用に関する話題の詳細としてサンプル画像の画像ファイル名を含む。購入時の詳細情報は、画像活用に関する話題の詳細としてサンプル画像の画像ファイルそのものを含んでいてもよい。購入時の詳細情報は、カメラの使用に関する話題の詳細として、サンプル画像の画像ファイル及びデジタルカメラの使用方法をアドバイスするための各種のtipsを含む。また、購入時の詳細情報は、その他の話題の詳細として、例えば取扱い説明書を読むことの提案、初期設定の提案、別売品の紹介といった内容を含む。
撮影前の詳細情報は、電池残量に関する話題の詳細として、実際の電池残量の値を含む。撮影前の詳細情報は、メモリ残量に関する話題の詳細として、実際のメモリ残量の値を含む。撮影前の詳細情報は、画像活用に関する話題の詳細として、サンプル画像の画像ファイルを含む。撮影前の詳細情報は、画像活用に関する話題の詳細としてサンプル画像の画像ファイルそのものを含んでいてもよい。撮影前の詳細情報は、その他の話題の詳細として、撮影シーンに応じた特定のアクセサリの使用の提案及びデジタルカメラの使用方法をアドバイスするための各種のtipsを含む。
撮影後の夜の詳細情報は、電池残量に関する話題の詳細として、実際の電池残量の値を含む。撮影後の夜の詳細情報は、メモリ残量に関する話題の詳細として、実際のメモリ残量の値を含む。撮影後の夜の詳細情報は、画像活用に関する話題の詳細として画像再生、画像シェア、画像編集の提案の対象の画像ファイル名を含む。撮影後の夜の詳細情報は、画像活用に関する話題の詳細として画像再生、画像シェア、画像編集の提案の対象の画像ファイルそのものを含んでいてもよい。撮影後の夜の詳細情報は、本日の撮影済み画像の情報の詳細として、本日の累計の撮影枚数、それぞれの撮影毎の撮影対象物、撮影条件、アクセサリの有無の情報を含む。撮影後の夜の詳細情報は、本日の撮影済み画像の情報の詳細として、本日のスナップ写真、集合写真、風景写真、撮影動画の数、これらのそれぞれの撮影毎の撮影対象物、撮影条件、アクセサリの有無の情報を含む。撮影後の夜の詳細情報は、本日の撮影済み画像の情報の詳細として、本日の失敗画像の数、それぞれの失敗の詳細の情報を含む。失敗の情報は、ピンボケの有無、白飛びの有無、黒潰れの有無、類似の写真が多いといった情報を含む。また、失敗の情報は、失敗しないための技術的なアドバイスを含んでいてもよい。撮影後の夜の詳細情報は、これまでの撮影済み画像の情報の詳細として、これまでの累計の撮影枚数、それぞれの撮影毎の撮影対象物、撮影条件、アクセサリの有無の情報を含む。撮影後の夜の詳細情報は、これまでの撮影済み画像の情報の詳細として、これまでのスナップ写真、集合写真、風景写真、撮影動画の数、これらのそれぞれの撮影日付毎の撮影対象物、撮影条件、アクセサリの有無の情報を含む。撮影後の夜の詳細情報は、これまでの撮影済み画像の情報の詳細として、これまでの失敗画像の数、それぞれの失敗の詳細の情報を含む。
その他、購入時、撮影前、撮影後の夜の何れにも該当しない場合であっても、電池残量に関する話題の要約を含むアドバタイジング信号が送信されたときには、実際の電池残量の値を含む詳細情報が送信され得る。また、メモリ残量に関する話題の要約を含むアドバタイジング信号が送信されたときには、実際のメモリ残量の値を含む詳細情報が送信され得る。また、画像活用に関する話題の要約を含むアドバタイジング信号が送信されたときには、画像再生、シェア又は編集の提案の対象の画像ファイル名を含む詳細情報が送信され得る。また、これまでの撮影済み画像の情報の要約を含むアドバタイジング信号が送信されたときには、これまでの撮影済み画像の情報の詳細を含む詳細情報が送信され得る。また、カメラの使用に関する話題の要約を含むアドバタイジング信号が送信されたときには、サンプル画像の画像ファイル名、デジタルカメラの使用方法をアドバイスするための各種のtips、これまでの撮影済み画像の情報の詳細を含む詳細情報が送信され得る。
ここで、図9A、図9B及び図9Cで示したアドバタイジング信号と詳細情報の内容は、一例である。アドバタイジング信号又は詳細情報に、図9A、図9B及び図9Cで示したもの以外が含まれてもよいし、図9A、図9B及び図9Cで示したもの一部がなくてもよい。ただし、アドバタイジング信号にはUUIDは、含まれるものとする。また、アドバタイジング信号に含められる「要約」の内容は、情報の有無に限るものではない。アドバタイジング信号の容量の許す限りの情報が「要約」に含められていてよい。また、「要約」の内容は、圧縮されてアドバタイジング信号に含められてもよい。
次に、通信システム1の動作を説明する。図10は、第2の実施形態における周辺機器20の動作を示すフローチャートである。図10の動作は、周辺機器20の制御回路202によって制御される。図10で示す動作は、周辺機器20の電源がオンであるとき及びオフであるときの何れにおいても行われてよい。
ステップS201において、制御回路202は、ユーザによる操作部材208の操作があるか否かを判定する。ステップS201において、ユーザによる操作部材208の操作があると判定されたときには、処理はステップS202に移行する。ステップS201において、ユーザによる操作部材208の操作がないと判定されたときには、処理はステップS203に移行する。
ステップS202において、制御回路202は、ユーザによって操作された操作部材208に応じた動作を実行する。動作の実行後、処理はステップS201に戻る。
ステップS203において、制御回路202は、中央制御機器10からのコマンドを受信したか否かを判定する。ステップS203において、中央制御機器10からのコマンドを受信したと判定されたときには、処理はステップS204に移行する。ステップS203において、中央制御機器10からのコマンドを受信していないと判定されたときには、処理はステップS205に移行する。
ステップS204において、制御回路202は、コマンドに応じた動作を実行する。動作の実行後、処理はステップS201に戻る。
ステップS205において、制御回路202は、アドバタイジング信号送信処理を行う。アドバタイジング信号送信処理の後、処理はステップS201に戻る。アドバタイジング信号送信処理は、通知又は話題情報を含むアドバタイジング信号を送信するか否かを判定するための処理である。
図11は、アドバタイジング信号送信処理を示すフローチャートである。ステップS301において、制御回路202は、状態チェック処理を行う。その後、処理はステップS302に移行する。状態チェック処理は、通知があるか否か及び話題の提供のための情報があるか否かをチェックする処理である。状態チェック処理については後で詳しく説明する。
ステップS302において、制御回路202は、状態チェック処理の結果から、通知を送信するか否かを判定する。ステップS302において、通知を送信すると判定されたときには、処理はステップS303に移行する。ステップS302において、通知を送信しないと判定されたときには、処理はステップS306に移行する。
ステップS303において、制御回路202は、送信すると判定した通知の要約を含むアドバタイジング信号を、通信回路212を用いて送信する。このとき、制御回路202は、これから送信する情報が通知の要約を含むことを示す情報をアドバタイジング信号に含めてもよい。その後、処理はステップS304に移行する。
ステップS304において、制御回路202は、接続許可とともに詳細の要求があるか否かを判定する。ステップS304において、詳細の要求があると判定されたときには、処理はステップS305に移行する。ステップS304において、詳細の要求がないと判定されたときには、図11の処理は終了する。
ステップS305において、制御回路202は、中央制御機器10から要求された詳細を含む詳細情報を中央制御機器10に例えば通信回路212を用いて送信する。その後、図11の処理は終了する。なお、詳しくは後で説明するが、中央制御機器10は、詳細を要求するときに周辺機器20に対して第1通信回路による通信の接続許可及び第2通信回路による通信の接続要求をする。これを受けて、周辺機器20は、第2通信回路を用いて詳細情報を送信する。前述したように、第2通信回路であれば容量の大きい情報の送信を行うことができる。
ステップS306において、制御回路202は、状態チェック処理の結果から、話題情報を送信するか否かを判定する。ステップS306において、話題情報を送信すると判定されたときには、処理はステップS307に移行する。ステップS306において、話題情報を送信しないと判定されたときには、図11の処理は終了する。
ステップS307において、制御回路202は、送信すると判定した話題情報の要約を含むアドバタイジング信号を、通信回路212の第1通信回路を用いて送信する。このとき、制御回路202は、これから送信する情報が話題情報の要約を含むことを示す情報をアドバタイジング信号に含めてもよい。その後、処理はステップS308に移行する。
ステップS308において、制御回路202は、中央制御機器10から詳細の要求があるか否かを判定する。ステップS308において、詳細の要求があると判定されたときには、処理はステップS309に移行する。ステップS308において、詳細の要求がないと判定されたときには、図11の処理は終了する。
ステップS309において、制御回路202は、中央制御機器10から要求された詳細を含む詳細情報を中央制御機器10に例えば通信回路212を用いて送信する。その後、図11の処理は終了する。なお、詳しくは後で説明するが、中央制御機器10は、詳細を要求するときに周辺機器20に対して第1通信回路による通信の接続許可及び第2通信回路による通信の接続要求をする。これを受けて、周辺機器20は、第2通信回路を用いて詳細情報を送信する。前述したように、第2通信回路であれば容量の大きい情報の送信を行うことができる。
図12A及び図12Bは、状態チェック処理を示すフローチャートである。なお、図12A及び図12Bは、デジタルカメラについての状態チェック処理を示している。ステップS401において、制御回路202は、図8で示した何れかの通知の条件に合致しているか否かを判定する。ステップS401において、制御回路202は、電池残量があるか否か、メモリ容量があるか否か、ユーザによって指示された設定が完了したか否か、エラーが発生しているか否か、その他の通知があるか否かといった各種の判定を行う。そして、制御回路202は、何れかの条件に該当するときには、通知の条件に合致していると判定する。ステップS401において、通知の条件に合致していると判定されたときには、処理はステップS402に移行する。ステップS401において、通知の条件に合致していないと判定されたときには、処理はステップS403に移行する。
ステップS402において、制御回路202は、通知の条件に合致していると判定した通知を「有り」に設定する。ここで、通知の条件に合致していると判定した通知の中に繰り返し連絡の必要性がある通知が含まれているときには、制御回路202は、通知に繰り返し情報を関連付ける。すなわち、制御回路202は、その通知の繰り返し情報の状態を「有り」に設定する。さらに、通知の条件に合致していると判定した通知の中に特定のユーザについての情報が含まれているときには、制御回路202は、その通知にセキュリティ情報を関連付ける。すなわち、制御回路202は、その通知にユーザ名を関連付ける。その後、図12A及び図12Bの処理は終了する。これにより、処理は、図11のステップS302からステップS303に分岐する。
ステップS403において、制御回路202は、現在、デジタルカメラの購入時であるか否かを判定する。購入時は、例えばデジタルカメラに対してユーザ登録がされてからの3か月といった固定の期間である。ステップS403において、現在、デジタルカメラの購入時であると判定されたときには、処理はステップS404に移行する。ステップS403において、現在、デジタルカメラの購入時でないと判定されたときには、処理はステップS406に移行する。
ステップS404において、制御回路202は、購入時に話題として提供する情報の中で、中央制御機器10に前回送信した情報から変化したものがあるか否かを判定する。例えば、サンプル画像が増えたときには画像活用の提案に関する情報に変化があったと判定される。また、例えば、購入後からデジタルカメラが使用されていないといった、カメラ使用の提案の必要性が生じたときにはカメラ使用の提案に関する情報に変化があったと判定される。ステップS404において、変化したものがあると判定されたときには、処理はステップS405に移行する。ステップS404において、変化したものがないと判定されたときには、図12A及び図12Bの処理は終了する。
ステップS405において、制御回路202は、変化したと判定した情報に関する話題を「有り」に設定する。ここで、「有り」とした話題情報に繰り返し連絡の必要性がある情報が含まれているときには、制御回路202は、話題情報に繰り返し情報を関連付ける。さらに、「有り」とした話題情報の中に特定のユーザについての話題が含まれているときには、制御回路202は、その話題情報にセキュリティ情報を関連付ける。その後、図12A及び図12Bの処理は終了する。これにより、処理は、図11のステップS306からステップS307に分岐する。
ステップS406において、制御回路202は、現在、撮影前であるか否かを判定する。例えば、ユーザの外出の予定等が中央制御機器10等から通知されているときには、外出日の朝も「撮影前」であると判定される。この他、ライブビュー表示中であるときには撮影前であると判定される。ステップS406において、現在、撮影前であると判定されたときには、処理はステップS407に移行する。ステップS406において、撮影前でないと判定されたときには、処理はステップS409に移行する。
ステップS407において、制御回路202は、撮影前に話題として提供する情報の中で、中央制御機器10に前回送信した情報から変化したものがあるか否かを判定する。例えば、撮影シーンの判定結果及び被写体の判定結果等から、アクセサリの使用を提案するべき状況が予想されるときには、その他の話題に関する情報に変化があったと判定される。ステップS407において、変化したものがあると判定されたときには、処理はステップS408に移行する。ステップS407において、変化したものがないと判定されたときには、図12A及び図12Bの処理は終了する。
ステップS408において、制御回路202は、変化したと判定した情報に関する話題を「有り」に設定する。ここで、「有り」に設定した話題情報に繰り返し連絡の必要性があるときには、制御回路202は、その話題情報に繰り返し情報を関連付ける。さらに、「有り」に設定した話題情報の中に特定のユーザについての情報が含まれているときには、制御回路202は、その話題情報にセキュリティ情報を関連付ける。その後、図12A及び図12Bの処理は終了する。これにより、処理は、図11のステップS306からステップS307に分岐する。
ステップS409において、制御回路202は、現在、撮影後の夜であるか否かを判定する。例えば、現在時刻が夜に該当する時刻であり、かつ、当日に1枚でも撮影が行われているときには撮影後の夜であると判定される。夜に該当する時刻は、例えば19時である。ステップS409において、現在、撮影後の夜であると判定されたときには、処理はステップS410に移行する。ステップS409において、現在、撮影後の夜でないと判定されたときには、処理はステップS412に移行する。
ステップS410において、制御回路202は、撮影後の夜に話題として提供する情報の中で、中央制御機器10に前回送信した情報から変化したものがあるか否かを判定する。例えば、本日の撮影済み画像の中に家族の集合写真があるときには、家族皆で画像をシェアすることが有用である。このとき、画像活用に関する情報に変化があったと判定される。ステップS410において、変化したものがあると判定されたときには、処理はステップS411に移行する。ステップS410において、変化したものがないと判定されたときには、図12A及び図12Bの処理は終了する。
ステップS410において、制御回路202は、変化したと判定した情報に関する話題を「有り」に設定する。ここで、「有り」に設定した話題情報の中に繰り返し連絡の必要性がある情報が含まれているときには、制御回路202は、話題情報に繰り返し情報を関連付ける。さらに、「有り」に設定した話題情報の中に特定のユーザについての情報が含まれているときには、制御回路202は、その話題情報にセキュリティ情報を関連付ける。その後、図12A及び図12Bの処理は終了する。これにより、処理は、図11のステップS306からステップS307に分岐する。
ステップS412において、制御回路202は、デジタルカメラの未使用期間が予め定められた期間よりも長いか否かを判定する。例えば、3か月の間、撮影が行われていないときには、未使用期間が予め定められた期間よりも長いと判定される。ステップS412において、未使用期間が予め定められた期間よりも長いと判定されたときには、処理はステップS413に移行する。ステップS412において、未使用期間が予め定められた期間よりも長くないと判定されたときには、処理はステップS414に移行する。
ステップS413において、制御回路202は、カメラ使用の提案に関する話題情報を「有り」に設定する。このとき、制御回路202は、話題情報に繰り返し情報を関連付けてもよい。その後、処理はステップS414に移行する。
ステップS414において、制御回路202は、未再生、未シェア、未編集又は未整理の画像があるか否かを判定する。例えば、一度も再生されたことがない画像があるときには、未再生画像があると判定される。また、例えば一度もシェアされたことがない画像があるときには、未シェア画像があると判定される。なお、集合写真でなければシェアの対象の画像とならないように判定されてもよい。また、例えば一度も編集されたことがない画像があるときには、未編集画像があると判定される。なお、編集の対象の画像は、動画に限定されてもよい。また、失敗画像が含まれているときには、未整理の画像があると判定される。ステップS414において、未再生、未シェア、未編集、又は未整理の画像があると判定されたときには、処理はステップS415に移行する。ステップS414において、未再生、未シェア、未編集又は未整理の画像がないと判定されたときには、処理はステップS416に移行する。
ステップS415において、制御回路202は、画像活用の提案を「有り」に設定する。すなわち、制御回路202は、画像再生の提案、画像シェアの提案、画像編集の提案、画像整理の提案のうちの現在の状況に該当するものを「有り」に設定する。このとき、制御回路202は、提案に繰り返し情報を関連付けてもよい。その後、処理はステップS416に移行する。
ステップS416において、制御回路202は、電池残量が予め定められた量以下であるか否かを判定する。ここでの予め定められた量は、例えば通知の際の電池残量の判定に用いられる電池残量よりも多い。ステップS416において、電池残量が予め定められた量以下であると判定されたときには、処理はステップS417に移行する。ステップS416において、電池残量が予め定められた量以下でないと判定されたときには、処理はステップS418に移行する。
ステップS417において、制御回路202は、充電の提案を「有り」に設定する。このとき、制御回路202は、提案に繰り返し情報を関連付けてもよい。その後、処理はステップS418に移行する。
ステップS418において、制御回路202は、メモリ残量が予め定められた量以下であるか否かを判定する。ここでの予め定められた量は、例えば通知の際のメモリ残量の判定に用いられるメモリ残量よりも多い。ステップS418において、メモリ残量が予め定められた量以下であると判定されたときには、処理はステップS419に移行する。ステップS418において、メモリ残量が予め定められた量以下でないと判定されたときには、図12A及び図12Bの処理は終了する。
ステップS418において、制御回路202は、メモリ交換の提案を「有り」に設定する。このとき、制御回路202は、提案に繰り返し情報を関連付けてもよい。その後、図12A及び図12Bの処理は終了する。
図13は、第2の実施形態における中央制御機器10の動作を示すフローチャートである。図13の動作は、中央制御機器10の制御回路102等で実現されるAIアシスタントによって制御される。
ステップS501において、AIアシスタントは、ユーザの音声の入力があるか否かを判定する。ステップS501において、ユーザの音声の入力があると判定されたときには、処理はステップS502に移行する。ステップS501において、ユーザの音声の入力がないと判定されたときには、処理はステップS503に移行する。なお、中央制御機器10に特定の起動ワードが設定されているときには、ユーザが起動ワードを発するまで、ステップS501以後の処理が行われなくてもよい。
ステップS502において、AIアシスタントは、入力された音声を認識し、認識した音声に対応した動作を実行する。その後、処理はステップS501に戻る。
ステップS503において、AIアシスタントは、周辺機器20から通知を受信したか否かを判定する。ステップS503において、周辺機器20から通知を受信したと判定されたときには、処理はステップS504に移行する。ステップS503において、周辺機器20から通知を受信していないと判定されたときには、処理はステップS510に移行する。
ステップS504において、AIアシスタントは、通知の詳細が必要であるか否かを判定する。例えば、通知の有無だけをユーザに報告できれば十分なものは通知の詳細は必要でないと判定される。一方、エラーの通知等は状況によっては詳細も併せて報告したほうがよいものもある。このようなときには、通知の詳細が必要であると判定される。ステップS504において、通知の詳細が必要であると判定されたときには、処理はステップS505に移行する。ステップS504において、通知の詳細が必要でないと判定されたときには、処理はステップS506に移行する。
ステップS505において、AIアシスタントは、通信回路112の第1通信回路を用いて周辺機器20に対して通信接続を許可したことを通知する。その後、AIアシスタントは、第2通信回路を用いて周辺機器20との接続処理を行う。第2通信回路による通信接続の後、AIアシスタントは、詳細を要求する。その後、処理はステップS506に移行する。
ステップS506において、AIアシスタントは、通知が特定のユーザについてのものであるか否かを判定する。通知にセキュリティ情報が関連付けられているときには、通知が特定のユーザについてのものであると判定される。ステップS506において、通知が特定のユーザについてのものでないと判定されたときには、処理はステップS507に移行する。ステップS506において、通知が特定のユーザについてのものであると判定されたときには、処理はステップS508に移行する。
ステップS507において、AIアシスタントは、音声出力回路108のスピーカを用いた音声による通知を行う。ステップS508において、AIアシスタントは、通信回路112を用いて、特定のユーザのスマートホンに周辺機器20からの通知を含む電子メールを送信する。ステップS507又はステップS508の後、処理はステップS509に移行する。ここで、ステップS507又はS508では、ステップS505で詳細が要求されていなければ、詳細を含まない通知が行われる。また、ステップS507又はS508では、ステップS505で詳細が要求されていれば、詳細を含む通知が行われる。また、通知に繰り返し情報が関連付けられているときには、AIアシスタントは、ユーザからの報告不要の指示を受けるまで固定時間毎に通知を行う。
ステップS509において、AIアシスタントは、通知を行ったことを、通信回路112の例えば第1通信回路を用いて周辺機器20に通知する。その後、処理はステップS501に戻る。なお、ステップS509における通知は、データ量が多くなるのであれば、第2通信回路による通知に切り替えられてから行われてもよい。
ステップS510において、AIアシスタントは、周辺機器20から話題情報を受信したか否かを判定する。ステップS510において、周辺機器20から話題情報を受信したと判定されたときには、処理はステップS511に移行する。ステップS510において、周辺機器20から話題情報を受信していないと判定されたときには、処理はステップS517に移行する。
ステップS511において、AIアシスタントは、提供された話題情報に基づいて対応を判断する。その後、処理はステップS512に移行する。ステップS511の詳細は後で説明する。
ステップS512において、AIアシスタントは、提供された話題情報の詳細が必要であるか否かを判定する。ステップS511において、話題の要約だけでの対応の判断が困難であると判定されたときには、提供された話題情報の詳細が必要であると判定される。ステップS512において、提供された話題情報の詳細が必要であると判定されたときには、処理はステップS513に移行する。ステップS512において、提供された話題情報の詳細が必要でないと判定されたときには、処理はステップS515に移行する。
ステップS513において、AIアシスタントは、通信回路112の第1通信回路を用いて周辺機器20に対して通信接続を許可したことを通知する。その後、AIアシスタントは、第2通信回路を用いて周辺機器20との接続処理を行う。第2通信回路による通信接続の後、AIアシスタントは、詳細を要求する。その後、処理はステップS514に移行する。
ステップS514において、AIアシスタントは、提供された話題情報に基づいて対応を判断する。その後、処理はステップS515に移行する。ステップS514の詳細は後で説明する。
ステップS515において、AIアシスタントは、ステップS511又はステップS514の判断に応じた動作を実行する。その後、処理はステップS516に移行する。なお、AIアシスタントは、動作を実行するに際して、周辺機器20との情報のやり取りを音声等に変換してユーザに対して報告してもよい。
ステップS516において、AIアシスタントは、提供された情報に基づいて対応を行ったことを、通信回路112の例えば第1通信回路を用いて周辺機器20に通知する。その後、処理はステップS501に戻る。なお、ステップS516における通知は、データ量が多くなるのであれば、第2通信回路による通知に切り替えられてから行われてもよい。
ステップS517において、AIアシスタントは、ユーザに対して新規に報告すべき話題があるか否かを判定する。ステップS517において、ユーザに対して新規に報告すべき話題があると判定されたときには、処理はステップS518に移行する。ステップS517において、ユーザに対して新規に報告すべき話題がないと判定されたときには、処理はステップS501に戻る。
ステップS518において、AIアシスタントは、例えば音声出力回路108のスピーカを用いた音声によってユーザに対して話題を報告する。その後、処理はステップS501に戻る。
図14A及び図14Bは、図13のステップS511又はステップS514の対応の判断処理の詳細を示すフローチャートである。ステップS601において、AIアシスタントは、提供された話題情報がデジタルカメラからのものであるか否かを判定する。ステップS601において、提供された話題情報がデジタルカメラからのものであると判定されたときには、処理はステップS602に移行する。ステップS601において、提供された話題情報がデジタルカメラからのものでないと判定されたときには、それぞれの周辺機器に応じた判断処理が行われる。ここでは、それぞれの周辺機器に応じた判断処理の詳細については説明を省略する。
ステップS602において、AIアシスタントは、話題情報が充電又はメモリ交換に関する提案を含むか否かを判定する。例えば、要約において、充電又はメモリ交換の提案が有りに設定されているときには、話題情報が充電又はメモリ交換に関する提案を含むと判定される。また、例えば、詳細として、電池残量又はメモリ残量の情報が提供されたときも、提案が充電又はメモリ交換に関する提案を含むと判定される。ステップS602において、話題提案が充電又はメモリ交換に関する提案を含むと判定されたときには、処理はステップS603に移行する。ステップS602において、話題情報が充電又はメモリ交換に関する提案を含まないと判定されたときには、処理はステップS604に移行する。
ステップS603において、AIアシスタントは、ユーザに対し、充電又はメモリ交換の提案を決定する。その後、処理はステップS604に移行する。なお、ステップS603において、AIアシスタントは、充電又はメモリ交換の提案に際して、実際の電池残量又はメモリ残量をユーザに対して提示することを決定してもよい。この場合、AIアシスタントは、詳細として、電池残量又はメモリ残量の情報を要求することも決定する。
ステップS604において、AIアシスタントは、話題情報が画像再生、画像シェア、画像編集、画像整理に関する提案を含むか否かを判定する。例えば、要約において、画像再生、画像シェア、画像編集又は画像整理の提案が有りに設定されているときには、話題情報が画像再生、画像シェア、画像編集又は画像整理に関する提案を含むと判定される。また、例えば、詳細として、画像再生、画像シェア、画像編集又は画像整理の提案の対象の画像ファイル名又は画像ファイルが提供されたときも、話題情報が充電又はメモリ交換に関する提案を含むと判定される。ステップS604において、話題情報が画像再生、画像シェア、画像編集又は画像整理に関する提案を含むと判定されたときには、処理はステップS605に移行する。ステップS604において、話題情報が画像再生、画像シェア、画像編集又は画像整理に関する提案を含まないと判定されたときには、処理はステップS607に移行する。
ステップS606において、AIアシスタントは、ユーザに対し、画像再生、画像シェア、画像編集又は画像整理の提案を決定する。その後、処理はステップS607に移行する。中央制御機器10に表示素子が設けられていれば、画像再生、画像シェア、画像編集又は画像整理の提案の対象の画像を表示素子に表示させてもよい。また、中央制御機器10に表示素子が設けられていなければ、画像再生、画像シェア、画像編集又は画像整理の提案の対象の画像をテレビ等の表示素子を有する他の周辺機器に表示させてもよい。これらの場合、AIアシスタントは、詳細として、画像ファイルを要求することも決定する。
ステップS607において、AIアシスタントは、話題情報がカメラ使用に関する提案を含むか否かを判定する。例えば、要約において、カメラ使用の提案が有りに設定されているときには、話題情報がカメラ使用に関する提案を含むと判定される。ステップS607において、話題情報がカメラ使用に関する提案を含むと判定されたときには、処理はステップS608に移行する。ステップS607において、話題情報がカメラ使用に関する提案を含まないと判定されたときには、処理はステップS609に移行する。
ステップS608において、AIアシスタントは、デジタルカメラに、詳細として、これまでの撮影済み画像の情報を要求することを決定する。ステップS609において、AIアシスタントは、デジタルカメラから詳細を受け取ったか否かを判定する。ステップS609において、詳細を受け取ったと判定されたときには、処理はステップS610に移行する。ステップS609において、詳細を受け取っていないと判定されたときには、処理はステップS612に移行する。
ステップS610において、AIアシスタントは、これまでの撮影済み画像の情報をチェックする。そして、ステップS611において、AIアシスタントは、ユーザ向けのデジタルカメラの使用方法を判断する。
図15A及び図15Bは、これまでの撮影済み画像の情報から判断される、ユーザの撮影履歴の例を示している。ここで、図15A及び図15Bの横軸は、撮影日時の経過を示し、図15A及び図15Bの縦軸は、ユーザの撮影数を示している。
図15Aでは、ユーザは、冬休み、ゴールデンウィーク(GW)、夏休みといった連休中に集中して撮影していることが分かる。この場合、現在が秋で連休がないときには、ユーザにとってのカメラの需要が高くないと判断することができる。このような場合、AIアシスタントは、ユーザに対してカメラの使用を提案しないことを決定する。
一方、図15Bでは、ユーザは、特に連休に限らずに平均的に撮影をしていることが分かる。この場合、現在が秋であれば、紅葉の撮影の需要があると判断することができる。このような場合、AIアシスタントは、ユーザに対し、「撮影シーズンが来ましたよ」とか、「紅葉を撮影に行きませんか?」といったようなカメラの使用を提案することを決定する。このとき、必要に応じて、AIアシスタントは、インターネットを検索して、各地の紅葉の状況を調べたり、天気を調べたりすることで、カメラの使用の提案を補足してもよい。
この他、失敗画像が多ければ、AIアシスタントは、カメラの使用の提案として、失敗を解消するためのtipsを紹介する等してもよい。
なお、図15A及び図15Bで示したユーザ向けのデジタルカメラの使用方法の判断は、デジタルカメラにおいて行われていてもよい。この場合、デジタルカメラは、詳細情報として、デジタルカメラにおいて判断した使用方法の情報を提供してもよい。
ステップS612において、AIアシスタントは、話題情報がその他に関する提案を含むか否かを判定する。例えば、要約において、その他の提案が有りに設定されているときには、提案がその他に関する提案を含むと判定される。ステップS612において、話題情報がその他に関する提案を含むと判定されたときには、処理はステップS613に移行する。ステップS612において、話題情報がその他に関する提案を含まないと判定されたときには、処理はステップS614に移行する。
ステップS613において、AIアシスタントは、提案の内容に応じて対応を決定する。その後、処理はステップS614に移行する。ステップS613において、AIアシスタントは、必要に応じて詳細を要求することを決定してもよい。
ステップS614において、AIアシスタントは、繰り返し設定が必要か否かを判定する。例えば、繰り返し情報が関連付けられている話題があれば、繰り返し設定が必要であると判定される。ステップS614において、繰り返し設定が必要であると判定されたときには、処理はステップS615に移行する。ステップS614において、繰り返し設定が必要でないと判定されたときには、処理はステップS616に移行する。
ステップS615において、AIアシスタントは、対応する話題に対して繰り返し設定をする。その後、処理はステップS616に移行する。繰り返し設定がされることにより、対応する話題は、固定時間毎にユーザに対して報告される。この報告は、例えば中央制御機器10に対してユーザが報告不要との指示をしたときに終了される。
ステップS616において、AIアシスタントは、ユーザ設定が必要か否かを判定する。例えば、セキュリティ情報が関連付けられている話題があれば、ユーザ設定が必要であると判定される。ステップS616において、ユーザ設定が必要であると判定されたときには、処理はステップS617に移行する。ステップS616において、ユーザ設定が必要でないと判定されたときには、図14A及び図14Bの処理は終了する。
ステップS617において、AIアシスタントは、対応する話題に対してユーザ設定をする。その後、図14A及び図14Bの処理は終了する。ユーザ設定がされることにより、提案等の対応は特定のユーザを対象として行われる。
以上説明したように本実施形態によれば、周辺機器から伝達される情報は、話題の要約と話題の詳細とに分けられている。要約はアドバタイジング信号に含めて送信される。中央制御機器が要約のみで対応をすることができれば、周辺機器は詳細情報を送信しない。このため、第2の実施形態では、第1の実施形態に比べて低消費電力で第2の情報伝達及び第3の情報伝達が行われ得る。このような低消費電力化は、電池残量が限られているデジタルカメラ、スマートホンといったモバイルの周辺機器で特に有用である。
また、第2の実施形態では、周辺機器は、前回の送信時から変化があったときにだけ話題の提供を含むアドバタイジング信号を送信する。このため、AIアシスタントは、同じような判断を繰り返し行わずにすむ。
[第3の実施形態]
次に、第3の実施形態を説明する。第3の実施形態は、アドバタイジング信号の応用例である。図16は、第3の実施形態における通信システムの構成を示す図である。第3の実施形態では、中央制御機器がスマートホン40である。また、第3の実施形態では、周辺機器がデジタルカメラ50である。
スマートホン40は、制御回路402と、第1通信回路404と、第2通信回路406と、メモリ408と、表示素子410と、操作部材412とを有している。
制御回路402は、メモリ408に記憶されているプログラムに従って、スマートホン40の各ブロックの動作を制御する。制御回路402は、CPU、GPU、ASIC、FPGA、メインメモリといったハードウェアを備えている。なお、制御回路402は、単独のCPU等によって構成されてもよいし、複数のCPU等によって構成されてもよい。また、制御回路402の一部の機能は、ソフトウェアによって実現されてもよい。
第1通信回路404は、例えばBLEといった低消費電力の通信のための通信回路である。第2通信回路406は、例えばWi−Fiといった大容量通信のための通信回路である。スマートホン40は、4G携帯電話回線等の携帯電話通信のための通信回路を含んでいてもよい。
メモリ408は、フラッシュメモリといったメモリである。メモリ408には、スマートホン40で用いられる種々のプログラムが記憶される。また、本実施形態では、メモリ408には、カメラアプリが記憶されている。カメラアプリは、デジタルカメラ50に記憶されている画像ファイルの管理をしたり、デジタルカメラ50の遠隔制御をしたりするためのアプリである。メモリ408は、単一であっても複数であってもよい。
表示素子410は、各種の画像を表示する。表示素子510は、液晶ディスプレイ又は有機ELディスプレイといった表示素子である。
操作部材412は、タッチパネルを含んでいる。タッチパネルは、例えば表示素子410の表示画面と一体的に設けられる。操作部材412は、ボタン、スイッチ、ダイヤルといった機械的な操作部材を含んでいてもよい。
デジタルカメラ50は、制御回路502と、第1通信回路504と、第2通信回路506と、メモリ508と、表示素子510と、操作部材512と、撮像素子514とを有している。
制御回路502は、メモリ508に記憶されているプログラムに従って、デジタルカメラ50の各ブロックの動作を制御する。制御回路502は、CPU、GPU、ASIC、FPGA、メインメモリといったハードウェアを備えている。制御回路502は、単独のCPU等によって構成されてもよいし、複数のCPU等によって構成されてもよい。また、制御回路502の一部の機能は、ソフトウェアによって実現されてもよい。
第1通信回路504は、例えばBLEといった低消費電力の通信のための通信回路である。第2通信回路506は、例えばWi−Fiといった大容量通信のための通信回路である。
メモリ508は、フラッシュメモリといったメモリである。メモリ508には、スマートホン40で用いられる種々のプログラムが記憶される。なお、メモリ508は、単一であっても複数であってもよい。
表示素子510は、各種の画像を表示する。表示素子510は、液晶ディスプレイ又は有機ELディスプレイといった表示素子である。
操作部材512は、ボタン、スイッチ、ダイヤルといった機械的な操作部材を含んでいる。操作部材512は、タッチパネルを含んでいてもよい。タッチパネルは、例えば表示素子510の表示画面と一体的に設けられる。
撮像素子514は、CCDセンサ及びCMOSセンサといった撮像素子である。撮像素子514は、被写体を撮像して画像信号を生成する。
図17A及び図17Bは、第3の実施形態におけるデジタルカメラ50の動作を示すフローチャートである。ステップS701において、制御回路502は、デジタルカメラ50の電源がオンされているか否かを判定する。ステップS701において、デジタルカメラ50の電源がオンされていると判定されたときには、処理はステップS702に移行する。ステップS701において、デジタルカメラ50の電源がオンされていないと判定されたときには、処理はステップS721に移行する。
ステップS702において、制御回路502は、デジタルカメラ50の動作モードが撮影モードであるか否かを判定する。本実施形態において、デジタルカメラ50は、撮影モードと、再生モードと、通信モードとを有している。撮影モードは、画像の撮影のためのモードである。再生モードは、画像ファイルの再生のためのモードである。通信モードは、スマートホン40と通信状態となるモードである。通信モードでは、デジタルカメラ50はスマートホン40からのコマンドを待ち受ける。ステップS702において、撮影モードであると判定されたときには、処理はステップS703に移行する。ステップS702において、撮影モードでないと判定されたときには、処理はステップS707に移行する。
ステップS703において、制御回路502は、ライブビュー表示をする。その後、処理はステップS704に移行する。ライブビュー表示において、制御回路502は、撮像素子514による撮像を繰り返して行う。そして、制御回路502は、撮像素子514から逐次に得られる画像信号に基づいて表示素子510にライブビュー画像を表示させる。
ステップS704において、制御回路502は、撮影をするか否かを判定する。例えば、ユーザによる操作部材512のレリーズボタンの操作を受けたときに撮影をすると判定する。ステップS704において、撮影をすると判定されたときには、処理はステップS705に移行する。ステップS704において、撮影をしないと判定されたときには、処理はステップS706に移行する。
ステップS705において、制御回路502は、撮影をする。その後、処理はステップS706に移行する。撮影において、制御回路502は、撮像素子514による撮像を行う。そして、制御回路502は、撮像素子514において得られる画像信号から画像ファイルを生成する。そして、制御回路502は、画像ファイルをメモリ508に記憶させる。
ステップS706において、制御回路502は、デジタルカメラ50の電源をオフするか否かを判定する。例えば、ユーザによる操作部材512の電源スイッチのオフ操作を受けたときに電源をオフすると判定される。ステップS706において、デジタルカメラ50の電源をオフすると判定されたときには、図17A及び図17Bの処理は終了する。ステップS706において、デジタルカメラ50の電源をオフしないと判定されたときには、処理はステップS701に戻る。
ステップS707において、制御回路502は、デジタルカメラ50の動作モードが再生モードであるか否かを判定する。ステップS707において、再生モードであると判定されたときには、処理はステップS708に移行する。ステップS707において、撮影モードでないと判定されたときには、処理はステップS714に移行する。
ステップS708において、制御回路502は、メモリ508に記憶されている画像ファイルの一覧を表示素子510に表示させる。
ステップS709において、制御回路502は、ユーザにより、画像ファイルが選択されたか否かを判定する。例えば、画像ファイルは、ユーザのタッチパネルの操作によって選択される。ステップS709において、画像ファイルが選択されたと判定されたときには、処理はステップS710に移行する。ステップS709において、画像ファイルが選択されていないと判定されたときには、処理はステップS706に移行する。
ステップS710において、制御回路502は、選択された画像ファイルを表示素子510に再生する。
ステップS711において、制御回路502は、選択された画像ファイルの転送予約がされたか否かを判定する。転送予約は、再生中の画像ファイルのスマートホン40への転送の予約である。画像ファイルに対して転送予約が設定されると、デジタルカメラ50からスマートホン40に自動的に画像ファイルが転送される。転送予約は、例えば画像ファイルの再生中のユーザのタッチパネルの操作によって指示される。ステップS711において、転送予約がされたと判定されたときには、処理はステップS712に移行する。ステップS711において、転送予約がされていないと判定されたときには、処理はステップS713に移行する。
ステップS712において、制御回路502は、再生中の画像ファイルの転送予約の設定を「予約有り」にする。この設定は、例えば制御回路502に記憶される。その後、処理はステップS713に移行する。
ステップS713において、制御回路502は、画像ファイルの再生を終了するか否かを判定する。例えば、ユーザによる操作部材512の操作によって再生の終了が指示されたときに画像ファイルの再生を終了すると判定される。ステップS713において、画像ファイルの再生を終了すると判定されたときに、処理はステップS706に移行する。ステップS713において、画像ファイルの再生を終了しないと判定されたときに、処理はステップS710に戻る。
ステップS714において、制御回路502は、スマートホン40との通信接続を確立するために、第1通信回路504を用いてアドバタイジング信号を送信する。
ステップS715において、制御回路502は、スマートホン40からのBLEの接続許可の通知を受けたか否かを判定する。ステップS715において、BLEの接続許可の通知を受けていないと判定されたときには、処理はステップS714に戻る。このように、アドバタイジング信号は、BLEの通信接続が確立されるまで送信される。なお、定められた時間の間にBLEの接続許可の通知が受けられないときには、ユーザへのエラー通知の後、処理がステップS706に移行してもよい。
ステップS716において、制御回路502は、アドバタイジング信号の送信を停止する。ステップS717において、制御回路502は、スマートホン40との間でのWi−Fi接続の処理を行う。例えば、スマートホン40からのIDとパスワードの入力を受けて、制御回路502は、スマートホン40とのWi−Fi接続を確立する。この後、デジタルカメラ50は、第2通信回路506を用いてスマートホン40との通信を行う。そして、デジタルカメラ50は、スマートホン40からの遠隔制御を受ける状態になる。
ステップS718において、制御回路502は、スマートホン40からのコマンドを受けたか否かを判定する。ステップS718において、スマートホン40からのコマンドを受けたと判定されるまで、処理は待機される。ステップS718において、スマートホン40からのコマンドを受けたと判定されたときには、処理はステップS719に移行する。
ステップS719において、制御回路502は、受けたコマンドが電源オフコマンドであるか否かを判定する。ステップS719において、コマンドが電源オフコマンドであると判定されたときには、図17A及び図17Bの処理は終了する。ステップS719において、コマンドが電源オフコマンドでないと判定されたときには、処理はステップS720に移行する。
ステップS720において、制御回路502は、コマンドに応じた動作を行う。例えば、受けたコマンドが撮影コマンドであれば、制御回路502は、撮影をする。例えば、受けたコマンドが、画像ファイルの転送コマンドであれば、制御回路502は、対象の画像ファイルの転送予約の設定を「予約有り」にする。コマンドに応じた動作の後、処理はステップS718に戻る。
ステップS721は、デジタルカメラ50の電源がオフされているときの処理である。ステップS721において、制御回路502は、転送予約されている画像ファイルがあるか否かを判定する。すなわち、制御回路502は、転送予約の設定が「予約有り」になっている画像ファイルがあるか否かを判定する。ステップS721において、転送予約されている画像ファイルがあると判定されたときには、処理はステップS722に移行する。転送予約されている画像ファイルがないと判定されたときには、処理はステップS723に移行する。
ステップS722において、制御回路502は、「転送予約有り」の情報を含むアドバタイジング信号を、第1通信回路504を用いて送信する。ステップS723において、制御回路502は、「転送予約無し」の情報を含むアドバタイジング信号を、第1通信回路504を用いて送信する。ステップS722又はステップS723の後、処理はステップS724に移行する。
ステップS724において、制御回路502は、スマートホン40からのBLEの接続許可の通知を受けたか否かを判定する。ステップS724において、BLEの接続許可の通知を受けていないと判定されたときには、処理はステップS721に戻る。電源オフ時には、定期的にアドバタイジング信号が送信される。
ステップS725において、制御回路502は、アドバタイジング信号の送信を停止する。
ステップS726において、制御回路502は、BLEの接続許可とともにスマートホン40から送信される電源オンコマンドを受けてデジタルカメラ50の電源をオンする。
ステップS727において、制御回路502は、スマートホン40との間でのWi−Fi接続の処理を行う。
ステップS728において、制御回路502は、「転送予約有り」に設定されている画像ファイルを、第2通信回路506を用いてスマートホン40に送信する。このように、本実施形態では、「転送予約有り」に設定されている画像ファイルがあるときには、自動的にスマートホン40に送信される。ここで、画像ファイルの自動送信は、夜間等の特定の時間帯に行われてもよい。また、画像ファイルの自動送信は、通信状況のよいときに行われてもよい。
ステップS729において、制御回路502は、スマートホン40への画像ファイルの転送が完了したか否かを判定する。ステップS729では、スマートホン40から転送完了通知を受けたときには、画像ファイルの転送が完了したと判定される。ステップS729において、スマートホン40への画像ファイルの転送が完了していないと判定されたときには、処理はステップS728に戻る。ステップS729において、スマートホン40への画像ファイルの転送が完了したと判定されたときには、処理はステップS730に移行する。
ステップS730において、制御回路502は、転送予約の設定をクリアする。これにより、同じ画像ファイルが繰り返し送信されることが抑制される。
ステップS731において、制御回路502は、スマートホン40から電源オフコマンドを受けたか否かを判定する。ステップS731において、電源オフコマンドを受けたと判定されるまで、処理は待機される。ステップS731において、電源オフコマンドを受けたと判定されたときには、図17A及び図17Bの処理は終了する。
図18は、第3の実施形態におけるスマートホン40の動作を示すフローチャートである。なお、図18では、カメラアプリがフォアグラウンド又はバックグラウンドで起動している。カメラアプリがフォアグラウンドで起動しているとき、制御回路402は、ユーザによるアプリ上での操作に従って動作する。カメラアプリがバックグラウンドで起動しているとき、制御回路402は、ユーザの操作とは無関係に予め決められた動作を行う。
ステップS801において、制御回路402は、「転送予約有り」のアドバタイジング信号を受けたか否かを判定する。ステップS801の処理は、カメラアプリがフォアグラウンドで起動していても、バックグラウンドで起動していても行われる。ステップS801において、「転送予約有り」のアドバタイジング信号を受けたと判定されたときには、処理はステップS802に移行する。「転送予約有り」のアドバタイジング信号を受けていないと判定されたときには、処理はステップS805に移行する。
ステップS802において、制御回路402は、Wi−Fi接続のための処理を行う。このために、制御回路402は、BLE接続許可の通知を、第1通信回路404を用いてデジタルカメラ50に送信する。これにより、スマートホン40とデジタルカメラ50との間のBLE通信が確立される。その後、制御回路402は、デジタルカメラ50とのWi−Fi接続を確立するために、IDとパスワードを、第1通信回路404を用いて送信する。なお、デジタルカメラ50の電源がオフされているときには、制御回路402は、IDとパスワードの送信に先立って、電源オンコマンドを、第1通信回路404を用いてデジタルカメラ50に送信する。
ステップS803において、制御回路402は、画像ファイルの転送が正しく完了したか否かを判定する。例えば、データの欠落等が生じていたときには、画像ファイルの転送が正しく完了しなかったと判定される。ステップS803において、画像ファイルの転送が正しく完了したと判定されたときには、処理はステップS804に移行する。画像ファイルの転送が正しく完了しなかったと判定されたときには、処理はステップS805に移行する。このとき、デジタルカメラ50に対してエラー通知が行われてもよい。
ステップS805において、制御回路402は、現在、カメラアプリがフォアグラウンドで起動しているか否かを判定する。ステップS805において、カメラアプリがフォアグラウンドで起動していると判定されたときには、処理はステップS806に移行する。ステップS805において、カメラアプリがバックグラウンドで起動していると判定されたときには、処理はステップS801に戻る。このとき、制御回路402は、デジタルカメラ50に対して電源オフコマンドを発行する。この電源オフコマンドは、第1通信回路404を用いて送信される。
ステップS806において、制御回路402は、Wi−Fi接続のための処理を行う。Wi−Fi接続のための処理は、ステップS802と同様である。
ステップS807において、制御回路402は、転送予約をするか否かを判定する。例えば、カメラアプリ上でのユーザの操作部材412の操作により、デジタルカメラ50に記憶されている画像ファイルに対する転送予約が指示されたときには、転送予約をすると判定される。ステップS807において、転送予約をすると判定されたときには、処理はステップS808に移行する。ステップS807において、転送予約をしないと判定されたときには、処理はステップS809に移行する。
ステップS808において、制御回路402は、デジタルカメラ50に対して転送予約コマンドを発行する。転送予約コマンドは、ユーザによって転送予約が指示された画像ファイル名を含む。この転送予約コマンドは、第2通信回路406を用いて送信される。
ステップS809において、制御回路402は、画像転送をするか否かを判定する。例えば、カメラアプリ上でのユーザの操作部材412の操作により、デジタルカメラ50に記憶されている画像ファイルに対する画像転送が指示されたときには、画像転送をすると判定される。ステップS809において、画像転送をすると判定されたときには、処理はステップS810に移行する。ステップS809において、画像転送をしないと判定されたときには、処理はステップS811に移行する。
ステップS810において、制御回路402は、デジタルカメラ50に対して画像転送コマンドを発行する。画像転送コマンドは、ユーザによって転送が指示された画像ファイル名を含む。この画像転送コマンドは、第2通信回路406を用いて送信される。
ステップS811において、制御回路402は、デジタルカメラ50の電源をオフするか否かを判定する。例えば、カメラアプリ上でのユーザの操作部材412の操作により、デジタルカメラ50の電源オフが指示されたときには、デジタルカメラ50の電源をオフすると判定される。ステップS811において、デジタルカメラ50の電源をオフすると判定されたときには、処理はステップS812に移行する。ステップS811において、デジタルカメラ50の電源をオフしないと判定されたときには、処理はステップS813に移行する。
ステップS812において、制御回路402は、デジタルカメラ50に対して電源オフコマンドを発行する。この電源オフコマンドは、第2通信回路406を用いて送信される。
ステップS813において、制御回路402は、カメラアプリのフォアグラウンドでの動作を終了するか否かを判定する。ユーザの操作によってフォアグラウンドでの動作の終了が指示されたときには、カメラアプリのフォアグラウンドでの動作を終了すると判定される。ステップS813において、カメラアプリのフォアグラウンドでの動作を終了しないと判定されたときには、処理はステップS807に戻る。ステップS813において、カメラアプリのフォアグラウンドでの動作を終了すると判定されたときには、処理はステップS814に移行する。
ステップS814において、制御回路402は、カメラアプリをバックグラウンドに移行させる。その後、処理はステップS801に戻る。
以上説明したように本実施形態では、アドバタイジング信号に話題情報の要約としての転送予約の有無の情報が含められている。これにより、低消費電力で転送予約の有無の情報がスマートホン40に伝達される。このように、アドバタイジング信号に、UUID以外の情報が含められることで、低消費電力で種々の情報が伝達され得る。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用ができることは勿論である。
また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
なお、実施形態において、「部」(セクションやユニット)として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、CPU等のプロセッサ、又はFPGA等のシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線又は無線の通信回路が介在する。通信は、Bluetooth通信、Wi−Fi通信、電話回線等で行われればよく、USB等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてASICとして構成してもよい。
1 通信システム、10 中央制御機器、20 周辺機器、30 サーバ、40 スマートホン、50 デジタルカメラ、102 制御回路、104 音声入力回路、106 音声認識回路、108 音声出力回路、110 メモリ、112 通信回路、202 制御回路、204 主機能回路群、206 表示素子、208 操作部材、210 メモリ、212 通信回路、300 サーバ、402 制御回路、404 第1通信回路、406 第2通信回路、408 メモリ、410 表示素子、412 操作部材、502 制御回路、504 第1通信回路、506 第2通信回路、508 メモリ、510 表示素子、512 操作部材、514 撮像素子。

Claims (14)

  1. 中央制御機器と通信する周辺機器であって、
    前記中央制御機器又は中央制御機器のユーザに対して提供する話題を含む第1の情報を送信する制御回路を具備する周辺機器。
  2. 前記第1の情報は、前記周辺機器の現在の状況に関する情報と前記周辺機器の機能に関する情報との少なくとも何れかに関連した、前記中央制御機器又は中央制御機器のユーザに対する提案のための情報を含む請求項1に記載の周辺機器。
  3. 前記第1の情報は、前記周辺機器の現在の状況に関する情報と前記周辺機器の機能に関する情報との少なくとも何れかの要約を含み、
    前記制御回路は、さらに、前記第1の情報を受信した前記中央制御機器からの要求を受けて、前記周辺機器の現在の状況に関する情報と前記周辺機器の機能に関する情報との少なくとも何れかの詳細を表す第2の情報を前記中央制御機器に送信する請求項1に記載の周辺機器。
  4. 前記制御回路は、前記周辺機器を前記中央制御機器に発見してもらうための信号であるアドバタイジング信号を送信し、
    前記第1の情報は、前記アドバタイジング信号に含まれている請求項1に記載の周辺機器。
  5. 少なくとも1つの周辺機器と、前記周辺機器と通信する中央制御機器とを有する通信システムであって、
    前記周辺機器は、前記中央制御機器又は中央制御機器のユーザに対して提供する話題を含む第1の情報を送信する第1の制御回路を具備し、
    前記中央制御機器は、受信した前記第1の情報に基づいて対応を判断することと、判断した対応を実行することとを行う第2の制御回路を具備する通信システム。
  6. 前記第1の情報は、前記周辺機器の現在の状況に関する情報と前記周辺機器の機能に関する情報との少なくとも何れかに関連した、前記中央制御機器又は中央制御機器のユーザに対する提案のための情報を含む請求項5に記載の通信システム。
  7. 前記第1の情報は、前記周辺機器の現在の状況に関する情報と前記周辺機器の機能に関する情報との少なくとも何れかに関連した、前記中央制御機器又は中央制御機器のユーザに対する提案のための情報の要約を含み、
    前記第1の制御回路は、さらに、前記第1の情報を受信した前記中央制御機器からの要求を受けて、前記周辺機器の現在の状況に関する情報と前記周辺機器の機能に関する情報との少なくとも何れかに関連した、前記中央制御機器又は中央制御機器のユーザに対する提案のための情報の詳細を表す第2の情報を前記中央制御機器に送信し、
    前記第2の制御回路は、さらに、受信した前記第2の情報に基づいて対応を判断することと、判断した対応を実行することとを行う請求項5に記載の通信システム。
  8. 前記第1の制御回路は、前記周辺機器を前記中央制御機器に発見してもらうための信号であるアドバタイジング信号を送信し、
    前記第1の情報は、前記アドバタイジング信号に含まれている請求項5に記載の通信システム。
  9. 前記第2の制御回路は、複数の周辺機器のそれぞれから送信された前記第1の情報を統合して前記対応を判断する請求項6に記載の通信システム。
  10. 前記第2の制御回路は、複数の周辺機器のそれぞれから送信された前記第1の情報及び第2の情報を統合して前記対応を判断する請求項7に記載の通信システム。
  11. 前記中央制御機器は、音声を用いた対話型のインターフェイスを備えている請求項5に記載の通信システム。
  12. 前記第2の制御回路は、人工知能により、前記対応を判断する請求項5に記載の通信システム。
  13. 周辺機器と、前記周辺機器と通信する中央制御機器とを有する通信システムにおける通信方法であって、
    前記周辺機器が、前記中央制御機器又は中央制御機器のユーザに対して提供する話題を含む第1の情報を送信することと、
    前記中央制御機器が、受信した前記第1の情報に基づいて対応を判断することと、
    判断した対応を実行することと、
    を具備する通信方法。
  14. 周辺機器と、前記周辺機器と通信する中央制御機器とを有する通信システムにおける通信プログラムであって、
    前記中央制御機器又は中央制御機器のユーザに対して提供する話題を含む第1の情報を前記周辺機器から受信することと、
    前記受信した前記第1の情報に基づいて対応を判断することと、
    を前記中央制御機器に実行させるための通信プログラム。
JP2018024422A 2018-02-14 2018-02-14 周辺機器、通信システム、通信方法及び通信プログラム Pending JP2019139653A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018024422A JP2019139653A (ja) 2018-02-14 2018-02-14 周辺機器、通信システム、通信方法及び通信プログラム
US16/273,028 US20190253491A1 (en) 2018-02-14 2019-02-11 Peripheral device, communication system, communication method, and recording medium storing communication program
CN201910113124.3A CN110166520A (zh) 2018-02-14 2019-02-13 周边设备、通信系统、通信方法和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018024422A JP2019139653A (ja) 2018-02-14 2018-02-14 周辺機器、通信システム、通信方法及び通信プログラム

Publications (1)

Publication Number Publication Date
JP2019139653A true JP2019139653A (ja) 2019-08-22

Family

ID=67541292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018024422A Pending JP2019139653A (ja) 2018-02-14 2018-02-14 周辺機器、通信システム、通信方法及び通信プログラム

Country Status (3)

Country Link
US (1) US20190253491A1 (ja)
JP (1) JP2019139653A (ja)
CN (1) CN110166520A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019191751A (ja) * 2018-04-20 2019-10-31 オリンパス株式会社 周辺機器、通信システム、中央制御機器、通信方法及び通信プログラム
US20240007956A1 (en) * 2022-07-01 2024-01-04 Apple Inc. Methods and Procedures for Extended Battery Life

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101742985B1 (ko) * 2010-11-02 2017-06-02 엘지전자 주식회사 무선 네트워크에서 그룹 오너 결정 방법 및 그 디바이스
US9600571B2 (en) * 2013-07-11 2017-03-21 Neura, Inc. Interoperability mechanisms for internet of things integration platform
WO2015183014A1 (en) * 2014-05-28 2015-12-03 Samsung Electronics Co., Ltd. Apparatus and method for controlling internet of things devices
CN107948958A (zh) * 2017-11-16 2018-04-20 中科创达软件股份有限公司 一种基于ble传递信息的方法、装置及中央设备

Also Published As

Publication number Publication date
US20190253491A1 (en) 2019-08-15
CN110166520A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN102123066B (zh) 不同输出设备间传送广播内容的方法和系统
US10942872B2 (en) Peripheral device, communication system, central control device, communication method, and recording medium recording communication program
JP4818178B2 (ja) ネットワーク制御装置、ネットワーク制御方法、プログラム
JP2004280824A (ja) ユビキタスサービス機能を備えたプライベートネットワークシステム、及び当該ネットワークシステムにおける情報処理方法
JP2007158854A (ja) Avサーバ装置、クライアント機器、及びファイル転送システム
JP2010118754A (ja) 撮像装置
US20230421650A1 (en) Method and apparatus for determining supplementary parameters of electronic content
JP2019139653A (ja) 周辺機器、通信システム、通信方法及び通信プログラム
US20210274018A1 (en) Method and apparatus for determining supplementary parameters of electronic content
CN108933809B (zh) 通信控制方法和装置、远程临场机器人以及记录介质
JP4114080B2 (ja) 記録システム、記録方法および記録装置
JP2013051519A (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP5185746B2 (ja) カメラ
JP2010050956A (ja) 映像処理システム、映像処理装置、および映像処理方法
WO2021251127A1 (ja) 情報処理装置、情報処理方法、撮像装置、画像転送システム
JP6524732B2 (ja) 通信装置、通信システム、通信装置の制御方法およびプログラム
JP7041559B2 (ja) 通信装置、データ転送装置およびそれらの制御方法、並びにプログラム
WO2023281928A1 (ja) 通信装置、制御方法およびプログラム
JP2013239926A (ja) 撮像装置、その制御方法、プログラム
JP7253919B2 (ja) 通信装置、通信装置の制御方法、およびプログラム
JP6341657B2 (ja) 通信機器およびその制御方法、システム、プログラム並びに記憶媒体
JP5116408B2 (ja) ネットワーク制御装置、その制御方法、プログラム
WO2019244732A1 (ja) 通信装置、通信装置の制御方法、プログラム
TWI530170B (zh) 雲端影像分享系統
JP2017055211A (ja) 撮像制御装置およびその制御方法、情報処理装置及びその制御方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210201