JP2020170916A - 情報処理装置、及び、情報処理方法 - Google Patents
情報処理装置、及び、情報処理方法 Download PDFInfo
- Publication number
- JP2020170916A JP2020170916A JP2019070551A JP2019070551A JP2020170916A JP 2020170916 A JP2020170916 A JP 2020170916A JP 2019070551 A JP2019070551 A JP 2019070551A JP 2019070551 A JP2019070551 A JP 2019070551A JP 2020170916 A JP2020170916 A JP 2020170916A
- Authority
- JP
- Japan
- Prior art keywords
- animal
- pet
- determination unit
- emotion
- wording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 35
- 238000003672 processing method Methods 0.000 title claims description 3
- 230000008451 emotion Effects 0.000 claims abstract description 69
- 241001465754 Metazoa Species 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000008921 facial expression Effects 0.000 claims description 16
- 230000001755 vocal effect Effects 0.000 claims description 5
- 238000012806 monitoring device Methods 0.000 description 54
- 238000004891 communication Methods 0.000 description 24
- 238000003860 storage Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 14
- 230000002996 emotional effect Effects 0.000 description 10
- 230000007613 environmental effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000036760 body temperature Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009532 heart rate measurement Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Environmental Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Biophysics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Animal Husbandry (AREA)
- Data Mining & Analysis (AREA)
- Ophthalmology & Optometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Child & Adolescent Psychology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Telephonic Communication Services (AREA)
- Alarm Systems (AREA)
- Information Transfer Between Computers (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】動物にセンサ装置を装着することなく、動物の感情を示す文言をユーザに通知する。【解決手段】情報処理システム１は、動物が撮影された画像を用いて動物の状態を判定する状態判定部１０２と、動物の状態と感情との関係を示す通知文言ＤＢ１０５に基づいて、状態判定部１０２によって判定された動物の状態に対応する動物の感情を判定する感情判定部１０３と、感情判定部１０３によって判定された動物の感情を示す文言をユーザ端末４へ通知する通知処理部１０４と、を備える。【選択図】図１
Description
本開示は、情報処理装置、及び、情報処理方法に関する。
近年、飼い主とペットの関係性をより深める仕組みが提供されている。特許文献１には、ペットに装着されたセンサ装置が検出したデータを用いて、ペットの行動、感情及び健康といったペットの状態を判定し、判定したペットの状態に対応するペットの発言を発言ＤＢ（DataBase）から取得して対話型ＳＮＳ上の特定のユーザ宛に送信する仕組みが開示されている。
しかしながら、ペットにセンサ装置を装着する仕組みは、ペットに対してストレスを与える。また、この仕組みは、ペットの数の増加に応じて、センサ装置の数も増加するため、飼い主にとって高コストである。
本開示の非限定的な実施例は、ペットにセンサ装置を装着せずに、ペットの状態を判定する技術の提供に資する。
本開示の一態様に係る情報処理装置は、動物が撮影された画像を用いて前記動物の状態を判定する状態判定部と、前記動物の状態と感情との関係を示す情報に基づいて、前記状態判定部によって判定された前記動物の状態に対応する前記動物の感情を判定する感情判定部と、前記感情判定部によって判定された前記動物の感情を示す文言を端末へ通知する通知処理部と、を備える。
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の一態様によれば、ペットにセンサ装置を装着せずに、ペットの状態を判定できる。
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
＜システム構成＞
図１は、実施の形態１に係る情報処理システムの構成例を示す。
＜システム構成＞
図１は、実施の形態１に係る情報処理システムの構成例を示す。
図１に示すように、情報処理システム１は、監視装置２、サーバ装置３及びユーザ端末４を含む。監視装置２、サーバ装置３及びユーザ端末４は、ネットワーク６を通じて互いにデータを送受信できる。ネットワーク６の少なくとも一部は、有線及び／又は無線による、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）であってよい。また、ネットワーク６の少なくとも一部はインターネットであってよい。
監視装置２は、例えば、家Ｈの中に設置され、ペットＰを監視する。監視装置２は、可視光カメラ及びマイクを備える。監視装置２は、可視光カメラによってペットＰの姿を撮影し、画像データを生成する。監視装置２は、マイクによってペットＰが発声する音を拾い、音声データを生成する。監視装置２は、画像データ及び音声データを、ネットワーク６を通じてサーバ装置３へ送信する。監視装置２は、ペットカメラと呼ばれてよい。
サーバ装置３は、監視装置２から受信した画像データ及び音声データに基づいてペットＰの感情を判定し、ペットＰの感情を示す情報（以下「感情情報」という）を生成する。サーバ装置３は、ペットＰの感情情報に対応する通知文言を特定する。サーバ装置３は、画像データ及び通知文言を、ペットＰの飼い主であるユーザＵのユーザ端末４へ送信する。
ユーザ端末４は、サーバ装置３から受信した画像データ及び通知文言を表示する。これにより、ユーザＵは、家Ｈの中のペットＰの状況及び感情を知ることができる。以下、詳しく説明する。
＜監視装置の構成＞
図２は、監視装置２の構成例を示す。
図２は、監視装置２の構成例を示す。
図２に示すように、監視装置２は、制御部２１、記憶部２２、操作部２３、パンモータ２４、チルトモータ２５、赤外線センサ２６、音声入出力制御部２７、マイク２８、スピーカ２９、撮像部３０、映像メモリ制御部３１、映像メモリ３２、無線ＬＡＮ通信部３３、電源部３４、外部メモリＩ／Ｆ（Interface）部３５、及び、バス３６を有する。
制御部２１は、監視装置２を制御する。制御部２１は、ＣＰＵ（Central Processing Unit）によって構成されてよい。
記憶部２２には、制御部２１が動作するためのプログラムが記憶される。また、記憶部２２には、制御部２１が計算処理を行うためのデータ、または、制御部２１が各部を制御するためのデータ等が記憶される。記憶部２２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、およびＨＤＤ（Hard Disk Drive）などの記憶装置によって構成されてよい。
操作部２３は、ユーザの操作を受け付け可能なボタン等を用いて構成される。操作部２３は、ユーザの操作に応じた信号を制御部２１に出力する。
パンモータ２４は、制御部２１の制御に基づいて、撮像部３０をパン方向に駆動するモータである。チルトモータ２５は、制御部２１の制御に基づいて、撮像部３０をチルト方向に駆動するモータである。
赤外線センサ２６は、例えば、ＰＩＲ（Passive Infra-Red）センサである。赤外線センサ２６は、例えば、ペットを検知する。
音声入出力制御部２７、マイク２８、およびスピーカ２９は、外部に対して音声の入出力を行う。
撮像部３０は、レンズおよび撮像素子を有する。撮像素子は、例えば、ＣＣＤ（Charged Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサである。撮像部３０は、パン方向およびチルト方向に可動する機構を有する。撮像部３０は、パンモータ２４およびチルトモータ２５によって、パン方向およびチルト方向に可動する。
映像メモリ制御部３１は、マイク２８により集音された音声の信号（音声データ）を、撮像部３０から出力される画像データとともに、映像メモリ３２に一時的にバッファリング（記憶）する。
無線ＬＡＮ通信部３３は、例えば、Ｗｉ−Ｆｉ（登録商標）等の無線通信方式を用いて、ルータ（図示しない）に無線接続する。無線ＬＡＮ通信部３３は、映像メモリ制御部３１を介して、映像メモリ３２に記憶された画像データ（音声データを含む）を読み出す。無線ＬＡＮ通信部３３は、読み出した画像データを、ルータを介して、サーバ装置３に送信する。
電源部３４は、監視装置２の各部に必要な電力を供給する。外部メモリＩ／Ｆ部３５には、ＵＳＢメモリまたはＳＤカード（登録商標）等の外部メモリが着脱される。制御部２１は、赤外線センサ２６によってペットが検知された場合、撮像部３０による撮影を開始し、映像メモリ３２に記憶される撮像部３０の画像データを外部メモリに記憶してもよい。
＜サーバ装置の構成＞
図３は、サーバ装置３の構成例を示す。
図３は、サーバ装置３の構成例を示す。
図３に示すように、サーバ装置３は、制御部４１、記憶部４２、及び、通信部４３を有する。
制御部４１は、サーバ装置３を制御する。制御部４１は、ＣＰＵによって構成されてよい。
記憶部４２には、制御部４１が動作するためのプログラムが記憶される。また、記憶部４２には、制御部４１が計算処理を行うためのデータ、または、制御部４１が各部を制御するためのデータ等が記憶される。記憶部４２は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、およびＨＤＤ等の記憶装置によって構成されてよい。
通信部４３は、ネットワーク６を介して、他の装置とデータを送受信する。例えば、通信部４３は、制御部４１によって生成されたデータを、ネットワーク６へ送信する。通信部４３は、ネットワーク６から受信したデータを、制御部４１に提供する。
＜ユーザ端末の構成＞
図４は、ユーザ端末４の構成例を示す。
図４は、ユーザ端末４の構成例を示す。
図４に示すように、ユーザ端末４は、制御部５１、記憶部５２、タッチパネル５３、携帯電話通信部５４、音声入出力制御部５５、マイク５６、スピーカ５７、無線ＬＡＮ（Local Area Network）通信部５８、ＵＳＢ（Universal Serial Bus）通信部５９、二次電池６０、及び、バス６１を有する。
制御部５１は、ユーザ端末４を制御する。制御部５１は、ＣＰＵによって構成されてよい。
記憶部５２には、制御部５１が動作するためのプログラムが記憶される。また、記憶部５２には、制御部５１が計算処理を行うためのデータ、または、制御部５１が各部を制御するためのデータ等が記憶される。記憶部５２は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、およびＨＤＤ等の記憶装置によって構成されてもよい。
タッチパネル５３は、画像を表示する表示装置と、表示装置の画面上にユーザ操作を受付ける透明な板状の入力装置とを備えた装置である。タッチパネル５３は、監視装置２が撮影する画像を表示する。また、タッチパネル５３は、例えば、ユーザのタップ操作、ドラッグ操作、または長押し操作等を受け付け、受け付けた操作に応じた信号を制御部５１に出力する。
携帯電話通信部５４は、例えば、３Ｇ（第３世代移動通信システム）、４Ｇ（第４世代移動通信システム）、及び／又は、５Ｇ（第５世代移動通信システム）等の無線通信方式を用いて、ネットワーク６に無線接続する。携帯電話通信部４４は、ネットワーク６を介して、他の電子機器と、データの送受信を行う。
音声入出力制御部５５、マイク５６、及び、スピーカ５７は、外部に対して音声の入出力を行う。
無線ＬＡＮ通信部５８は、例えば、Ｗｉ−Ｆｉ等の無線通信方式を用いて、ルータ（図示しない）に無線接続する。無線ＬＡＮ通信部５８は、ルータを介して、他の電子機器と、データの送受信を行う。
ＵＳＢ通信部５９は、ＵＳＢ規格のインタフェースを有する機器やメモリ等とデータを送受信する。
二次電池６０は、ユーザ端末４の各部に必要な電力を供給する。二次電池６０は、ニッケル水素バッテリ、リチウムイオン電池、又は、鉛バッテリ等の充電可能な電池である。
＜サーバ装置の機能＞
図５は、サーバ装置３の機能例を示す。
図５は、サーバ装置３の機能例を示す。
サーバ装置３は、データ受信部１０１、状態判定部１０２、感情判定部１０３、通知処理部１０４、及び、通知文言ＤＢ１０５を有する。
＜＜データ受信部＞＞
データ受信部１０１は、監視装置２から、センサデータの一例である画像データ及び音声データを受信する。上述のとおり、画像データにはペットの姿が含まれ得る。音声データにはペットが発声した音が含まれ得る。
データ受信部１０１は、監視装置２から、センサデータの一例である画像データ及び音声データを受信する。上述のとおり、画像データにはペットの姿が含まれ得る。音声データにはペットが発声した音が含まれ得る。
＜＜状態判定部＞＞
状態判定部１０２は、データ受信部１０１が受信した画像データ及び音声データに基づいて、ペットの状態を判定する。
状態判定部１０２は、データ受信部１０１が受信した画像データ及び音声データに基づいて、ペットの状態を判定する。
状態判定部１０２は、画像データを分析して、ペットの状態の一例であるペットの姿勢分類を判定する。次に、ペットの姿勢分類の判定例を示す。
・状態判定部１０２は、画像データに、寝転んでいるペットの姿が含まれる場合、ペットの姿勢分類を「寝転び」と判定する。
・状態判定部１０２は、画像データに、４足で立っているペットの姿が含まれる場合、ペットの姿勢分類を「４足立ち」と判定する。
・状態判定部１０２は、画像データに、２足で立っているペットの姿が含まれる場合、ペットの姿勢分類を「２足立ち」と判定する。
・状態判定部１０２は、画像データに、顔を上に向けているペットの姿が含まれる場合、ペットの姿勢分類を「上向き顔」と判定する。
・状態判定部１０２は、画像データに、前傾姿勢で立っているペットの姿が含まれる場合、ペットの姿勢分類を「前傾」と判定する。
・状態判定部１０２は、画像データに、伏せの姿勢で顔を上げているペットの姿が含まれる場合、ペットの姿勢分類を「伏せ（顔を上げた状態）」と判定する。
・状態判定部１０２は、画像データに、伏せの姿勢で顔を下げているペットの姿が含まれる場合、ペットの姿勢分類を「伏せ（顔を下げた状態）」と判定する。
・状態判定部１０２は、画像データに、寝転んでいるペットの姿が含まれる場合、ペットの姿勢分類を「寝転び」と判定する。
・状態判定部１０２は、画像データに、４足で立っているペットの姿が含まれる場合、ペットの姿勢分類を「４足立ち」と判定する。
・状態判定部１０２は、画像データに、２足で立っているペットの姿が含まれる場合、ペットの姿勢分類を「２足立ち」と判定する。
・状態判定部１０２は、画像データに、顔を上に向けているペットの姿が含まれる場合、ペットの姿勢分類を「上向き顔」と判定する。
・状態判定部１０２は、画像データに、前傾姿勢で立っているペットの姿が含まれる場合、ペットの姿勢分類を「前傾」と判定する。
・状態判定部１０２は、画像データに、伏せの姿勢で顔を上げているペットの姿が含まれる場合、ペットの姿勢分類を「伏せ（顔を上げた状態）」と判定する。
・状態判定部１０２は、画像データに、伏せの姿勢で顔を下げているペットの姿が含まれる場合、ペットの姿勢分類を「伏せ（顔を下げた状態）」と判定する。
状態判定部１０２は、画像データを分析して、ペットの状態の一例であるペットの表情を判定する。次に、ペットの表情の判定例を示す。
・状態判定部１０２は、画像データに、睨んでいるペットの顔が含まれる場合、ペットの表情を「睨み」と判定する。
・状態判定部１０２は、画像データに、目を見開いているペットの顔が含まれる場合、ペットの表情を「目を見開く」と判定する。
・状態判定部１０２は、画像データに、見つめているペットの顔が含まれる場合、ペットの表情を「見つめる」と判定する。
・状態判定部１０２は、画像データに、睨んでいるペットの顔が含まれる場合、ペットの表情を「睨み」と判定する。
・状態判定部１０２は、画像データに、目を見開いているペットの顔が含まれる場合、ペットの表情を「目を見開く」と判定する。
・状態判定部１０２は、画像データに、見つめているペットの顔が含まれる場合、ペットの表情を「見つめる」と判定する。
状態判定部１０２は、ペットの姿を含む大量の画像データにて深層学習したディープニューラルネットワーク（ＤＮＮ）を用いて、上記の判定を行ってよい。
状態判定部１０２は、音声データを分析して、ペットの状態の一例であるペットの鳴き声（発声音）を判定する。次に、ペットの鳴き声の判定例を示す。
・状態判定部１０２は、ペットが犬の場合、音声データを分析して、ペットの鳴き声が、「ワンワン」、「グルル」、「ワオーン」、「キャンキャン」、「ズー」、「グー」、「ガウッ」、「ウー」及び「クーン」のうちの何れであるかを判定する。
・状態判定部１０２は、ペットが猫の場合、音声データを分析して、ペットの鳴き声が、「ニャー」、「シャー」、「ゴロゴロ」及び「カカカ」のうちの何れであるかを判定する。
・状態判定部１０２は、ペットが犬の場合、音声データを分析して、ペットの鳴き声が、「ワンワン」、「グルル」、「ワオーン」、「キャンキャン」、「ズー」、「グー」、「ガウッ」、「ウー」及び「クーン」のうちの何れであるかを判定する。
・状態判定部１０２は、ペットが猫の場合、音声データを分析して、ペットの鳴き声が、「ニャー」、「シャー」、「ゴロゴロ」及び「カカカ」のうちの何れであるかを判定する。
状態判定部１０２が分析に用いる音声データは、図６Ａに示すような、時間及び振幅の情報を含む音声信号であってよい。或いは、音声データは、図６Ｂに示すような、時間、周波数及び信号成分の強さの情報を含むスペクトログラムであってもよい。状態判定部１０２は、スペクトログラムを、画像データとして扱ってもよい。これにより、状態判定部１０２は、音声データを、上記のペットの姿を含む画像データの場合と同様に、ＤＮＮを用いて判定できる。
状態判定部１０２は、上記の姿勢分類、表情及び鳴き声等の判定結果を組み合わせたペットの状態情報を生成する。例えば、状態判定部１０２は、姿勢分類「前傾／２足立ち」、表情「睨み」、鳴き声「ガウッ」を組み合わせた状態情報を生成する。
なお、音声データには、ペットの鳴き声の他に、チャイム音のような環境音も含まれ得る。状態判定部１０２は、音声データを分析して、このような環境音を判定してもよい。この場合、状態判定部１０２は、判定した環境音をさらに組み合わせた状態情報を生成してよい。
また、画像データ及び／又は音声データによる分析は、上述の例に限られない。例えば、状態判定部１０２は、画像データ及び／又は音声データから、ペットの場所（トイレ、餌場など）を分析してもよい。
＜＜通知文言ＤＢ＞＞
図７に示すように、通知文言ＤＢ１０５は、ペットの姿勢分類、表情、鳴き声及び環境音の組み合わせに対する、感情情報の関連付けを管理する。また、通知文言ＤＢ１０５は、感情情報に対する通知文言の関連付けを管理する。なお、図７は一例であり、通知文言ＤＢ１０５は、図７に示す姿勢分類、表情、鳴き声及び環境音のうちの少なくとも１つに対する、感情情報の関連付けを管理してよい。
図７に示すように、通知文言ＤＢ１０５は、ペットの姿勢分類、表情、鳴き声及び環境音の組み合わせに対する、感情情報の関連付けを管理する。また、通知文言ＤＢ１０５は、感情情報に対する通知文言の関連付けを管理する。なお、図７は一例であり、通知文言ＤＢ１０５は、図７に示す姿勢分類、表情、鳴き声及び環境音のうちの少なくとも１つに対する、感情情報の関連付けを管理してよい。
＜＜感情判定部＞＞
感情判定部１０３は、状態判定部１０２によって生成されたペットの状態情報から、ペットの感情情報を判定する。例えば、感情判定部１０３は、図７に示す通知文言ＤＢ１０５を用いて、ペットの状態情報から、ペットの感情情報を判定する。
感情判定部１０３は、状態判定部１０２によって生成されたペットの状態情報から、ペットの感情情報を判定する。例えば、感情判定部１０３は、図７に示す通知文言ＤＢ１０５を用いて、ペットの状態情報から、ペットの感情情報を判定する。
例えば、状態情報が、姿勢分類「伏せ（頭を上げた状態）」、及び、鳴き声「ワオーン」の組み合わせである場合、感情判定部１０３は、通知文言ＤＢ１０５の行２００ｂから、感情情報を「寂しい」と判定する。さらに、感情判定部１０３は、通知文言ＤＢ１０５の行２００ｂから、感情分類「寂しい」に関連付けられている文言「まだ帰って来ないかなー」を特定する。
例えば、状態情報が、姿勢分類「４足立ち」、表情「目を見開く」、鳴き声「ウー」、及び、環境音「チャイム音」の組み合わせである場合、感情判定部１０３は、通知文言ＤＢ１０５の行２００ｃから、感情情報を「警戒」と判定する。さらに、感情判定部１０３は、通知文言ＤＢ１０５の行２００ｃから、感情情報「警戒」に関連付けられている通知文言「誰か来たのかな？」を特定する。
なお、感情判定部１０３は、ペットの状態情報の組み合わせを入力した場合に、その入力に対応する感情情報を出力するＤＮＮを用いて、ペットの感情情報を判定してもよい。
＜＜通知処理部＞＞
通知処理部１０４は、通知条件を満たす場合、感情判定部１０３によって特定された文言を、ユーザ端末４へ通知する。通知処理部１０４は、ペットの感情を示す文言と共に画像データを通知してよい。
通知処理部１０４は、通知条件を満たす場合、感情判定部１０３によって特定された文言を、ユーザ端末４へ通知する。通知処理部１０４は、ペットの感情を示す文言と共に画像データを通知してよい。
通知条件は、次の（Ａ１）から（Ａ４）のうちの少なくとも１つであってよい。
（Ａ１）前回の通知から所定時間以上が経過している場合に、通知を実行する。これにより、ユーザ端末４に対して、適切な頻度で文言を通知できる。
（Ａ２）今回通知する文言が、前回通知した文言と異なる場合に、通知を実行する。これにより、同じ文言が連続して通知されることを抑止できる。また、ペットの感情が大きく変化したときに文言を通知できる。
（Ａ３）画像データにペットの適切な姿が含まれる場合に、通知を実行する。これにより、適切な画像データがユーザ端末４に表示される。なお、ペットの適切な姿が含まれるか否かは、画像データにペットの目、鼻及び／又は口の画像が含まれるか否かによって判定されてよい。
（Ａ４）ユーザ端末４が、監視装置２が設置されている家の外に位置する場合に、通知を実行する。これにより、ユーザが家の中にいる場合に文言が通知されることを抑止できる。なお、ユーザ端末４が家の内と外の何れに位置するかは、ユーザ端末４の位置情報によって判定されてよい。或いは、ユーザ端末４と監視装置２とが同じＬＡＮに接続されているか否かによって判定されてよい。
（Ａ１）前回の通知から所定時間以上が経過している場合に、通知を実行する。これにより、ユーザ端末４に対して、適切な頻度で文言を通知できる。
（Ａ２）今回通知する文言が、前回通知した文言と異なる場合に、通知を実行する。これにより、同じ文言が連続して通知されることを抑止できる。また、ペットの感情が大きく変化したときに文言を通知できる。
（Ａ３）画像データにペットの適切な姿が含まれる場合に、通知を実行する。これにより、適切な画像データがユーザ端末４に表示される。なお、ペットの適切な姿が含まれるか否かは、画像データにペットの目、鼻及び／又は口の画像が含まれるか否かによって判定されてよい。
（Ａ４）ユーザ端末４が、監視装置２が設置されている家の外に位置する場合に、通知を実行する。これにより、ユーザが家の中にいる場合に文言が通知されることを抑止できる。なお、ユーザ端末４が家の内と外の何れに位置するかは、ユーザ端末４の位置情報によって判定されてよい。或いは、ユーザ端末４と監視装置２とが同じＬＡＮに接続されているか否かによって判定されてよい。
なお、通知処理部１０４は、ペットの姿が含まれる画像に文言を重畳した画像データを生成し、ユーザ端末４へ通知してもよい。
また、通知処理部１０４は、ユーザが利用するＳＮＳのサーバ装置（図示しない）に対して、文言を通知してよい。ＳＮＳのサーバ装置は、通知された文言を、ユーザ端末４のＳＮＳアプリケーションに転送する。これにより、ユーザは、ユーザ端末４のＳＮＳアプリケーションを用いて、ペットの文言の通知を受け取ることができる。なお、文言は、ＳＮＳアプリケーションの画面において、時系列に表示（つまりタイムライン表示）されてよい。
＜サーバ装置の動作＞
次に、図８に示すフローチャートを参照し、サーバ装置３の動作例について説明する。
次に、図８に示すフローチャートを参照し、サーバ装置３の動作例について説明する。
データ受信部１０１は、監視装置２から画像データ及び音声データを受信する（Ｓ１０１）。
状態判定部１０２は、Ｓ１０１で受信した画像データにペットの姿が含まれるか否かを判定する（Ｓ１０２）。画像データにペットの姿が含まれる場合（Ｓ１０２：ＹＥＳ）、サーバ装置３は、Ｓ１０４の処理を実行する。
画像データにペットの姿が含まれない場合（Ｓ１０２：ＮＯ）、状態判定部１０２は、Ｓ１０１で受信した音声データにペットの鳴き声が含まれるか否かを判定する（Ｓ１０３）。音声データにペットの鳴き声が含まれない場合（Ｓ１０３：ＮＯ）、サーバ装置３は、処理を終了する（ＥＮＤ）。音声データにペットの鳴き声が含まれる場合（Ｓ１０３：ＹＥＳ）、サーバ装置３は、Ｓ１０４の処理を実行する。
状態判定部１０２は、画像データ及び／又は音声データに基づいて、ペットの状態情報及び感情情報を生成する（Ｓ１０４）。
感情判定部１０３は、通知文言ＤＢ１０５を参照して、Ｓ１０４で生成された感情情報に対応する文言を特定する（Ｓ１０５）。
通知処理部１０４は、通知条件を満たすか否かを判定する（Ｓ１０６）。通知条件を満たさない場合（Ｓ１０６：ＮＯ）、サーバ装置３は、処理を終了する（ＥＮＤ）。
通知条件を満たす場合（Ｓ１０６：ＹＥＳ）、通知処理部１０４は、Ｓ１０５で特定された文言を、ユーザ端末４へ通知する（Ｓ１０７）。そして、サーバ装置３は、処理を終了する（ＥＮＤ）。
＜変形例＞
次に、上述した実施の形態における変形例を説明する。なお、次に説明する変形例は互い組み合わせて実施されてもよい。
次に、上述した実施の形態における変形例を説明する。なお、次に説明する変形例は互い組み合わせて実施されてもよい。
画像データは、動画像データであってよい。この場合、通知処理部１０４は、データ受信部１０１によって受信された動画像データに対して、感情判定部１０３によって特定された文言を重畳して、ユーザ端末４へ送信してよい。動画像データは、監視装置２がリアルタイムに撮影中の画像であってよい。或いは、動画像データは、監視装置２が過去に撮影して記録した画像（つまり録画画像）であってもよい。
状態判定部１０２及び感情判定部１０３は、画像データに複数のペットの姿が含まれる場合、ユーザ端末４から指定されたペットを判定の対象としてよい。
状態判定部１０２及び感情判定部１０３は、画像データに複数のペットの姿が含まれる場合、画像に占める割合が最も大きいペットを、判定の対象としてよい。
状態判定部１０２及び感情判定部１０３は、画像データに複数のペットの姿が含まれる場合、それぞれのペットを判定の対象としてよい。この場合、次の（Ｂ１）及び（Ｂ２）のうちの少なくとも１つが実現されてよい。
（Ｂ１）通知処理部１０４は、それぞれのペットの文言を、ユーザ端末４へ通知してよい。ユーザ端末４は、ユーザからの指示に応じて、表示させる文言を切り替えてよい。また、ユーザ端末４は、ユーザが画像データの一部をズームアップした場合、ズームアップされたペットの文言を表示してもよい。
（Ｂ２）通知処理部１０４は、それぞれのペットの名前と文言の組を、ユーザ端末４へ送信してよい。ユーザ端末４は、受信したそれぞれのペットの名前と文言の組を表示してよい。例えば、ユーザ端末４は、同じ組のペットの名前と文言を並べて表示してよい。例えば、ユーザ端末４は、異なる組のペットの名前と文言を、異なる色で表示してよい。
（Ｂ１）通知処理部１０４は、それぞれのペットの文言を、ユーザ端末４へ通知してよい。ユーザ端末４は、ユーザからの指示に応じて、表示させる文言を切り替えてよい。また、ユーザ端末４は、ユーザが画像データの一部をズームアップした場合、ズームアップされたペットの文言を表示してもよい。
（Ｂ２）通知処理部１０４は、それぞれのペットの名前と文言の組を、ユーザ端末４へ送信してよい。ユーザ端末４は、受信したそれぞれのペットの名前と文言の組を表示してよい。例えば、ユーザ端末４は、同じ組のペットの名前と文言を並べて表示してよい。例えば、ユーザ端末４は、異なる組のペットの名前と文言を、異なる色で表示してよい。
（実施の形態２）
図９を参照して、実施の形態２に係るサーバ装置３の機能を説明する。なお、実施の形態２の説明では、実施の形態１と共通の説明を省略する。
図９を参照して、実施の形態２に係るサーバ装置３の機能を説明する。なお、実施の形態２の説明では、実施の形態１と共通の説明を省略する。
図９に示すように、実施の形態２に係るサーバ装置３は、監視装置制御部１０６をさらに有する。監視装置制御部１０６は、ユーザ端末４からの指示に基づいて、監視装置２を制御する。
次に、図１０を参照して、監視装置制御部１０６の処理例１を説明する。図１０に示すように、ユーザ端末４は、感情情報を表示すると共に、呼びかけボタン３０１を表示する。
ユーザＵが呼びかけボタン３０１を押下した場合、ユーザ端末４は、呼びかけボタン３０１が押下された旨を示す情報（以下「呼びかけ情報」という）を、サーバ装置３へ送信する。サーバ装置３の監視装置制御部１０６は、呼びかけ情報の受信を検知した場合、監視装置２に対して、呼びかけ指示を送信する。監視装置２は、呼びかけ指示を受信した場合、受信した呼びかけ指示に応じた音声を、スピーカ２９から出力する。
これにより、ユーザＵは、ユーザ端末４に通知されたペットＰの文言に応じて、監視装置２を通じてペットＰに呼びかけることができる。
なお、呼びかけの方法は、呼びかけボタン３０１の押下に限られない。例えば、監視装置制御部１０６は、ユーザＵがユーザ端末４に対して発した音声を受信し、受信した音声を監視装置２へ転送してもよい。そして、監視装置２は、転送された音声をスピーカ２９から出力してよい。
次に、図１１を参照して、監視装置制御部１０６の処理例２を説明する。図１１に示すように、ユーザ端末４は、文言を表示すると共に、家電操作ボタン３０２を表示する。
ユーザＵが家電操作ボタン３０２を押下した場合、ユーザ端末４は、家電操作ボタン３０２が押下された旨を示す情報（以下「家電操作情報」という）を、サーバ装置３へ送信する。サーバ装置３の監視装置制御部１０６は、家電操作情報の受信を検知した場合、監視装置２に対して、家電操作指示を送信する。監視装置２は、家電操作指示を受信した場合、受信した家電操作指示に応じて、家電３０３を操作する。
これにより、ユーザＵは、ユーザ端末４に通知されたペットＰの文言に応じて、監視装置２を通じて家電３０３を操作することができる。例えば、ユーザＵは、暑いことを示すペットの文言が通知された場合、ユーザ端末４において、エアーコンディショナーをＯＮにする旨の家電操作を行う。これにより、家の中のエアーコンディショナーがＯＮになり、ペットＰが快適に過ごせる。
（実施の形態３）
図１２を参照して、実施の形態３に係る情報処理システムの構成例を説明する。なお、実施の形態３の説明では、実施の形態１と共通の説明を省略する。
図１２を参照して、実施の形態３に係る情報処理システムの構成例を説明する。なお、実施の形態３の説明では、実施の形態１と共通の説明を省略する。
図１２に示すように、実施の形態３に係る情報処理システムでは、監視装置２が状態判定部１０２を有し、サーバ装置３が感情判定部１０３、通知処理部１０４、及び、通知文言ＤＢ１０５を有する。この場合、監視装置２の状態判定部１０２が、ペットの状態情報を生成し、生成した状態情報をサーバ装置３へ送信する。そして、サーバ装置３の感情判定部１０３が、監視装置２から受信した状態情報に基づいて、感情情報を生成する。
図１２に示す情報処理システムによれば、状態判定部１０２の処理が各監視装置２に分散されるので、サーバ装置３の処理負荷を軽減できる。
（実施の形態４）
図１３を参照して、実施の形態４に係る情報処理システムの構成例を説明する。なお、実施の形態５の説明では、実施の形態１と共通の説明を省略する。
図１３を参照して、実施の形態４に係る情報処理システムの構成例を説明する。なお、実施の形態５の説明では、実施の形態１と共通の説明を省略する。
図１３に示すように、実施の形態４に係る情報処理システムでは、監視装置２が、状態判定部１０２、感情判定部１０３、通知処理部１０４、及び、通知文言ＤＢ１０５を有する。この場合、情報処理システムは、サーバ装置３を有さなくてもよい。
図１３に示す情報処理システムによれば、サーバ装置３を用いずに、実施の形態１を実現できる。
（実施の形態５）
図１４を参照して、実施の形態５に係る情報処理システムの構成例を示す。なお、実施の形態５の説明では、実施の形態１と共通の説明を省略する。
図１４を参照して、実施の形態５に係る情報処理システムの構成例を示す。なお、実施の形態５の説明では、実施の形態１と共通の説明を省略する。
図１４に示すように、実施の形態５に係る情報処理システムでは、監視装置２は、撮像部３０及びマイク２８に加えて、次のうちの少なくとも１つを備える。すなわち、監視装置２は、空気の温度を測定する温度センサ４０１、空気の湿度を測定する湿度センサ４０２、及び、ペットの体温を測定するサーモカメラ４０３、及び、ペットまでの距離を測定できる深度カメラ４０４のうちの少なくとも１つを備える。なお、撮像部３０は、暗所又は夜間でもペットを撮影できるカメラ（例えば暗視カメラ又は赤外線カメラ）であってよい。また、深度カメラ４０４は、ＴｏＦ（Time-of-Flight）カメラと呼ばれてもよい。
監視装置２は、センサデータとして、画像データ及び音声データに加えて、温度センサ４０１によって測定された温度データ、湿度センサ４０２によって測定された湿度データ、サーモカメラ４０３によって測定されたペットの体温データ、及び、深度カメラ４０４によって測定されたペットまでの距離データを、サーバ装置３へ送信する。
サーバ装置３における状態判定部１０２は、監視装置２から受信した、画像データ、音声データ、温度データ、湿度データ、及び、体温データのうちの少なくとも１つに基づいて、状態情報を生成する。ここで、状態判定部１０２は、体温データに基づいて、ペットの状態の一例であるペットのバイタルを分析する。例えば、状態判定部１０２は、体温データを分析して、ペットの体温が、「上昇」、「維持」及び「下降」のうちの何れであるかを判定する。この場合、状態判定部１０２は、姿勢分類、表情、鳴き声、環境音、及び、バイタルを組み合わせた状態情報を生成する。なお、ペットが心拍測定センサを付けている場合、状態判定部１０２は、ペットのバイタルの分析として、その心拍測定センサから受信した心拍データを分析してもよい。例えば、状態判定部１０２は、ペットの心拍が、「上昇」、「維持」及び「下降」のうちの何れであるかを判定してもよい。
通知文言ＤＢ１０５は、図１５に示すように、状態情報の組み合わせ項目として、姿勢分類、表情、鳴き声、環境音に加えて、バイタルを有する。
感情判定部１０３は、通知文言ＤＢ１０５に基づいて、状態情報に対応する感情情報を判定する。すなわち、感情判定部１０３は、姿勢分類、表情、鳴き声、環境音、及び、バイタルの組み合わせに対応する感情情報を判定する。
これにより、実施の形態５に係る情報処理システムは、実施の形態１に係る情報処理システムと比較して、より多彩な通知を、ユーザ端末４へ通知できる。
（実施の形態６）
図１６を参照して、実施の形態６を説明する。なお、実施の形態６の説明では、実施の形態１と共通の説明を省略する。
図１６を参照して、実施の形態６を説明する。なお、実施の形態６の説明では、実施の形態１と共通の説明を省略する。
図１６に示すように、ユーザ端末４は、ペットの姿を撮影した画像データ及びペットの鳴き声を拾った音声データを、サーバ装置３へ送信する。サーバ装置３は、ユーザ端末４から受信した画像データ及び音声データを、上述にて監視装置２から画像データ及び音声データを受信した場合と同様に処理する。そして、サーバ装置３は、ユーザ端末４に対して、通知文言を送信する。ユーザ端末４は、サーバ装置３から受信した文言を、画面に表示中のペットに重畳して表示する。
これにより、ユーザは、ユーザ端末４をペットに向けることで、ペットの感情を知ることができる。
なお、ユーザ端末４が、状態判定部１０２、感情判定部１０３、及び、通知文言ＤＢ１０５を備えてもよい。すなわち、ユーザ端末４は、撮影したペットの姿の画像データ及びペットの鳴き声を拾った音声データを、サーバ装置３へ送信せず、内部で感情情報を生成してよい。そして、ユーザ端末４は、生成した感情情報に対応する文言を、画面に表示中のペットに重畳して表示してよい。
（本開示のまとめ）
本開示に係る情報処理システム１は、動物が撮影された画像を用いて動物の状態を判定する状態判定部１０２と、動物の状態と感情との関係を示す通知文言ＤＢ１０５に基づいて、状態判定部１０２によって判定された動物の状態に対応する動物の感情を判定する感情判定部１０３と、感情判定部１０３によって判定された動物の感情を示す文言をユーザ端末４へ通知する通知処理部１０４と、を備える。これにより、動物を撮影した画像がサーバ装置３へ送信されることにより、その動物の感情を示す文言がユーザ端末４へ通知される。つまり、動物にセンサ装置を装着することなく、動物の感情を示す文言を、ユーザへ通知できる。
本開示に係る情報処理システム１は、動物が撮影された画像を用いて動物の状態を判定する状態判定部１０２と、動物の状態と感情との関係を示す通知文言ＤＢ１０５に基づいて、状態判定部１０２によって判定された動物の状態に対応する動物の感情を判定する感情判定部１０３と、感情判定部１０３によって判定された動物の感情を示す文言をユーザ端末４へ通知する通知処理部１０４と、を備える。これにより、動物を撮影した画像がサーバ装置３へ送信されることにより、その動物の感情を示す文言がユーザ端末４へ通知される。つまり、動物にセンサ装置を装着することなく、動物の感情を示す文言を、ユーザへ通知できる。
状態判定部１０２は、動物の状態として、動物を撮影した画像から、動物の姿勢及び表情のうちの少なくとも１つを判定してよい。これにより、動物の姿勢及び表情が判明するので、判明した分類に対応する感情情報を特定し、特定した感情情報に対応する文言を、端末に通知できる。
状態判定部１０２は、動物の発声音を用いて動物の状態を判定してもよい。この場合、状態判定部は、動物の状態として、動物の発声音から、動物の鳴き声を判定してよい。これにより、動物を撮影した画像と動物の発声音とを用いて動物の状態を判定するので、多様な文言を通知できる。
通知処理部１０４は、今回通知する文言が、前回通知した文言と異なる場合に、今回の文言を通知してよい。これにより、同じ文言の連続した通知が抑制されるので、適切な頻度で文言を通知できる。
通知処理部１０４は、文言と共に、動物が撮影された画像を通知してよい。これにより、ユーザは、動物が撮影された画像と文言とをまとめて確認できるので、動物の感情をより正しく認識できる。
なお、上述の「ペット」は動物の一例である。上述した実施の形態は、動物園で飼育されている動物又は畜産家によって飼育されている動物など、ペット以外にも適用できる。
また、上述した機能の全部又は一部が情報処理装置に含まれてよい。情報処理装置は、上述した監視装置２、サーバ装置３、及びユーザ端末４の何れであってもよいし、これらとは異なる装置であってもよい。
上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
本開示の一態様は、情報処理システムに有用である。
１ 情報処理システム
２ 監視装置
３ サーバ装置
４ ユーザ端末
６ ネットワーク
２１ 制御部
２２ 記憶部
２３ 操作部
２４ パンモータ
２５ チルトモータ
２６ 赤外線センサ
２７ 音声入出力制御部
２８ マイク
２９ スピーカ
３０ 撮像部
３１ 映像メモリ制御部
３２ 映像メモリ
３３ 無線ＬＡＮ通信部
３４ 電源部
３５ 外部メモリＩ／Ｆ部
３６ バス
４１ 制御部
４２ 記憶部
４３ 通信部
５１ 制御部
５２ 記憶部
５３ タッチパネル
５４ 携帯電話通信部
５５ 音声入出力制御部
５６ マイク
５７ スピーカ
５８ 無線ＬＡＮ通信部
５９ ＵＳＢ通信部
６０ 二次電池
６１ バス
１０１ データ受信部
１０２ 状態判定部
１０３ 感情判定部
１０４ 通知処理部
１０５ 通知文言ＤＢ
１０６ 監視装置制御部
２ 監視装置
３ サーバ装置
４ ユーザ端末
６ ネットワーク
２１ 制御部
２２ 記憶部
２３ 操作部
２４ パンモータ
２５ チルトモータ
２６ 赤外線センサ
２７ 音声入出力制御部
２８ マイク
２９ スピーカ
３０ 撮像部
３１ 映像メモリ制御部
３２ 映像メモリ
３３ 無線ＬＡＮ通信部
３４ 電源部
３５ 外部メモリＩ／Ｆ部
３６ バス
４１ 制御部
４２ 記憶部
４３ 通信部
５１ 制御部
５２ 記憶部
５３ タッチパネル
５４ 携帯電話通信部
５５ 音声入出力制御部
５６ マイク
５７ スピーカ
５８ 無線ＬＡＮ通信部
５９ ＵＳＢ通信部
６０ 二次電池
６１ バス
１０１ データ受信部
１０２ 状態判定部
１０３ 感情判定部
１０４ 通知処理部
１０５ 通知文言ＤＢ
１０６ 監視装置制御部
Claims (7)
- 動物が撮影された画像を用いて前記動物の状態を判定する状態判定部と、
前記動物の状態と感情との関係を示す情報に基づいて、前記状態判定部によって判定された前記動物の状態に対応する前記動物の感情を判定する感情判定部と、
前記感情判定部によって判定された前記動物の感情を示す文言を端末へ通知する通知処理部と、
を備えた、情報処理装置。 - 前記状態判定部は、前記動物の状態として、前記動物が撮影された画像から、前記動物の姿勢及び表情のうちの少なくとも１つを判定する、
請求項１に記載の情報処理装置。 - 前記状態判定部は、前記動物の発声音を用いて前記動物の状態を判定する、
請求項１又は２に記載の情報処理装置。 - 前記状態判定部は、前記動物の状態として、前記動物の発声音から、前記動物の鳴き声を判定する、
請求項３に記載の情報処理装置。 - 前記通知処理部は、前記文言が、前回通知した文言と異なる場合に、前記文言を通知する、
請求項１に記載の情報処理装置。 - 前記通知処理部は、前記文言と共に、前記動物が撮影された画像を通知する、
請求項１に記載の情報処理装置。 - 情報処理装置が、
動物が撮影された画像を用いて前記動物の状態を判定し、
前記動物の状態と感情との関係を示す情報に基づいて、判定された前記動物の状態に対応する前記動物の感情を判定し、
判定された前記動物の感情を示す文言を端末へ通知する、
情報処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019070551A JP2020170916A (ja) | 2019-04-02 | 2019-04-02 | 情報処理装置、及び、情報処理方法 |
| CA3077552A CA3077552A1 (en) | 2019-04-02 | 2020-03-31 | Information processing apparatus and information processing method |
| US16/837,192 US20200315141A1 (en) | 2019-04-02 | 2020-04-01 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019070551A JP2020170916A (ja) | 2019-04-02 | 2019-04-02 | 情報処理装置、及び、情報処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020170916A true JP2020170916A (ja) | 2020-10-15 |
Family
ID=72663425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019070551A Pending JP2020170916A (ja) | 2019-04-02 | 2019-04-02 | 情報処理装置、及び、情報処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20200315141A1 (ja) |
| JP (1) | JP2020170916A (ja) |
| CA (1) | CA3077552A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022138839A1 (ja) * | 2020-12-24 | 2022-06-30 | Ａｓｓｅｓｔ株式会社 | 動物意思判別プログラム |
| WO2022201293A1 (ja) * | 2021-03-23 | 2022-09-29 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
| WO2023120675A1 (ja) | 2021-12-23 | 2023-06-29 | アニコム ホールディングス株式会社 | 感情判定システム及び感情判定方法 |
| WO2023175931A1 (ja) * | 2022-03-18 | 2023-09-21 | 日本電気株式会社 | 画像分類装置、画像分類方法、及び、記録媒体 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH103479A (ja) * | 1996-06-14 | 1998-01-06 | Masaomi Yamamoto | 動物等の意思翻訳方法および動物等の意思翻訳装置 |
| JP2009118813A (ja) * | 2007-11-16 | 2009-06-04 | Panasonic Electric Works Co Ltd | ペット用鳴き声診断システム |
| JP2017175476A (ja) * | 2016-03-24 | 2017-09-28 | 佐藤 浩行 | 撮像装置、画像取得システム、画像提供サービス方法 |
-
2019
- 2019-04-02 JP JP2019070551A patent/JP2020170916A/ja active Pending
-
2020
- 2020-03-31 CA CA3077552A patent/CA3077552A1/en active Pending
- 2020-04-01 US US16/837,192 patent/US20200315141A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH103479A (ja) * | 1996-06-14 | 1998-01-06 | Masaomi Yamamoto | 動物等の意思翻訳方法および動物等の意思翻訳装置 |
| JP2009118813A (ja) * | 2007-11-16 | 2009-06-04 | Panasonic Electric Works Co Ltd | ペット用鳴き声診断システム |
| JP2017175476A (ja) * | 2016-03-24 | 2017-09-28 | 佐藤 浩行 | 撮像装置、画像取得システム、画像提供サービス方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022138839A1 (ja) * | 2020-12-24 | 2022-06-30 | Ａｓｓｅｓｔ株式会社 | 動物意思判別プログラム |
| WO2022201293A1 (ja) * | 2021-03-23 | 2022-09-29 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
| WO2023120675A1 (ja) | 2021-12-23 | 2023-06-29 | アニコム ホールディングス株式会社 | 感情判定システム及び感情判定方法 |
| JP2023094426A (ja) * | 2021-12-23 | 2023-07-05 | アニコム ホールディングス株式会社 | 感情判定システム及び感情判定方法 |
| JP7330258B2 (ja) | 2021-12-23 | 2023-08-21 | アニコム ホールディングス株式会社 | 感情判定システム及び感情判定方法 |
| WO2023175931A1 (ja) * | 2022-03-18 | 2023-09-21 | 日本電気株式会社 | 画像分類装置、画像分類方法、及び、記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA3077552A1 (en) | 2020-10-02 |
| US20200315141A1 (en) | 2020-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2020170916A (ja) | 情報処理装置、及び、情報処理方法 | |
| US10674056B2 (en) | Wearable apparatus and method for capturing image data using multiple image sensors | |
| US10085423B2 (en) | Remote interaction device with tracking of remote movement input | |
| JP6573297B1 (ja) | 監視カメラおよび検知方法 | |
| US20130216971A1 (en) | Wireless intra-oral imaging system and method | |
| JPWO2018025458A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN110706449A (zh) | 一种婴幼儿监测方法、装置与摄像设备及存储介质 | |
| KR20130118510A (ko) | 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법 | |
| JP2015092646A (ja) | 情報処理装置、制御方法、およびプログラム | |
| CN105049807A (zh) | 监控画面声音采集方法及装置 | |
| US20160034252A1 (en) | Smart device control | |
| CN110730330B (zh) | 声音处理方法与装置、门铃和计算机可读存储介质 | |
| JP2019091233A (ja) | 通知制御システム、通知制御方法およびプログラム | |
| CN110178159A (zh) | 具有集成式投影仪的音频/视频可穿戴式计算机系统 | |
| JP2013161098A (ja) | サーバ装置及び監視システム | |
| CN116959189A (zh) | 基于摄像装置的宠物行为纠正方法及宠物行为纠正系统 | |
| LU100113B1 (en) | Intelligent bracelet | |
| CN105022291B (zh) | 一种声音信号采集方法及设备 | |
| JP6477830B1 (ja) | 首輪及び近接判定システム | |
| CN203608288U (zh) | 一种无线电子猫眼系统 | |
| KR102712161B1 (ko) | 모니터링 디바이스 및 그 제어 방법 | |
| JP2019058514A (ja) | 電子機器、電子機器の制御方法及びプログラム | |
| JP7113253B2 (ja) | 呼出装置、情報端末、情報端末の制御方法、プログラム | |
| CN111275928A (zh) | 一种用于监测人体活动的预警方法、电子设备、终端设备及预警系统 | |
| KR20230144482A (ko) | 감성 기반 반려 동물 관리 서비스 제공 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190625 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230104 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230627 |