JP2023121831A - 感情判定システム及び感情判定方法 - Google Patents
感情判定システム及び感情判定方法 Download PDFInfo
- Publication number
- JP2023121831A JP2023121831A JP2023107920A JP2023107920A JP2023121831A JP 2023121831 A JP2023121831 A JP 2023121831A JP 2023107920 A JP2023107920 A JP 2023107920A JP 2023107920 A JP2023107920 A JP 2023107920A JP 2023121831 A JP2023121831 A JP 2023121831A
- Authority
- JP
- Japan
- Prior art keywords
- animal
- emotion
- image
- behavior
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 176
- 238000000034 method Methods 0.000 title claims abstract description 27
- 241001465754 Metazoa Species 0.000 claims abstract description 167
- 230000009471 action Effects 0.000 claims description 74
- 238000012549 training Methods 0.000 claims description 12
- 241000894007 species Species 0.000 claims description 10
- 238000013473 artificial intelligence Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 230000006399 behavior Effects 0.000 abstract description 116
- 241000282326 Felis catus Species 0.000 description 39
- 241000282472 Canis lupus familiaris Species 0.000 description 33
- 230000003542 behavioural effect Effects 0.000 description 7
- 210000005069 ears Anatomy 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 241000283973 Oryctolagus cuniculus Species 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 210000001364 upper extremity Anatomy 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 235000008314 Echinocereus dasyacanthus Nutrition 0.000 description 2
- 240000005595 Echinocereus dasyacanthus Species 0.000 description 2
- 241000282324 Felis Species 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 206010071233 Constricted ear deformity Diseases 0.000 description 1
- 208000027534 Emotional disease Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 241000981595 Zoysia japonica Species 0.000 description 1
- 230000016571 aggressive behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000009963 fulling Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 235000001954 papillon Nutrition 0.000 description 1
- 244000229285 papillon Species 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000004006 stereotypic behavior Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K67/00—Rearing or breeding animals, not otherwise provided for; New or modified breeds of animals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Animal Behavior & Ethology (AREA)
- Zoology (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】簡易な方法で、動物の感情を判定する感情判定システム等を提供することを目的とする。【解決手段】動物の画像を取得する取得部と、前記取得部が取得した動物の画像から、前記動物の行動に関する行動情報を生成する行動情報生成部と、前記行動情報生成部が生成した行動情報に基づいて前記動物の感情を判定する感情判定部と、を有することを特徴とする感情判定システム、である。【選択図】図１
Description
本発明は、感情判定システム及び感情判定方法に関し、詳しくは、動物の画像から、動物の感情に関する判定結果を提供する感情判定システム及び感情判定方法に関する。
犬や猫、ウサギを始めとするペットは、人間にとってかけがえのない存在であり、様々なペット向けのサービスが普及、発展している。
ペットとして飼育される動物は、それぞれが個性を有する個体であり、感情を有する生き物である。動物の感情を把握することができれば、ペットと飼い主とのコミュニケーションは、より円滑に、そして深いものとなり、ペットと飼い主のすれ違いやミスマッチを防ぎ、ひいては、飼育放棄などの不幸なケースを減らすことが期待できる。
しかしながら、動物は、言葉を話すことができないので、自らの感情を説明することができない。
特許文献１には、動物の排泄時の様子を撮影する動物撮影装置と、撮影された動物の画像に基づいて、動物の健康状態と動物の感情の少なくとも一方を判定する健康判定システムが開示されているが、動物の行動に基づいた感情判定については開示されていない。
特許文献２には、動物が撮影された画像を用いて前記動物の状態を判定する状態判定部と、前記動物の状態と感情との関係を示す情報に基づいて、前記状態判定部によって判定された前記動物の状態に対応する前記動物の感情を判定する感情判定部と、前記感情判定部によって判定された前記動物の感情を示す文言を端末へ通知する通知処理部とを備えた情報処理装置が開示されているが、動物の行動に基づいた感情判定については開示されていない。
そこで、本発明は、簡易な方法で、動物の感情を判定する感情判定システムや感情判定方法を提供することを目的とする。
本発明者等は上記課題を解決すべく鋭意検討した結果、動物の画像を分析し、当該画像中の動物がどのような行動をとっているのかの行動情報から、当該動物の感情を判定又は推定することができることを見出し、本発明を完成するにいたった。
すなわち、本発明は以下の［１］～［１３］である。
［１］動物の画像を取得する取得部と、前記取得部が取得した動物の画像から、前記動物の行動に関する行動情報を生成する行動情報生成部と、前記行動情報生成部が生成した行動情報に基づいて前記動物の感情を判定する感情判定部と、を有することを特徴とする感情判定システム。
［２］前記行動情報生成部が、動物の画像から特徴量を抽出し、特徴量に基づいて動物の行動を判定することにより行動情報を生成するものである［１］の感情判定システム。
［３］前記行動情報生成部が、動物の画像と前記動物の行動との関係を学習した学習済みモデルを備え、前記学習済みモデルによって行動を判定し、行動情報を生成するものである［１］の感情判定システム。
［４］前記行動情報生成部が、画像の中に複数種類の行動が含まれている場合、それぞれの行動について行動情報を生成するものである［１］～［３］のいずれかの感情判定システム。
［５］前記行動情報生成部が行動情報を生成する際に、行動の持続時間の長さに応じて行動情報の重み付けを行う［１］～［４］のいずれかの感情判定システム。
［６］さらに、行動情報と感情との対応関係を記憶したデータベースを備え、前記感情判定部が、当該データベースを参照することにより動物の感情を判定するものである［１］～［５］のいずれかの感情判定システム。
［７］前記取得部が取得した動物の画像から、前記動物の品種を判定する品種判定部を備える［１］～［６］のいずれかの感情判定システム。
［８］前記データベースが、種又は品種ごとの行動情報と感情との対応関係を記憶したデータベースである［１］～［７］のいずれかの感情判定システム。
［９］前記データベースが、動物の品種を当該品種の成体の平均体重に基づいて分類した分類に応じて複数備えられている［１］～［７］のいずれかの感情判定システム。
［１０］動物の画像からその動物の行動を判定する学習済みモデルの生成方法であって、教師データとして、動物の画像と、その動物の行動に関するラベルをコンピュータに入力し、人工知能に学習させることを特徴とする学習済みモデルの生成方法。
［１１］動物の画像を用意するステップと、コンピュータが、前記動物の画像から、前記動物の行動に関する行動情報を生成する行動情報生成ステップと、コンピュータが、前記行動情報に基づいて前記動物の感情を判定する感情判定ステップと、を有することを特徴とする感情判定方法。
［１２］前記行動情報生成ステップが、動物の画像から特徴量を抽出し、特徴量に基づいて動物の行動を判定することにより行動情報を生成するステップである［１１］の感情判定方法。
［１３］前記行動情報生成ステップが、動物の画像と前記動物の行動との関係を学習した学習済みモデルによって行動を判定し、行動情報を生成するステップである［１２］の感情判定方法。
［１］動物の画像を取得する取得部と、前記取得部が取得した動物の画像から、前記動物の行動に関する行動情報を生成する行動情報生成部と、前記行動情報生成部が生成した行動情報に基づいて前記動物の感情を判定する感情判定部と、を有することを特徴とする感情判定システム。
［２］前記行動情報生成部が、動物の画像から特徴量を抽出し、特徴量に基づいて動物の行動を判定することにより行動情報を生成するものである［１］の感情判定システム。
［３］前記行動情報生成部が、動物の画像と前記動物の行動との関係を学習した学習済みモデルを備え、前記学習済みモデルによって行動を判定し、行動情報を生成するものである［１］の感情判定システム。
［４］前記行動情報生成部が、画像の中に複数種類の行動が含まれている場合、それぞれの行動について行動情報を生成するものである［１］～［３］のいずれかの感情判定システム。
［５］前記行動情報生成部が行動情報を生成する際に、行動の持続時間の長さに応じて行動情報の重み付けを行う［１］～［４］のいずれかの感情判定システム。
［６］さらに、行動情報と感情との対応関係を記憶したデータベースを備え、前記感情判定部が、当該データベースを参照することにより動物の感情を判定するものである［１］～［５］のいずれかの感情判定システム。
［７］前記取得部が取得した動物の画像から、前記動物の品種を判定する品種判定部を備える［１］～［６］のいずれかの感情判定システム。
［８］前記データベースが、種又は品種ごとの行動情報と感情との対応関係を記憶したデータベースである［１］～［７］のいずれかの感情判定システム。
［９］前記データベースが、動物の品種を当該品種の成体の平均体重に基づいて分類した分類に応じて複数備えられている［１］～［７］のいずれかの感情判定システム。
［１０］動物の画像からその動物の行動を判定する学習済みモデルの生成方法であって、教師データとして、動物の画像と、その動物の行動に関するラベルをコンピュータに入力し、人工知能に学習させることを特徴とする学習済みモデルの生成方法。
［１１］動物の画像を用意するステップと、コンピュータが、前記動物の画像から、前記動物の行動に関する行動情報を生成する行動情報生成ステップと、コンピュータが、前記行動情報に基づいて前記動物の感情を判定する感情判定ステップと、を有することを特徴とする感情判定方法。
［１２］前記行動情報生成ステップが、動物の画像から特徴量を抽出し、特徴量に基づいて動物の行動を判定することにより行動情報を生成するステップである［１１］の感情判定方法。
［１３］前記行動情報生成ステップが、動物の画像と前記動物の行動との関係を学習した学習済みモデルによって行動を判定し、行動情報を生成するステップである［１２］の感情判定方法。
本発明により、簡易な方法で、動物の感情を判定する感情判定システムや感情判定方法を提供することが可能となる。
＜感情判定システム＞
本発明の一実施態様の感情判定システムは、動物の画像を取得する取得部と、前記取得部が取得した動物の画像から、前記動物の行動に関する行動情報を生成する行動情報生成部と、前記行動情報生成部が生成した行動情報に基づいて前記動物の感情を判定する感情判定部と、を有することを特徴とする。なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の一実施態様の感情判定システムは、動物の画像を取得する取得部と、前記取得部が取得した動物の画像から、前記動物の行動に関する行動情報を生成する行動情報生成部と、前記行動情報生成部が生成した行動情報に基づいて前記動物の感情を判定する感情判定部と、を有することを特徴とする。なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
［取得部］
取得部は、動物の画像を取得する。特に断りがない限り、「画像」には、画像と映像の双方が含まれる。取得部は、外部端末やコンピュータからの画像の送信、入力を受け付ける構成であってもよく、レンズ及び撮像素子を備えるカメラであってもよい。動物としては、犬、猫、ウサギ等の哺乳類が挙げられ、犬及び猫が好ましい。画像の受付方法は、スキャン、画像データの入力、送信、その場で撮影しての画像取り込みなどいずれの方法であってもよい。画像のフォーマットは特に限定されず、静止画であっても動画であってもよい。ただし、動画の方からは複数の静止画を取得できるため、より正確に感情を判定することができる。画像に写っている動物の部位は特に限定されないが、動物の画像は、動物がどのような行動を取っているのかを判定しやすい画像、例えば、顔（特に目や耳など）、尻尾など感情が表れやすい部位が写っている画像や全身が映っている画像が好ましい。画像は、白黒、グレースケール、カラーのいずれであってもよい。画像編集ソフトウェアで形状が編集された画像、複数の動物が写っている画像、目や耳が判別出来ないほど小さく写っている画像あるいは不鮮明な画像は好ましくない。画像については、ノーマライゼーションが施されたものや、解像度が統一されたものであってもよい。
取得部は、動物の画像を取得する。特に断りがない限り、「画像」には、画像と映像の双方が含まれる。取得部は、外部端末やコンピュータからの画像の送信、入力を受け付ける構成であってもよく、レンズ及び撮像素子を備えるカメラであってもよい。動物としては、犬、猫、ウサギ等の哺乳類が挙げられ、犬及び猫が好ましい。画像の受付方法は、スキャン、画像データの入力、送信、その場で撮影しての画像取り込みなどいずれの方法であってもよい。画像のフォーマットは特に限定されず、静止画であっても動画であってもよい。ただし、動画の方からは複数の静止画を取得できるため、より正確に感情を判定することができる。画像に写っている動物の部位は特に限定されないが、動物の画像は、動物がどのような行動を取っているのかを判定しやすい画像、例えば、顔（特に目や耳など）、尻尾など感情が表れやすい部位が写っている画像や全身が映っている画像が好ましい。画像は、白黒、グレースケール、カラーのいずれであってもよい。画像編集ソフトウェアで形状が編集された画像、複数の動物が写っている画像、目や耳が判別出来ないほど小さく写っている画像あるいは不鮮明な画像は好ましくない。画像については、ノーマライゼーションが施されたものや、解像度が統一されたものであってもよい。
［行動情報生成部］
行動情報生成部は、前記取得部が取得した動物の画像から、前記動物の行動に関する行動情報を生成する。例えば、行動情報生成部は、画像データを分析して、ペットの行動分類を判定する。行動情報生成部は、動物の画像から特徴量を抽出し、特徴量に基づいて動物の行動を判定することにより行動情報を生成するものであることが好ましい。また、行動情報生成部が、動物の画像と前記動物の行動との関係を学習した学習済みモデルを備え、前記学習済みモデルによって行動を判定し、行動情報を生成するものであることが好ましい。
行動情報生成部は、前記取得部が取得した動物の画像から、前記動物の行動に関する行動情報を生成する。例えば、行動情報生成部は、画像データを分析して、ペットの行動分類を判定する。行動情報生成部は、動物の画像から特徴量を抽出し、特徴量に基づいて動物の行動を判定することにより行動情報を生成するものであることが好ましい。また、行動情報生成部が、動物の画像と前記動物の行動との関係を学習した学習済みモデルを備え、前記学習済みモデルによって行動を判定し、行動情報を生成するものであることが好ましい。
行動情報とは、行動に関する情報、タグ等であり、例えば、行動の分類に関する情報である。犬の場合、行動の分類として、例えば、尻尾を振る、尻尾を垂らす、尻尾を丸める、尻尾を足の間に巻き込む、ジャンプする、その場をぐるぐる回る、吠える、うなる、鼻を鳴らす、鼻を舐める、あくびをする、身体をかく、身震いをする、目をそらす、匂いを嗅ぐ、片方の前足をあげる、人の足を鼻でつく、舐める、噛む、走る、伏せる、仰向けになり腹を見せる、座る、耳を立てる、耳を後ろに倒す、口を開ける、穴を掘る及びパンティングをする、からなる群から選ばれる一つ以上の行動が挙げられる。猫の場合、瞳孔が丸くなる、目が鋭くなる、目を細める、耳を前に向ける、耳を後ろに向ける、牙をむいて口を大きく開く、口元をすぼめる、髭が弛緩する、髭が上を向く、頭部を肩より下に位置する、頭部を擦りつける、頭部の毛が逆立つ、腹部を見せ寝転ぶ、身体を飼い主に擦りつける、身体を壁に擦りつける、前躯を下げ後躯を上げる、爪を出して踏ん張る、四肢を緊張させ、背を吊り上げる、尻尾を上げる、尻尾の毛が逆立つ、尻尾を丸める、尻尾を叩きつける及び尻尾をだらりと下げる、からなる群から選ばれる一つ以上の行動が挙げられる。これらはあくまでも例示であり、これら以外の行動を行動情報としてもよく、これらの例示をすべて行動情報として分類できる構成とはせず、感情との繋がりの強い行動のみを行動情報とすることでもよい。また、行動情報は、各行動に対応して振られたタグや番号
、記号といった情報でもよい。
、記号といった情報でもよい。
行動情報生成部が学習済みモデルを備える場合、学習済みモデルは、例えば、教師あり学習や教師なし学習によって生成することができる。教師あり学習の場合の教師データとしては、例えば、動物の画像とその動物の行動に関するデータやラベルが挙げられる。動物の画像に、その動物の行動に応じたタグやラベルを付けて教師データとしてもよい。
教師データとして用いる動物の画像のフォーマットは特に限定されない。静止画でも動画でもよい。画像に写っている動物の部位は特に限定されないが、動物の画像は、動物の行動が特定しやすい画像、例えば、顔や尻尾が写っている画像や全身が映っている画像が好ましい。画像は、白黒、グレースケール、カラーのいずれであってもよい。画像編集ソフトウェアで形状が編集された画像、複数の動物が写っている画像、目や耳が判別出来ないほど小さく写っている画像あるいは不鮮明な画像は好ましくない。画像については、ノーマライゼーションが施されたものや、解像度が統一されたものが好ましい。教師データで用いた画像と、取得部により受け付ける画像の解像度が統一されていることがより好ましい。
教師データとして用いる画像に写っている動物の行動は、映像から特定することができる。また、映像以外で行動を特定する方法としては、例えば、飼い主へのアンケート、ペット保険の申込時の記載などに基づいて行動を特定する方法が挙げられる。
学習済みモデルとしては、人工知能（ＡＩ）が好ましい。人工知能（ＡＩ）とは、人間の脳が行っている知的な作業をコンピュータで模倣したソフトウェアやシステムであり、具体的には、人間の使う自然言語を理解したり、論理的な推論を行ったり、経験から学習したりするコンピュータプログラムなどのことをいう。人工知能としては、汎用型、特化型のいずれであってもよく、具体的には、ロジスティック回帰、決定木、k平均法、多層
パーセプトロン、再帰型ニューラルネットワーク、ディープニューラルネットワーク、畳み込みニューラルネットワーク等の公知のもののいずれであってもよく、公開されているソフトウェアを使用することができる。
パーセプトロン、再帰型ニューラルネットワーク、ディープニューラルネットワーク、畳み込みニューラルネットワーク等の公知のもののいずれであってもよく、公開されているソフトウェアを使用することができる。
学習済みモデルを生成するために、人工知能を学習させる。学習としては、機械学習とディープラーニング（深層学習）のいずれであってもよいが、ディープラーニングが好ましい。ディープラーニングは、機械学習を発展させたものであり、特徴量を自動的に見つけ出す点に特徴がある。
学習済みモデルを生成するための学習方法としては、特に制限されず、公開されているソフトウェアやライブラリを用いることができる。学習方法は転移学習であってもよい。例えば、NVIDIAが公開しているDIGITS (the Deep Learning GPUTraining System)を用いることができる。また、例えば、人工知能（ニューラルネットワーク）としてResNet、MobileNetやEfficientNetを使用し、機械学習ライブラリ(Deep Learningライブラリ)としてPytorchなどを用いて転移学習により学習済みモデルを生成することができる。その他、
例えば、「サポートベクターマシン入門」（共立出版）等において公開されている公知のサポートベクターマシンを用いてもよい。
例えば、「サポートベクターマシン入門」（共立出版）等において公開されている公知のサポートベクターマシンを用いてもよい。
行動情報生成部は、画像の中に複数種類の行動が含まれている場合、それぞれの行動について行動情報を生成することが好ましい。例えば、１分の映像中、犬が３０秒間尻尾を振り、その後３０秒間片方の前足を挙げた場合、行動情報として、「尻尾を振る」、「片方の前足を上げる」を生成する。映像中、同時に尻尾を振り、片方の前足を挙げた場合、「尻尾を振りながら前足を上げた」というひとまとまりの行動情報を生成してもよく、「尻尾を振る」、「片方の前足を上げる」のそれぞれの行為に分けて行動情報を生成しても
よい。好ましくは、それぞれの行為ごとに行動情報を生成する。また、行動情報生成部が行動情報を生成する際に、行動の持続時間の長さに応じて各行動情報の重み付けを行うことが好ましく、重み付けを行った場合には、各行動情報とともに重み付けに関する情報を生成することが好ましい。例えば、１分４０秒の映像中、犬が７０秒間尻尾を振り、その後３０秒間片方の前足を挙げた場合、行動情報として、「尻尾を振る」、「片方の前足を上げる」を生成し、「尻尾を振る」行動の重み付けを０．７、「片方の前足を上げる」行動の重み付けを０．３とする。１分の映像中、全期間に渡って尻尾を垂らしていたら、行動情報として「尻尾を垂らす」とし、重み付けを１．０とする。また、重み付けを付ける場合、各行動情報に割り当てられた感情のポイントに対して、重み付けを掛け合わせて最終的な感情の判定とすることが好ましく、複数の行動情報が生成された場合、それぞれの行動情報についての感情のポイントを合計して感情の判定結果とすることが好ましい。
よい。好ましくは、それぞれの行為ごとに行動情報を生成する。また、行動情報生成部が行動情報を生成する際に、行動の持続時間の長さに応じて各行動情報の重み付けを行うことが好ましく、重み付けを行った場合には、各行動情報とともに重み付けに関する情報を生成することが好ましい。例えば、１分４０秒の映像中、犬が７０秒間尻尾を振り、その後３０秒間片方の前足を挙げた場合、行動情報として、「尻尾を振る」、「片方の前足を上げる」を生成し、「尻尾を振る」行動の重み付けを０．７、「片方の前足を上げる」行動の重み付けを０．３とする。１分の映像中、全期間に渡って尻尾を垂らしていたら、行動情報として「尻尾を垂らす」とし、重み付けを１．０とする。また、重み付けを付ける場合、各行動情報に割り当てられた感情のポイントに対して、重み付けを掛け合わせて最終的な感情の判定とすることが好ましく、複数の行動情報が生成された場合、それぞれの行動情報についての感情のポイントを合計して感情の判定結果とすることが好ましい。
［感情判定部］
感情判定部は、行動情報生成部が生成した行動情報に基づいて前記動物の感情を判定する。例えば、予め、特定の行動情報が、特定の感情と結びつけられて記憶されており、感情判定部は、特定の行動情報を受け取ると、それに対応した感情を選択し、判定する。感情を判定するとは、例えば、感情について予測ないし推測することでもよい。また、感情に関する項目ごとにどちらの傾向にあるのかを判定することや、感情ごとにスコアを割り振るという構成でもよい。判定は感情の項目毎に傾向の強さに基づいた段階評価とすることもできる。
感情判定部は、行動情報生成部が生成した行動情報に基づいて前記動物の感情を判定する。例えば、予め、特定の行動情報が、特定の感情と結びつけられて記憶されており、感情判定部は、特定の行動情報を受け取ると、それに対応した感情を選択し、判定する。感情を判定するとは、例えば、感情について予測ないし推測することでもよい。また、感情に関する項目ごとにどちらの傾向にあるのかを判定することや、感情ごとにスコアを割り振るという構成でもよい。判定は感情の項目毎に傾向の強さに基づいた段階評価とすることもできる。
また、本発明の感情判定システムが、行動情報と感情との対応関係を記憶したデータベースを備え、感情判定部が、当該データベースを参照することによって、行動情報から感情を判定する構成が好ましい。データベースは、種又は品種ごとの行動情報と感情との対応関係を記憶したデータベースであることが好ましい。例えば、犬用の行動・感情データベース、猫用の行動・感情データベース、ウサギ用の行動・感情データ・ベースといった具合である。品種別のデータベースの例としては、チワワ用の行動・感情データ・ベース、シベリアンハスキー用の行動・感情データベースが挙げられる。また、データベースが、動物の品種を当該品種の成体の平均体重に基づいて分類した分類に応じて複数備えられていることも好ましい。例えば、大型犬用、中型犬用、小型犬用及び超小型犬用のデータベースをそれぞれ備えるという構成である。分類としては、例えば、犬の例でいうと、成体（成犬）の平均体重が４ｋｇ未満の犬種を超小型犬、４～１０ｋｇ未満の犬種を小型犬、１０～２５ｋｇ未満の犬種を中型犬、２５ｋｇ以上の犬種を大型犬というように、平均体重によって分類することができる。その他、体高、体長、遺伝的関係等によって品種を分類してもよい。なお、本発明においてデータベースは必須ではなく、例えば、感情判定部が、行動情報と感情との関係に関する辞書データを含む場合は、別途データベースは不要となる。
また、感情判定部は、動物の行動の種類と感情との関係を学習した学習済みモデルを備え、当該学習済みモデルを用いて、行動情報から感情を判定する構成であってもよい。学習済みモデルは、例えば、教師あり学習や教師なし学習によって生成することができる。学習済みモデルを用いる場合、行動情報と感情との関係を格納したデータベースは不要とすることができる。教師あり学習の場合の教師データとしては、例えば、動物の行動とその動物の感情に関するデータやラベルが挙げられる。動物の画像に、その動物の行動や感情に応じたタグやラベルを付けて教師データとしてもよい。学習済みモデルのその他の構成としては、上記行動情報生成部において説明したことと同様である。
［品種判定部］
本発明の感情判定システムは、品種判定部をさらに含むことが好ましい。品種判定部は、品種判定用の学習済みモデルを用いて、前記取得部に入力された動物の画像からその動
物の品種を判定する手段である。なお、品種判定部を備えない場合は、別途利用者の端末等から品種情報を入力する構成とすることもできる。
本発明の感情判定システムは、品種判定部をさらに含むことが好ましい。品種判定部は、品種判定用の学習済みモデルを用いて、前記取得部に入力された動物の画像からその動
物の品種を判定する手段である。なお、品種判定部を備えない場合は、別途利用者の端末等から品種情報を入力する構成とすることもできる。
人間の場合には、顔の要部（例えば目、鼻、口等）の位置や形状にさほど大きな違いはないため、品種判定部を設ける理由はないが、ペットは人間によって品種改良が重ねられてきたため、品種ごとに行動や感情の傾向や行動と感情の対応関係が異なることがある。このため、品種判定部を設けることにより、より正確に感情を判定することが可能になる。
品種判定部に関する画像の詳細については上記の行動情報生成部におけるものと同様である。
品種判定用の学習済みモデルは、動物の画像と前記動物の品種との関係を学習した学習済みモデルである。好ましくは、動物の画像とその動物の品種とを教師データとして用いて学習を行い、入力を動物の画像とし、出力をその動物の品種の判定とする学習済みモデルを含む。教師データ用の動物の画像については、上記の感情判定部におけるものと同様である。また、品種判定用の学習済みモデルは、動物の画像と前記動物の品種との関係を学習したという点以外は、上記の感情判定部における学習済みモデルと同様である。上記の行動情報生成部や感情判定部における学習済みモデルと異なるアルゴリズム、ソフトウェア、ライブラリ、学習方法を用いてもよいし、同一のアルゴリズム、ソフトウェア、ライブラリ、学習方法を用いてもよい。
品種とは、生物の種以下の生物集団の単位である。例えば、犬でいうと、犬の品種は犬種とも呼ばれ、具体的には、トイプードル、チワワ、ミニチュア・ダックスフント、柴犬、ポメラニアン、ヨークシャー・テリア、ミニチュア・シュナウザー、シー・ズー、フレンチ・ブルドッグ、パピヨン、マルチーズ、ラブラドール、ダルメシアン、チャウチャウ等が挙げられる。猫でいうと、猫の品種は猫種とも呼ばれ、スコティッシュ・フォールド、アメリカン・ショートヘア、ノルウェージャン・フォレストキャット、ロシアンブルー、ブリティッシュ・ショートヘア、ラグドール、メイン・クーン、ペルシャ等が挙げられる。ウサギでいうと、ネザーランドドワーフ、ホーランドロップ、ロップイヤー、ミニレッキス、ドワーフロップ、アメリカンファジーロップ等が挙げられる。
本発明の感情判定システムは、感情判定部として学習済みモデルを複数備え、前記品種判定部による品種の判定結果や、取得部による画像の受付時に同時に入力された品種に関する情報に対応した学習済みモデルを用いて、前記取得部に入力された動物の画像からその動物の感情を判定するものとすることもできる。本発明の感情判定システムが、品種判定部を備える場合、取得部に入力された動物の画像から、前記動物の品種を判定し、当該判定結果と行動情報に基づいて、感情判定部において対応した学習済みモデルを用いて感情判定を行うことが好ましい。
品種に対応した学習済みモデルとしては、１又は複数の特定の品種に係る動物の画像と、前記動物の感情に関するラベルとを教師データとして用いて学習を行ったものが好ましい。例えば、特定の品種のみを集めた動物の画像とその動物の感情に関するラベルとを用いて学習を行った学習済みモデルである。この場合の特定の品種のみを集めた動物の画像とは、ひとつの品種、例えば、トイプードルの画像のみであってもよいし、複数の品種、例えば、トイプードル、ポメラニアン及びミニチュア・ダックスフントの画像のみであってもよい。また、複数の品種の場合、大型の品種の画像を用いて学習を行った大型品種用の学習済みモデル、中型の品種の画像を用いて学習を行った中型品種用の学習済みモデル、小型の品種の画像を用いて学習を行った小型品種用の学習済みモデル、超小型の品種の画像を用いて学習を行った超小型品種用の学習済みモデルというように、品種を分類し、
各分類に対応した学習済みモデルを備える構成としてもよい。分類としては、例えば、犬の例でいうと、成体（成犬）の平均体重が４ｋｇ未満の犬種を超小型犬、４～１０ｋｇ未満の犬種を小型犬、１０～２５ｋｇ未満の犬種を中型犬、２５ｋｇ以上の犬種を大型犬というように、平均体重によって分類することができる。その他、体高、体長、遺伝的関係等によって品種を分類してもよい。
各分類に対応した学習済みモデルを備える構成としてもよい。分類としては、例えば、犬の例でいうと、成体（成犬）の平均体重が４ｋｇ未満の犬種を超小型犬、４～１０ｋｇ未満の犬種を小型犬、１０～２５ｋｇ未満の犬種を中型犬、２５ｋｇ以上の犬種を大型犬というように、平均体重によって分類することができる。その他、体高、体長、遺伝的関係等によって品種を分類してもよい。
［出力］
感情判定部は、動物の行動情報からその動物の感情についての判定を行う。判定結果の出力の形式は特に限定されず、例えば、利用者が使用するパソコンや携帯端末の画面上において、「嬉しい」、「リラックスしています。」、「甘えています。」、「楽しいです。」、「機嫌が良いです。」、「警戒しています。」のように感情の種類を文字やアイコンで表示する方法や、感情の項目を複数用意し、各項目ごとに、傾向を点数や％などで表示する方法が挙げられる。具体的には、「嬉しい」が０．４５ポイント、「甘える」が０．３５ポイント（点数が高いほどその感情が強い傾向がある）といった具合である。
本発明の感情判定システムは、感情判定部から判定結果を受信し、判定結果を出力する出力部や、通信回線を通じて利用者が使用するパソコンや携帯端末に判定結果を送信する送信部を別途有していてもよい。
感情判定部は、動物の行動情報からその動物の感情についての判定を行う。判定結果の出力の形式は特に限定されず、例えば、利用者が使用するパソコンや携帯端末の画面上において、「嬉しい」、「リラックスしています。」、「甘えています。」、「楽しいです。」、「機嫌が良いです。」、「警戒しています。」のように感情の種類を文字やアイコンで表示する方法や、感情の項目を複数用意し、各項目ごとに、傾向を点数や％などで表示する方法が挙げられる。具体的には、「嬉しい」が０．４５ポイント、「甘える」が０．３５ポイント（点数が高いほどその感情が強い傾向がある）といった具合である。
本発明の感情判定システムは、感情判定部から判定結果を受信し、判定結果を出力する出力部や、通信回線を通じて利用者が使用するパソコンや携帯端末に判定結果を送信する送信部を別途有していてもよい。
以下、本発明の感情判定システムの一実施態様を図４を参照しながら説明する。
図４中、端末４０は、利用者が利用する端末である。利用者は、例えば、自分が飼育しているペットの感情を知りたい飼育者などである。端末４０は、例えばパーソナルコンピュータやスマートフォン、タブレット端末などの携帯情報端末が挙げられる。端末４０は、ＣＰＵなどの処理部、ハードディスク、ＲＯＭあるいはＲＡＭなどの記憶部、液晶パネルなどの表示部、マウス、キーボード、タッチパネルなどの入力部、ネットワークアダプタなどの通信部などを含んで構成される。
利用者は、端末４０から、サーバにアクセスし、動物の画像（写真）、及び、前記動物の種類、品種、性別、体重などの情報を入力、送信する。利用者が、本感情判定システム利用時に、その場でスマートフォンのカメラを使って対象となる動物の写真や動画を撮影し、それを入力、送信するという態様であってもよい。例えば、利用者は、端末４０の画面上に表示される指示に従って対象となる動物の動画を撮影し、適切な動画が撮れたらそれをインターネットを通じてサーバに送信する。このとき、サーバが、別途、画像判定プログラムからなる写真撮影補助手段を備え、写真撮影補助手段が、動物の行動が把握できる動画が撮像されていることといった、感情判定に好適な動画であるかどうかを判定し、その判定結果をインターフェースや端末を通じて利用者に伝達するという構成を備えていてもよい。
また、利用者は、端末４０がサーバにアクセスすることによって、サーバにおける感情判定の結果を受信することができる。
また、利用者は、端末４０がサーバにアクセスすることによって、サーバにおける感情判定の結果を受信することができる。
本実施形態においては、サーバはコンピュータによって構成されるが、本発明にかかる機能を有する限りにおいて、どのような装置であってもよい。サーバは、クラウド上にあるサーバであってもよい。
記憶部１０は、例えばＲＯＭ、ＲＡＭあるいはハードディスクなどから構成される。記憶部１０には、サーバの各部を動作させるための情報処理プログラムが記憶され、行動情報生成部１１や感情判定部１２が記憶される。
行動情報生成部１１は、利用者からの入力、送信等により取得した動物の画像を分析し、当該画像中の動物の行動を判定し、動物行動情報を生成する。感情判定部１２は、動物
行動情報から、それに対応した動物の感情を判定する。動物の行動情報と感情との対応関係を格納したデータベース１３が存在する場合は、感情判定部は、データベース１３を参照することにより、行動情報から感情を選択し、判定する。本実施形態における行動情報生成部１１や感情判定部１２は、例えばディープニューラルネットワーク又は畳み込みニューラルネットワークを含んで構成されていてもよい。
行動情報から、それに対応した動物の感情を判定する。動物の行動情報と感情との対応関係を格納したデータベース１３が存在する場合は、感情判定部は、データベース１３を参照することにより、行動情報から感情を選択し、判定する。本実施形態における行動情報生成部１１や感情判定部１２は、例えばディープニューラルネットワーク又は畳み込みニューラルネットワークを含んで構成されていてもよい。
処理演算部２０は、記憶部に記憶された行動情報生成部１１の情報処理プログラムを用いて、行動情報の生成を実行する。また、処理演算部２０は、記憶部に記憶された感情判定部の情報処理プログラムを用いて、感情判定を実行する。
インターフェース部（通信部）３０は、取得部３１と出力部３２を備え、利用者の端末から、動物の画像や前記動物の種や品種に関する情報などその他の情報を受け付け、利用者の端末に対して、感情判定の結果を出力、送信する。
本実施形態の感情判定システムにより、利用者は、ペットの写真や動画などをサーバにアップロードすることで、簡便にペットの感情の判定結果を得ることができる。
本実施形態では、行動情報生成部、感情判定部や取得部がサーバに格納され、利用者の端末とインターネットやＬＡＮ等の接続手段で接続される態様を説明したが、本発明はこれに限定されず、行動情報生成部、感情判定部、データベース、インターフェース部が一つのサーバや装置内に格納される態様や、それぞれが別のサーバに格納される態様、利用者が利用する端末を別途必要としない態様等であってもよい。
本発明の感情判定システムの一実施態様に基づく感情判定のフローチャートを図５に示す。利用者が、取得部に、対象となる動物の種、品種、年齢、性別等の基本情報を入力するとともに、前記動物の画像をアップロードする（ステップＳ１）。サーバの処理演算部は、行動情報生成部を用いて、アップロードされた画像から、その動物の行動を判定する（ステップＳ２）。感情判定部が、行動情報生成部が生成した情報から前記動物の感情を判定する（ステップＳ３）、出力部は、導き出された判定結果を画面に表示するなどして出力し、利用者に提示する（ステップＳ４）。
＜品種判定部を備える実施態様＞
以下、本発明の感情判定システムの品種判定部を備える実施態様を図６を参照しながら説明する。
以下、本発明の感情判定システムの品種判定部を備える実施態様を図６を参照しながら説明する。
図６で示される感情判定システムは、記憶部１０に、行動情報生成部１１、感情判定部１２のほか、小型犬用データベース１４、中型犬用データベース１５、大型犬用データベース１６、品種判定部１７が格納される以外は、上記実施形態と同様である。
この実施形態に係る感情判定システムでは、取得部３１に動物の画像が入力されると、品種判定部１７が前記動物の品種を判定する。品種の判定は、具体的な品種名の判定であっても、大型品種か、中型品種か、小型品種かといった分類に関する判定であってもよい。
品種判定部１７による判定結果に基づいて感情判定に用いられるデータベースが選択される。品種や品種の分類に応じて複数のデータベースから最適なデータベースを選択するプログラムやソフトウェアを備えていてもよい。例えば、取得部に入力された動物の画像が、大型品種の画像であると判定された場合、大型犬用データベース１６が選択され、行動情報からの感情の判定が実行される。
なお、本実施形態では、例えば、犬用、猫用というように種ごとに一つの感情判定システムを用いることを前提とした構成としているが、複数種の動物に対応した感情判定システムとしてもよい。この場合、動物の画像から前記動物の種を判定する種判定部を備えることが好ましく、種、品種毎に複数のデータベースを備えることが好ましい。
本発明の感情判定システムが、品種判定部を備える場合の実施態様に基づく感情判定のフローチャートを図７に示す。利用者が、取得部に、対象となる動物の種類等の基本情報を入力するとともに、前記動物の画像をアップロードする（ステップＳ２１）。サーバの処理演算部は、行動情報生成部を用いて、アップロードされた画像から、その動物の行動を判定し、行動情報を生成する（ステップＳ２２）。次に、品種判定部が、前記動物の画像から品種を判定する（ステップＳ２３）。そして、品種に応じたデータベースが選択され（ステップＳ２４）、選択されたデータベースを参照することによって、行動情報からその動物の感情が判定される（ステップＳ２５）。出力部は、導き出された判定結果を画面に表示するなどして出力し、ユーザに提示する（ステップＳ２６）。なお、品種判定部による品種判定は、動物の行動情報の生成の前であってもよく、動物の行動情報と同時に行われてもよい。
動物の画像、学習済みモデル、行動情報生成、感情判定等については、上記本発明の感情判定システムと同様である。
［行動情報生成部用の学習済みモデルの生成］
教師データとして猫が尻尾を上げている画像７６１枚（内訳：後ろからの画像、前からの画像、横からの画像、座っている画像）と尻尾を上げていない画像（内訳：後ろからの画像、前からの画像、横からの画像、座っている画像）をそれぞれ用意した。各画像の内訳ごとの枚数は以下の表１記載のとおりであった。これらの画像を教師データとして、ニューラルネットワークResNetを用いて学習を行った。
教師データとして猫が尻尾を上げている画像７６１枚（内訳：後ろからの画像、前からの画像、横からの画像、座っている画像）と尻尾を上げていない画像（内訳：後ろからの画像、前からの画像、横からの画像、座っている画像）をそれぞれ用意した。各画像の内訳ごとの枚数は以下の表１記載のとおりであった。これらの画像を教師データとして、ニューラルネットワークResNetを用いて学習を行った。
次に、得られた学習済みモデルの評価を行った。下記表２に記載のように、テスト用の画像（教師データとは別の画像）として、尻尾が上がっている画像、尻尾が上がっていない画像をそれぞれ用意し、テストを行った。テストの正解数も表２に示す。
上記のように、猫の画像から、猫の行動を高い精度で判定可能な学習済みモデルを生成することができた。
［行動と感情との対応関係についてのデータベースの作成］
猫の行動情報と感情との対応関係について、以下の文献等を参考にして下記表３のようなデータベースを作成した。なお、表３における“不調”とは、健康状態の不調ではなく、感情の不調のことを指し、“憂鬱”と同義である。
・猫と暮らしの大百科（https://test.anicom-sompo.co.jp/nekonoshiori/）
・Facial expressions of pain in cats: the developmentand validation of a Feline
Grimace Scale（Sci Rep. 2019 Dec 13;9(1):19128. doi:10.1038/s41598-019-55693-8.）
・The quality of being sociable: The influence of humanattentional state, population, and human familiarity on domestic catsociability（ehav Processes
. 2019 Jan;158:11-17. doi: 10.1016/j.beproc.2018.10.026. Epub 2018 Nov 2.）
・Attachment bonds between domestic cats and humans（CORRESPONDENCE| VOLUME 29, ISSUE 18, PR864-R865, SEPTEMBER 23, 2019）
・Early weaning increases aggression and stereotypicbehaviour in cats（Sci. Rep. volume 7, Article number:10412 (2017)）
・The ‘Feline Five’: An exploration of personality in pet cats (Felis catus)（PLOS ONE August 23, 2017）
・Social interaction, food, scent or toys? A formalassessment of domestic pet and shelter cat (Felis silvestris catus) preferences（Behav Processes
. 2017 Aug;141(Pt 3):322-328. doi: 10.1016/j.beproc.2017.03.016.）
・Social referencing and cat-human communication（Animal Cognition volume 18, pages639-648 (2015)）
・Even healthy cats act sick when their routine isdisrupted(https://www.sciencedaily.com/releases/2011/01/110103110357.htm)
猫の行動情報と感情との対応関係について、以下の文献等を参考にして下記表３のようなデータベースを作成した。なお、表３における“不調”とは、健康状態の不調ではなく、感情の不調のことを指し、“憂鬱”と同義である。
・猫と暮らしの大百科（https://test.anicom-sompo.co.jp/nekonoshiori/）
・Facial expressions of pain in cats: the developmentand validation of a Feline
Grimace Scale（Sci Rep. 2019 Dec 13;9(1):19128. doi:10.1038/s41598-019-55693-8.）
・The quality of being sociable: The influence of humanattentional state, population, and human familiarity on domestic catsociability（ehav Processes
. 2019 Jan;158:11-17. doi: 10.1016/j.beproc.2018.10.026. Epub 2018 Nov 2.）
・Attachment bonds between domestic cats and humans（CORRESPONDENCE| VOLUME 29, ISSUE 18, PR864-R865, SEPTEMBER 23, 2019）
・Early weaning increases aggression and stereotypicbehaviour in cats（Sci. Rep. volume 7, Article number:10412 (2017)）
・The ‘Feline Five’: An exploration of personality in pet cats (Felis catus)（PLOS ONE August 23, 2017）
・Social interaction, food, scent or toys? A formalassessment of domestic pet and shelter cat (Felis silvestris catus) preferences（Behav Processes
. 2017 Aug;141(Pt 3):322-328. doi: 10.1016/j.beproc.2017.03.016.）
・Social referencing and cat-human communication（Animal Cognition volume 18, pages639-648 (2015)）
・Even healthy cats act sick when their routine isdisrupted(https://www.sciencedaily.com/releases/2011/01/110103110357.htm)
以下の各実施例について、猫の動画を撮影し、行動を観察した。画素数は１２００万画素であり、フレームレートは５FPS（０．２秒／コマ）であった。
［実施例１］
猫の品種はアメリカン・ショートヘア、撮影時間は１３．４秒であった。動画を、コンピュータに記憶された動物の行動判定用のプログラム（教師データとして猫の画像と行動の種類に関する情報を用いて学習し、猫の画像と行動との関係を学習した学習済みモデル）に入力したところ、下記表４記載のように、「尻尾を上げる」という行動情報が生成された。持続時間は撮影時間と等しい時間であったため、重み付けは１とされた。
猫の品種はアメリカン・ショートヘア、撮影時間は１３．４秒であった。動画を、コンピュータに記憶された動物の行動判定用のプログラム（教師データとして猫の画像と行動の種類に関する情報を用いて学習し、猫の画像と行動との関係を学習した学習済みモデル）に入力したところ、下記表４記載のように、「尻尾を上げる」という行動情報が生成された。持続時間は撮影時間と等しい時間であったため、重み付けは１とされた。
上記行動情報を元に、表３記載のデータベースが参照され、この動画に写っている猫の感情は、「嬉しい」が０．５ポイント、「甘える」が０．５ポイントという判定となった。
［実施例２］
猫の品種は混血、撮影時間は９．８秒であった。動画を、コンピュータに記憶された動物の行動判定用のプログラムに入力したところ、下記表５記載のように、「尻尾を上げる」、「身体を飼い主に擦りつける」という行動情報が生成された。持続時間は、「尻尾を上げる」が６．４秒、「身体を飼い主に擦りつける」が３．４秒であったことから、持続時間の割合をもとに、重み付けをそれぞれ０．６５、０．３５とした。
猫の品種は混血、撮影時間は９．８秒であった。動画を、コンピュータに記憶された動物の行動判定用のプログラムに入力したところ、下記表５記載のように、「尻尾を上げる」、「身体を飼い主に擦りつける」という行動情報が生成された。持続時間は、「尻尾を上げる」が６．４秒、「身体を飼い主に擦りつける」が３．４秒であったことから、持続時間の割合をもとに、重み付けをそれぞれ０．６５、０．３５とした。
上記行動情報を元に、表３記載のデータベースが参照され、この動画に写っている猫の感情は、「尻尾を上げる」について「嬉しい」が０．５ポイント、「甘える」が０．５ポイント、「身体を飼い主に擦りつける」について、「甘える」が１ポイントとなり、それぞれのポイントに重み付けを掛け合わせて、合計した結果、この動画中の猫の感情は、「「嬉しい」が０．３２７ポイント、「甘える」が０．６７３ポイントという判定となった。
［実施例３］
猫の品種はスコティッシュフォールド、撮影時間は１０秒であった。動画を、コンピュータに記憶された動物の行動判定用のプログラムに入力したところ、下記表６記載のように、「尻尾を上げる」、「その他」という行動情報が生成された。持続時間は、「尻尾を上げる」が７．０秒、「その他」が３．０秒であったことから、持続時間の割合をもとに、重み付けをそれぞれ０．７、０．３とした。
猫の品種はスコティッシュフォールド、撮影時間は１０秒であった。動画を、コンピュータに記憶された動物の行動判定用のプログラムに入力したところ、下記表６記載のように、「尻尾を上げる」、「その他」という行動情報が生成された。持続時間は、「尻尾を上げる」が７．０秒、「その他」が３．０秒であったことから、持続時間の割合をもとに、重み付けをそれぞれ０．７、０．３とした。
上記行動情報を元に、表３記載のデータベースが参照され、この動画に写っている猫の感情は、「尻尾を上げる」について「嬉しい」が０．５ポイント、「甘える」が０．５ポイント、「その他」については特に感情は割り当てられず、それぞれのポイントに重み付けを掛け合わせて、合計した結果、この動画中の猫の感情は、「嬉しい」が０．３５ポイント、「甘える」が０．３５ポイントという判定となった。
［実施例４］
猫の品種は混血、撮影時間は８．４秒であった。動画を、コンピュータに記憶された動物の行動判定用のプログラムに入力したところ、下記表７記載のように、「耳を後ろに向ける」、「牙をむいて口を大きく開く」、「頭部の毛が逆立つ」、「尻尾の毛が逆立つ」という行動情報が生成された。これらの行動は全て同時に観察され、持続時間は、いずれの行動も撮影時間と同一であったことから、重み付けはそれぞれを１／４ずつとして、４つの行動につき全て０．２５とした。
猫の品種は混血、撮影時間は８．４秒であった。動画を、コンピュータに記憶された動物の行動判定用のプログラムに入力したところ、下記表７記載のように、「耳を後ろに向ける」、「牙をむいて口を大きく開く」、「頭部の毛が逆立つ」、「尻尾の毛が逆立つ」という行動情報が生成された。これらの行動は全て同時に観察され、持続時間は、いずれの行動も撮影時間と同一であったことから、重み付けはそれぞれを１／４ずつとして、４つの行動につき全て０．２５とした。
上記行動情報を元に、表３記載のデータベースが参照され、この動画に写っている猫の感情は、「耳を後ろに向ける」について「警戒」が０．５ポイント、「怒り」が０．５ポイント、「牙をむいて口を大きく開く」について、「怒り」が１ポイント、「頭部の毛が逆立つ」について、「怒り」が１ポイント、「尻尾の毛が逆立つ」について、「怒り」が１ポイントとなり、それぞれのポイントに重み付けを掛け合わせて、合計した結果、この動画中の猫の感情は、「警戒」が０．１２５ポイント、「怒り」が０．８７５ポイントという判定となった。
［実施例５］
猫の品種は日本猫（和猫）、撮影時間は１６秒であった。動画を、コンピュータに記憶された動物の行動判定用のプログラムに入力したところ、下記表８記載のように、「目を細める」、「口元をすぼめる」、「腹部を見せ寝転ぶ」という行動情報が生成された。これらの行動のうち、「目を細める」と「口元をすぼめる」は一部が同時に観察された。持続時間は、「目を細める」が７．２秒、「口元をすぼめる」が４．２秒、「腹部を見せ寝転ぶ」が８．２秒であったことから、重み付けはそれぞれ０．３７、０．２１、０．４２とした。
猫の品種は日本猫（和猫）、撮影時間は１６秒であった。動画を、コンピュータに記憶された動物の行動判定用のプログラムに入力したところ、下記表８記載のように、「目を細める」、「口元をすぼめる」、「腹部を見せ寝転ぶ」という行動情報が生成された。これらの行動のうち、「目を細める」と「口元をすぼめる」は一部が同時に観察された。持続時間は、「目を細める」が７．２秒、「口元をすぼめる」が４．２秒、「腹部を見せ寝転ぶ」が８．２秒であったことから、重み付けはそれぞれ０．３７、０．２１、０．４２とした。
上記行動情報を元に、表３記載のデータベースが参照され、この動画に写っている猫の感情は、「目を細める」について「リラックス」が０．５ポイント、「不調」が０．５ポイント、「口元をすぼめる」について、「嬉しい」が０．５ポイント、「ご機嫌」が０．５ポイント、「腹部を見せ寝転ぶ」について、「リラックス」が１ポイントとなり、それぞれのポイントに重み付けを掛け合わせて、合計した結果、この動画中の猫の感情は、「嬉しい」が０．１０７ポイント、「リラックス」が０．６０２ポイント、「ご機嫌」が０．１０７ポイント、「不調」が０．１８４という判定となった。
Claims (13)
- 動物の画像を取得する取得部と、
前記取得部が取得した動物の画像から、前記動物の行動に関する行動情報を生成する行動情報生成部と、
前記行動情報生成部が生成した行動情報に基づいて前記動物の感情を判定する感情判定部と、
を有することを特徴とする感情判定システム。 - 前記行動情報生成部が、動物の画像から特徴量を抽出し、特徴量に基づいて動物の行動を判定することにより行動情報を生成するものである請求項１記載の感情判定システム。
- 前記行動情報生成部が、動物の画像と前記動物の行動との関係を学習した学習済みモデルを備え、前記学習済みモデルによって行動を判定し、行動情報を生成するものである請求項１記載の感情判定システム。
- 前記行動情報生成部が、画像の中に複数種類の行動が含まれている場合、それぞれの行動について行動情報を生成するものである請求項１～３のいずれか一項記載の感情判定システム。
- 前記行動情報生成部が行動情報を生成する際に、行動の持続時間の長さに応じて行動情報の重み付けを行う請求項１～４のいずれか一項記載の感情判定システム。
- さらに、行動情報と感情との対応関係を記憶したデータベースを備え、前記感情判定部が、当該データベースを参照することにより動物の感情を判定するものである請求項１～５のいずれか一項記載の感情判定システム。
- 前記取得部が取得した動物の画像から、前記動物の品種を判定する品種判定部を備える請求項１～６のいずれか一項記載の感情判定システム。
- 前記データベースが、種又は品種ごとの行動情報と感情との対応関係を記憶したデータベースである請求項１～７のいずれか一項記載の感情判定システム。
- 前記データベースが、動物の品種を当該品種の成体の平均体重に基づいて分類した分類に応じて複数備えられている請求項１～７のいずれか一項記載の感情判定システム。
- 動物の画像からその動物の行動を判定する学習済みモデルの生成方法であって、教師データとして、動物の画像と、その動物の行動に関するラベルをコンピュータに入力し、人工知能に学習させることを特徴とする学習済みモデルの生成方法。
- 動物の画像を用意するステップと、
コンピュータが、前記動物の画像から、前記動物の行動に関する行動情報を生成する行動情報生成ステップと、
コンピュータが、前記行動情報に基づいて前記動物の感情を判定する感情判定ステップと、
を有することを特徴とする感情判定方法。 - 前記行動情報生成ステップが、動物の画像から特徴量を抽出し、特徴量に基づいて動物の行動を判定することにより行動情報を生成するステップである請求項１１記載の感情判定方法。
- 前記行動情報生成ステップが、動物の画像と前記動物の行動との関係を学習した学習済みモデルによって行動を判定し、行動情報を生成するステップである請求項１２記載の感情判定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023107920A JP2023121831A (ja) | 2021-12-23 | 2023-06-30 | 感情判定システム及び感情判定方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021209899A JP7330258B2 (ja) | 2021-12-23 | 2021-12-23 | 感情判定システム及び感情判定方法 |
| JP2023107920A JP2023121831A (ja) | 2021-12-23 | 2023-06-30 | 感情判定システム及び感情判定方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021209899A Division JP7330258B2 (ja) | 2021-12-23 | 2021-12-23 | 感情判定システム及び感情判定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023121831A true JP2023121831A (ja) | 2023-08-31 |
Family
ID=86902767
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021209899A Active JP7330258B2 (ja) | 2021-12-23 | 2021-12-23 | 感情判定システム及び感情判定方法 |
| JP2023107920A Pending JP2023121831A (ja) | 2021-12-23 | 2023-06-30 | 感情判定システム及び感情判定方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021209899A Active JP7330258B2 (ja) | 2021-12-23 | 2021-12-23 | 感情判定システム及び感情判定方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JP7330258B2 (ja) |
| WO (1) | WO2023120675A1 (ja) |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3201355B2 (ja) * | 1998-08-28 | 2001-08-20 | 日本電気株式会社 | 感情解析システム |
| JP2016146070A (ja) * | 2015-02-06 | 2016-08-12 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理システム |
| JP6696967B2 (ja) * | 2015-03-05 | 2020-05-20 | 株式会社Ｎｔｔドコモ | 監視装置及び動作検出方法 |
| JP6636364B2 (ja) * | 2016-03-18 | 2020-01-29 | オリオン機械株式会社 | 繋留牛のモニタリングシステム及びモニタリング方法 |
| JP2018166653A (ja) * | 2017-03-29 | 2018-11-01 | アイシン精機株式会社 | 気分判定装置 |
| KR102022893B1 (ko) * | 2017-08-21 | 2019-11-04 | 주식회사 베르그앤릿지 | 반려동물 케어 방법 및 이를 이용하는 시스템 |
| JP6538237B1 (ja) * | 2018-05-10 | 2019-07-03 | 株式会社電通 | ペット管理システム、ペット管理方法、ペット管理装置およびペット管理プログラム |
| JP7290922B2 (ja) | 2018-07-06 | 2023-06-14 | ユニ・チャーム株式会社 | 動物撮影装置、動物状態判定システム及びプログラム |
| JP2020170916A (ja) * | 2019-04-02 | 2020-10-15 | パナソニックＩｐマネジメント株式会社 | 情報処理装置、及び、情報処理方法 |
| JP2021125260A (ja) * | 2020-02-07 | 2021-08-30 | 株式会社カネカ | 情報提示システム、情報提示方法、及び情報提示用プログラム |
| CN111597942B (zh) * | 2020-05-08 | 2023-04-18 | 上海达显智能科技有限公司 | 一种智能宠物训导、陪伴方法、装置、设备及存储介质 |
| JP2022101295A (ja) * | 2020-12-24 | 2022-07-06 | Ａｓｓｅｓｔ株式会社 | 動物意思判別プログラム |
-
2021
- 2021-12-23 JP JP2021209899A patent/JP7330258B2/ja active Active
-
2022
- 2022-12-22 WO PCT/JP2022/047482 patent/WO2023120675A1/ja unknown
-
2023
- 2023-06-30 JP JP2023107920A patent/JP2023121831A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023120675A1 (ja) | 2023-06-29 |
| JP7330258B2 (ja) | 2023-08-21 |
| JP2023094426A (ja) | 2023-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Galvan et al. | Man’s other best friend: domestic cats (F. silvestris catus) and their discrimination of human emotion cues | |
| Jardat et al. | Cognition and the human–animal relationship: a review of the sociocognitive skills of domestic mammals toward humans | |
| Pongrácz et al. | The socio-cognitive relationship between cats and humans–Companion cats (Felis catus) as their owners see them | |
| Burghardt et al. | From instinct to behavior systems: An integrated approach to ethological psychology. | |
| Coulon et al. | Individual recognition in domestic cattle (Bos taurus): evidence from 2D-images of heads from different breeds | |
| Bovenkerk et al. | Fish welfare in aquaculture: Explicating the chain of interactions between science and ethics | |
| Broomé et al. | Going deeper than tracking: A survey of computer-vision based recognition of animal pain and emotions | |
| KR102078873B1 (ko) | 반려견 행동분석을 이용한 반려견 관리서비스 방법 | |
| Bierbach et al. | Guppies prefer to follow large (robot) leaders irrespective of own size | |
| Vonk et al. | Carnivore concepts: categorization in carnivores “bears” further study | |
| Neethirajan | The use of artificial intelligence in assessing affective states in livestock | |
| JP7360496B2 (ja) | 判定システム | |
| Youatt | Power, pain, and the interspecies politics of foie gras | |
| Colbert-White et al. | Can dogs use vocal intonation as a social referencing cue in an object choice task? | |
| Broomé et al. | Going deeper than tracking: a survey of computer-vision based recognition of animal pain and affective states | |
| Chu et al. | Human interventions in a behavioural experiment for Asian Elephants (Elephas maximus) | |
| Rossi et al. | Visual attention in dogs and the evolution of non-verbal communication | |
| Bellegarde et al. | Valence of facial cues influences sheep learning in a visual discrimination task | |
| JP7330258B2 (ja) | 感情判定システム及び感情判定方法 | |
| KR101905134B1 (ko) | 고양이와의 의사소통을 위한 시스템 | |
| Eretová et al. | Can my human read my flat face? The curious case of understanding the contextual cues of extremely brachycephalic dogs | |
| EP4454458A1 (en) | Emotion determination system and method for determining emotion | |
| WO2023008571A1 (ja) | 個体識別システム及び個体識別方法 | |
| Dubeau | Reclaiming species-being: Toward an interspecies historical materialism | |
| JP7204859B1 (ja) | 性格判定システム及び性格判定方法 |