JP2015079437A

JP2015079437A - Warning device

Info

Publication number: JP2015079437A
Application number: JP2013217465A
Authority: JP
Inventors: 尚治森本; Naoharu Morimoto; 正永中村; Masanaga Nakamura
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2013-10-18
Filing date: 2013-10-18
Publication date: 2015-04-23

Abstract

PROBLEM TO BE SOLVED: To reprove an undesirable action of a user.SOLUTION: Using an image, voice input, location information, etc., a warning device estimates an action of a user, such as meal content and credit card usage amount, and stores it as a history. Based on the history information, the warning device recognizes frequency of the action of the same kind by the user, and determines necessity of warnings to the user by whether the frequency exceeds a threshold value based on personal information. When it determines that a warning is necessary, the warning device utters a warning message to rebuke the action of the user in regard of the history information.

Description

本発明は、ユーザに警告を与える警告装置に関する。 The present invention relates to a warning device that gives a warning to a user.

状況に応じた適切なアドバイスが可能な健康管理支援システムが知られている（例えば、特許文献１参照）。 A health management support system capable of providing appropriate advice according to the situation is known (see, for example, Patent Document 1).

特開２００８−２３４００９号公報JP 2008-234209 A

しかしながら、上記の健康管理支援システムには、ユーザにとって好ましくない行為を窘める機能はない。 However, the health management support system described above does not have a function of giving up an act that is undesirable for the user.

本発明に係る警告装置は、ユーザの行為の履歴情報を得る履歴取得部と、履歴情報に基づいて、ユーザに対する警告の要否を判定する判定部と、警告要と判定された場合に、当該履歴情報に関わるユーザの行為を窘める内容の警告を発する警告部とを備ることを特徴とする。 A warning device according to the present invention includes a history acquisition unit that obtains history information of a user's action, a determination unit that determines whether or not a warning is required for the user based on the history information, And a warning unit that issues a warning with a content of giving up a user's action related to history information.

本発明によれば、ユーザにとって好ましくない行為を認識し、これを窘めることができる。 According to the present invention, an action undesirable for the user can be recognized and given up.

本発明の一実施形態における警告装置の概略構成図。The schematic structure figure of the warning device in one embodiment of the present invention. ユーザ端末の制御ブロック図。The control block diagram of a user terminal. ユーザ別の行動履歴の一例を示す図。The figure which shows an example of the action log according to user. ユーザ別の給料情報の一例を示す図。The figure which shows an example of the salary information classified by user. 警告制御の手順例を示すフローチャート。The flowchart which shows the example of a procedure of warning control. 図５に続くフローチャート。The flowchart following FIG. 図５の警告要否判定処理の詳細を示すフローチャート。The flowchart which shows the detail of the warning necessity determination process of FIG.

図面を参照して、本発明の一実施形態を説明する。
本実施形態における警告装置は、ユーザの日常生活の行動をモニタすることによって生活習慣を改善させるような警告を行う機能を有する。生活習慣は、例えば、食習慣、金銭的な習慣などを含む。
図１はこの実施形態の警告装置をユーザが保有するユーザ端末１０で実施した一例を示す。ユーザは、警告アプリ提供サーバ４０からユーザ端末１０に警告アプリを予めインストールし、ユーザ端末１０を警告装置として使用する。ユーザの消費に関する習慣の改善も図るため、ユーザ端末１０は通信回線網（例えば、インターネット回線）３０を介してカードサーバ２０と接続することを可能としている。カードサーバ２０は、例えばユーザが入会しているクレジットカード会社のサーバである。ユーザ端末１０にはカードサーバ２０からクレジットカード利用状況をダウンロードすることができる。 An embodiment of the present invention will be described with reference to the drawings.
The warning device in the present embodiment has a function of giving a warning that improves a lifestyle habit by monitoring a user's daily life behavior. Living habits include, for example, eating habits, monetary habits, and the like.
FIG. 1 shows an example in which the warning device of this embodiment is implemented in a user terminal 10 owned by a user. The user installs a warning application from the warning application providing server 40 to the user terminal 10 in advance, and uses the user terminal 10 as a warning device. In order to improve habits related to user consumption, the user terminal 10 can be connected to the card server 20 via a communication line network (for example, an Internet line) 30. The card server 20 is, for example, a credit card company server to which a user is a member. The credit card usage status can be downloaded from the card server 20 to the user terminal 10.

本実施形態におけるユーザ端末１０は、いわゆるウェアラブルカメラの形態を成し、ユーザの衣服や帽子、耳などに装着可能なカメラ部１１と、ユーザのベルト等に装着可能な本体部１２とから成る。カメラ部１１と本体部１２は、可撓性のケーブル１３を介して接続される。 The user terminal 10 in the present embodiment is in the form of a so-called wearable camera, and includes a camera unit 11 that can be worn on a user's clothes, hat, ears, and the like, and a main body 12 that can be worn on a user's belt or the like. The camera unit 11 and the main body unit 12 are connected via a flexible cable 13.

図２に示すように、ユーザ端末１０のカメラ部１１は、撮像レンズ１１ａと、撮像レンズ１１ａの透過光束を受光して光電変換する撮像素子１１ｂとを含む。カメラ部１１がユーザの頭部に装着されている場合、撮像レンズ１１ａは、通常、ユーザのほぼ視線方向を向く。撮像素子１１ｂの出力である映像信号は、ケーブル１３を介して本体部１２に逐次入力される。 As illustrated in FIG. 2, the camera unit 11 of the user terminal 10 includes an imaging lens 11 a and an imaging element 11 b that receives a light beam transmitted through the imaging lens 11 a and performs photoelectric conversion. When the camera unit 11 is mounted on the user's head, the imaging lens 11a usually faces almost the direction of the user's line of sight. The video signal that is the output of the image sensor 11 b is sequentially input to the main body 12 via the cable 13.

ユーザ端末１０の本体部１２は、操作部１２ａ、位置情報検出部１２ｂ、音声入力部１２ｃ、音声出力部１２ｄ、表示部１２ｅ、通信部１２ｆ、記憶部１２ｇ、制御部１２ｈ等を備える。位置情報検出部１２ｂは、ユーザ（ユーザ端末１０）の位置を検出するもので、例えばＧＰＳ受信機から成る。音声入力部１２ｃは、マイクや音声入力回路等から成る。音声出力部１２ｄは、音声出力回路やスピーカ等から成る。表示部１２ｅは、例えば画像や文字情報を表示可能なカラー液晶表示装置や、その表示回路等から成る。通信部１２ｆは、通信回線網３０を介してカードサーバ２０、警告アプリ提供サーバ４０と無線通信するための通信回路等から成る。記憶部１２ｇは、ＲＯＭ、ＲＡＭ、ストレージ等から成り、ＲＯＭには、上述した警告アプリ（プログラム）を含む種々のアプリケーションソフトや、後述する種々のデータベースが格納される。制御部１２ｈは、ＣＰＵ等から成る。カメラ部１１の撮像素子１１ｂからの映像信号は、ケーブル１３を介して本体部１２に入力され、制御部１２ｈは、その映像信号に基づく動画を表示部１２ｅに表示する。 The main body 12 of the user terminal 10 includes an operation unit 12a, a position information detection unit 12b, an audio input unit 12c, an audio output unit 12d, a display unit 12e, a communication unit 12f, a storage unit 12g, a control unit 12h, and the like. The position information detection unit 12b detects the position of the user (user terminal 10), and is composed of, for example, a GPS receiver. The voice input unit 12c includes a microphone, a voice input circuit, and the like. The audio output unit 12d includes an audio output circuit, a speaker, and the like. The display unit 12e includes, for example, a color liquid crystal display device that can display image and character information, a display circuit thereof, and the like. The communication unit 12 f includes a communication circuit for wirelessly communicating with the card server 20 and the warning application providing server 40 via the communication network 30. The storage unit 12g includes a ROM, a RAM, a storage, and the like, and the ROM stores various application software including the above-described warning application (program) and various databases described later. The control unit 12h includes a CPU and the like. The video signal from the imaging device 11b of the camera unit 11 is input to the main body unit 12 via the cable 13, and the control unit 12h displays a moving image based on the video signal on the display unit 12e.

ユーザ端末１０は、通常のウェアラブルカメラとして使用することができるが、警告アプリを制御部１２ｈに実行させることで、ユーザに警告を与えるための警告装置として機能する。以下、警告装置としての機能を説明する。 The user terminal 10 can be used as a normal wearable camera, but functions as a warning device for giving a warning to the user by causing the control unit 12h to execute a warning application. The function as a warning device will be described below.

（１）映像情報の利用
ユーザは、ユーザ端末１０を身につけて外出する。ユーザ端末１０の制御部１２ｈは、カメラ部１１で取得した映像信号を逐次取得し、これを画像解析することで、ユーザの行為を推測する。例えば、画像に複数の人間やテーブル、椅子、料理などが写っている場合、制御部１２ｈはユーザが飲食店にいる、つまりユーザの行為は外食（飲酒も含む）と判断する。飲食店には、食事が主体のレストランや食堂の他、アルコールを主として提供する居酒屋等の酒場がある。そのいずれであるか、すなわち、食事か飲酒かは、画像内に複数のビール瓶、ジョッキ、ボトル等が写っているか否かで判断できる。また、料理や食器の映像から、高級飲食店かそうでないかも判断できる。さらに、入店時の日時を内蔵の時計から取得することで、朝食、昼食、夕食のいずれであるかも判断できる。 (1) Use of video information A user goes out wearing the user terminal 10. The control unit 12h of the user terminal 10 sequentially acquires the video signals acquired by the camera unit 11, and estimates the user's action by analyzing the images. For example, when a plurality of people, tables, chairs, dishes, and the like are shown in the image, the control unit 12h determines that the user is in a restaurant, that is, the user's action is eating out (including drinking). In addition to restaurants and canteens that mainly serve meals, restaurants include pubs such as pubs that mainly serve alcohol. Whether it is any of them, that is, whether to eat or drink, can be determined by whether or not a plurality of beer bottles, mugs, bottles, etc. are shown in the image. In addition, it can be judged whether it is a luxury restaurant or not from the images of dishes and tableware. Further, by acquiring the date and time at the time of entry from the built-in clock, it can be determined whether it is breakfast, lunch or dinner.

制御部１２ｈは、上記の判断結果を記憶部１２ｇへ送信し履歴として記憶する。そして、その履歴に基づいて、ユーザに警告を発するべきか否かを判断する。例えば、ユーザが外食する頻度が予め設定されている閾値を越えた場合、制御部１２ｈは警告を与える必要があると判断する。そして、当該履歴の内容に基づいて、記憶部１２ｇ内のメッセージデータベースから適切な警告メッセージを抽出し、音声出力部１２ｄを介して発声する。 The control unit 12h transmits the determination result to the storage unit 12g and stores it as a history. Then, based on the history, it is determined whether or not a warning should be issued to the user. For example, when the frequency at which the user eats out exceeds a preset threshold, the control unit 12h determines that it is necessary to give a warning. And based on the content of the said log | history, an appropriate warning message is extracted from the message database in the memory | storage part 12g, and it utters via the audio | voice output part 12d.

具体例を挙げると、ユーザが夕食時にレストランに入店したことが１週間に３回確認された場合は、「外食は高くつきますから、ほどほどにした方がいいですよ」、あるいは「なるべく自炊した方が経済的ですよ」といった警告メッセージを発声する。１週間に２回の場合はかかる警告メッセージは出力されない。ただし、同じレストランでも高級レストランの場合は、１週間に２回で上記の警告を発声する。 For example, if it is confirmed three times a week that the user has entered the restaurant at dinner, “Since eating out is expensive, it is better to moderate.” “It ’s more economical.” In the case of twice a week, such a warning message is not output. However, if the same restaurant is a high-end restaurant, the above warning is issued twice a week.

また、ユーザが居酒屋等の酒場に入店する頻度が閾値を越えた場合は、「少し飲み過ぎじゃないですか、もっと身体を労った方がいいですよ」などと警告する。 If the frequency at which the user enters a bar such as a pub exceeds a threshold, the user is warned, “Would you like to drink a little too much?

上記警告の必要性を判断するための頻度の閾値は、ユーザが自由に設定できるようにしてもよい。例えば、週あるいは月にＸ回までは警告しないが、それを超えた場合に警告する場合、「週」または「月」の選択、および数値Ｘをユーザが入力できるようにする。 The frequency threshold for determining the necessity of the warning may be freely set by the user. For example, if the warning is not given up to X times per week or month, but the warning is given when the number is exceeded, the user can select “week” or “month” and input the numerical value X.

また、カメラ部１１の映像情報だけでなく、予め登録されたユーザの個人情報をも加味して警告の必要性を判断してもよい。個人情報は、例えばユーザの年齢、性別、職業、収入、月々の小遣い、配偶者の有無、子どもの有無、病歴、生体情報等が考えられる。生体情報は、心拍数、血圧、体温等を含む。 In addition to the video information of the camera unit 11, the necessity of warning may be determined in consideration of personal information of a user registered in advance. The personal information may be, for example, the user's age, sex, occupation, income, monthly allowance, marital status, child status, medical history, biometric information, and the like. The biological information includes heart rate, blood pressure, body temperature, and the like.

個人情報に基づいて警告メッセージの内容が変わるようにしてもよい。例えば酒場の利用頻度が高い場合、ユーザが既婚者であれば、「またお酒ですか、今日はまっすぐ帰って家族サービスに徹した方がいいんじゃないですか」などと警告する。なお、ユーザが未婚の場合は、家族サービス云々の話しは省略する。 The content of the warning message may be changed based on the personal information. For example, when a bar is used frequently, if the user is married, a warning is given, such as "Is it liquor again, or should I go straight and go to family service today?" If the user is unmarried, talk about family services is omitted.

個人情報として病歴や生体情報が登録されている場合は、ユーザの行為を止めさせる理由付けを行うことができる。例えば、「あなたは＊＊を煩っているのだから（あるいは、ＸＸ値が高いのだから）、飲酒は控えるべき」といった警告メッセージとする。 When a medical history or biometric information is registered as personal information, a reason for stopping the user's action can be given. For example, a warning message such as “You are troubled with ** (or you have a high XX value, so you should refrain from drinking)”.

外食以外の警告対象行為としては、ゲームセンターやパチンコ店などの遊技場や、風俗店への入店が考えられる。例えば職業あるいは年齢から判断した結果、ユーザが学生であるときに、頻繁にゲームセンターに入店することが確認された場合は、「そんなところに入り浸ってないで、少しは勉強でもしたらどうですか」などと警告する。また、例えば会社員がパチンコ店に頻繁に入店することが確認されたら、「パチンコはいい加減にしてビジネス書でも読んだらどうですか」などと警告する。 As an action subject to warning other than eating out, it is conceivable to enter a game center such as a game center or a pachinko parlor or a sex shop. For example, if the user is a student and it is confirmed that he / she frequently enters the game center as a result of judging from his / her occupation or age, for example, “How about studying a little without getting into such a place?” Warn. Also, for example, if it is confirmed that a company employee frequently enters a pachinko parlor, a warning will be given, such as "How about reading pachinko with a business book in a casual manner?"

このように、ユーザの行為、すなわち、あまり頻繁に行うと好ましくない行為を自動認識し、その行為の頻度が閾値を越えた場合に、その行為を窘める警告メッセージを発することで、ユーザは自身の行為が自身にとって好ましくないことを改めて認識し、以降、自重するようになる。 In this way, by automatically recognizing a user's action, that is, an action that is not preferable when it is performed too frequently, and when the frequency of the action exceeds a threshold, the user gives his / her warning message to give up his / her action. Recognizing once again that the act is not favorable to him, he becomes heavier thereafter.

（２）音声情報の利用
カメラ部１１で得た映像情報に代えて、あるいは加えて、音声入力部１２ｃにて入力した音声情報を利用してもよい。この場合は、予め複数の場所情報、たとえば店舗等と音声パターンとを対応づけて成るデータベースを記憶部１２ｇに格納しておく。制御部１２ｈは、音声入力部１２ｃにて入力した音声情報を解析し、ユーザの行為を推定する。これは、ユーザや周囲の人の会話に対して音声認識技術を用い、会話の内容からユーザが如何なる場所にいるかを推定する方法と、会話以外の音声情報（騒音等）の音声パターンを認識し、それをキーとして、上述のデータベースからユーザの行為を検索する方法とがある。ここでは、双方の方法を用いるものとする。前者の方法によれば、例えばユーザがレストランや居酒屋にいる場合は、ユーザと店員との注文時のやりとりなどからそのことを認識できる。後者の方法によれば、ユーザがゲームセンターやパチンコ店のように、特有の騒音が発生する場所にいる場合にそのことを認識できる。その他の処理は上述と同様である。認識結果は行動履歴として記憶部１２ｇへ送信されて記憶される。 (2) Use of audio information Instead of or in addition to video information obtained by the camera unit 11, audio information input by the audio input unit 12c may be used. In this case, a database in which a plurality of pieces of location information, for example, stores and the like are associated with voice patterns is stored in the storage unit 12g in advance. The control unit 12h analyzes the voice information input by the voice input unit 12c and estimates the user's action. This method uses voice recognition technology for conversations between users and people around them, estimates the location of the user based on the content of the conversation, and recognizes voice patterns of voice information (noise, etc.) other than conversation. There is a method of searching for a user's action from the above-mentioned database using that as a key. Here, it is assumed that both methods are used. According to the former method, for example, when the user is in a restaurant or a tavern, this can be recognized from the exchange at the time of ordering between the user and the store clerk. According to the latter method, this can be recognized when the user is in a place where specific noise occurs, such as a game center or a pachinko parlor. Other processes are the same as described above. The recognition result is transmitted to the storage unit 12g and stored as an action history.

（３）位置情報の利用
映像情報や音声情報に代えて、あるいは加えて、位置情報を用いてもよい。この場合は、予め複数の場所（店舗等）と位置情報とを対応づけて成るデータベースを記憶部１２ｇに格納しておく。制御部１２ｈは、位置情報検出部１２ｂからの信号によりユーザの位置を把握し、上記データベースの検索を行うことで、ユーザが如何なる店舗にいるか、あるいは何をしているかを認識する。その他の処理は上述と同様である。ユーザがいる店舗は行先として行動履歴として記憶部１２ｇへ送信されて記憶される。 (3) Use of position information Position information may be used instead of or in addition to video information and audio information. In this case, a database in which a plurality of locations (stores and the like) and position information are associated with each other is stored in the storage unit 12g in advance. The control unit 12h recognizes the position of the user based on the signal from the position information detection unit 12b, and searches the database to recognize what store the user is in or what the user is doing. Other processes are the same as described above. The store where the user is located is transmitted to the storage unit 12g as an action history and stored.

（４）クレジットカード情報の利用
ユーザ端末１０は、通信回線網３０を通して、ユーザが入会しているクレジットカードの利用明細履歴、すなわち、ユーザの購買履歴（以下、カード利用履歴と呼ぶ）を自動で取得することができる。カード利用履歴は、クレジットカード会社が保有するカードサーバ２０のデータベースに格納されており、制御部１２ｈは、予め記憶部１２ｇに登録されているログインパスワードを使って定期的にカードサーバ２０にアクセスし、当該ユーザのカード利用履歴を取得する。その履歴に基づき、ユーザが所定期間内に一般の店舗やネットショッピング等で使用した金額の総計を求め、その金額が所定の閾値を越える場合に、例えば「少し使いすぎじゃないですか、節約を心がけてください」などと警告する。この場合も、個人情報に基づいて制御部１２ｈが上記金額の閾値を設定したり、収入あるいは小遣いが少ないほど閾値を小さくするようにしてもよい。 (4) Utilization of Credit Card Information The user terminal 10 automatically uses the communication line network 30 to record the usage history of the credit card with which the user is enrolled, that is, the purchase history of the user (hereinafter referred to as card usage history). Can be acquired. The card usage history is stored in the database of the card server 20 owned by the credit card company, and the control unit 12h periodically accesses the card server 20 using a login password registered in advance in the storage unit 12g. The card usage history of the user is acquired. Based on the history, the total amount of money used by a general store or online shopping within a predetermined period is calculated, and when the amount exceeds a predetermined threshold, for example, “Are you spending too much or saving? Please keep in mind. " Also in this case, the control unit 12h may set the threshold value for the amount based on the personal information, or may decrease the threshold value as the income or the pocket money decreases.

なお、（４）の機能がない場合、つまり外部のカードサーバ２０からの情報を利用する必要のない場合は、ユーザ端末１０にはカード利用履歴を保存する必要はない。また、ユーザの行為の推定に（１）の映像情報を用いない場合は、ユーザ端末１０はウェアラブルカメラである必要はなく、スマートフォン等の携帯端末でもよい。さらに、（２）の音声情報を使用しない場合は音声入力部１２ｃはなくてもよく、同様に（３）の位置情報を使用しない場合は位置情報検出部１２ｂはなくてもよい。 When the function (4) is not provided, that is, when it is not necessary to use information from the external card server 20, it is not necessary to store the card usage history in the user terminal 10. Further, when the video information of (1) is not used for estimating the user's action, the user terminal 10 does not have to be a wearable camera and may be a mobile terminal such as a smartphone. Furthermore, when the voice information (2) is not used, the voice input unit 12c may not be provided. Similarly, when the position information (3) is not used, the position information detection unit 12b may not be provided.

図３は記憶部１２ｇに記憶されている行動履歴の一例である。日時４０２、行き先４０３、支払金額４０４が行動履歴として記憶されている。 FIG. 3 is an example of an action history stored in the storage unit 12g. The date / time 402, the destination 403, and the payment amount 404 are stored as an action history.

図４は記憶部１２ｇに記憶されている給料情報の一例である。給料情報は、給料日４０６、基準値４０７、および低減金額４０８からなる。基準値４０７は、支払いがこの値を超えたら警告する値であり、低減金額４０８は、給料日までの２週間は、支払いがこの値を超えたら警告する値である。なお、これらの値はユーザがユーザ端末１０を操作任意の値を記憶部１２ｇに設定する。 FIG. 4 is an example of salary information stored in the storage unit 12g. The salary information includes a salary date 406, a reference value 407, and a reduction amount 408. The reference value 407 is a value that warns when the payment exceeds this value, and the reduction amount 408 is a value that warns when the payment exceeds this value for two weeks until the salary date. Note that these values set arbitrary values in the storage unit 12g by the user operating the user terminal 10.

図５〜図７は上述の警告制御を実現するための処理手順の一例を示すフローチャートである。
ユーザ端末１０の制御部１２ｈは、ユーザによる起動操作に伴って記憶部１２ｇからこのプログラムを読み出し、実行する。ユーザ端末１０に電源が投入されている間は、ユーザが終了操作を行わない限り、制御部１２ｈはこのプログラムを実行し続ける。 5 to 7 are flowcharts showing an example of a processing procedure for realizing the warning control described above.
The control unit 12h of the user terminal 10 reads out and executes this program from the storage unit 12g in accordance with the activation operation by the user. While the user terminal 10 is powered on, the control unit 12h continues to execute this program unless the user performs an end operation.

制御部１２ｈは、図５のステップＳ１で個人情報登録操作の有無を判別する。ユーザがユーザ端末１０の操作部１２ａで個人情報登録操作を行うと、ステップＳ２で個人情報登録画面を表示部１２ｅに表示する。この画面において、ユーザは上述した種々の個人情報を入力することができる。入力された個人情報は、例えば給料情報は、図４に示すように、記憶部１２ｇへ送信されて記憶（登録）される。 The controller 12h determines whether or not there is a personal information registration operation in step S1 of FIG. When the user performs a personal information registration operation on the operation unit 12a of the user terminal 10, a personal information registration screen is displayed on the display unit 12e in step S2. On this screen, the user can input the various personal information described above. As the input personal information, for example, salary information is transmitted to the storage unit 12g and stored (registered) as shown in FIG.

制御部１２ｈは、ステップＳ１においてユーザ端末操作が個人情報登録操作ではないと判断すると、ステップＳ３において、ユーザの行為を判別するための情報を取得する。取得する情報は、上述した映像情報、音声情報、位置情報のいずれか、または全部である。ステップＳ４では、取得した情報に基づいて、ユーザの行為を推定する。その具体例は上述したとおりである。 If the control unit 12h determines that the user terminal operation is not a personal information registration operation in step S1, the control unit 12h acquires information for determining the user's action in step S3. The information to be acquired is any or all of the above-described video information, audio information, and position information. In step S4, a user's action is estimated based on the acquired information. Specific examples thereof are as described above.

制御部１２ｈは、ステップＳ４での推定処理の結果、ユーザの行為が推定できたか否かをステップＳ５で判定する。例えばデータベース検索の結果、該当する情報が得られない場合は、ステップＳ５が否定され、ステップＳ１に戻る。ステップＳ５が肯定された場合、制御部１２ｈは、ステップＳ６でユーザの行為が警告対象行為か否かを判定する。警告対象行為とは、その行為の頻度が閾値を超えた場合に警告を発すべき行為であり、その具体例は上述したとおりである。例えば、飲食店への入店を検知して種々の警告を行う行為である。 In step S5, the control unit 12h determines whether the user's action has been estimated as a result of the estimation process in step S4. For example, if the corresponding information is not obtained as a result of the database search, step S5 is denied and the process returns to step S1. When step S5 is affirmed, the control unit 12h determines whether or not the user action is a warning target action in step S6. The action to be warned is an action to be warned when the frequency of the action exceeds a threshold, and a specific example thereof is as described above. For example, it is an action of detecting a store entrance and issuing various warnings.

ステップＳ６で警告対象行為でないと判定した場合、つまり頻度に拘わらず許容されるべき行為と判定した場合、制御部１２ｈは、必要に応じてステップＳ７で何らかのメッセージを音声出力部１２ｄから発声してステップＳ１に戻る。このメッセージは単なるアドバイス的なもので、ユーザの行為を窘める性質のものではない。 When it is determined in step S6 that the action is not a warning target, that is, when it is determined that the action should be allowed regardless of the frequency, the control unit 12h utters some message from the voice output unit 12d in step S7 as necessary. Return to step S1. This message is merely an advice and does not give up the user's actions.

一方、ステップＳ６で警告対象行為と判定した場合、制御部１２ｈは、ステップＳ８においてその行為の種類と日時等を履歴情報として、記憶部１２ｇに送信し、図３に示すように、例えば、日時、行き先、支払金額が記憶される。次いでステップＳ９の警告要否判定処理に進む。 On the other hand, if it is determined in step S6 that the action is a warning target, the control unit 12h transmits the type and date of the action as history information to the storage unit 12g in step S8, and, for example, as shown in FIG. , Destination and payment amount are stored. Next, the process proceeds to a warning necessity determination process in step S9.

図７は警告要否判定処理の詳細を示している。制御部１２ｈは、ステップＳ９０１において、記憶部１２ｇに記憶されている履歴情報を読み出す。ステップＳ９０２では、読み出した履歴情報を分析し、同種の行為の頻度、例えば、最近１週間における夕食時の飲食店への入店回数や酒場への入店回数を把握する。ステップＳ９０３では、その頻度が所定の閾値を越えるか否かを判定し、肯定されるとステップＳ９０４で警告フラグを１に設定し、否定されるとステップＳ９０５で警告フラグを０に設定する。 FIG. 7 shows details of the warning necessity determination process. In step S901, the control unit 12h reads out history information stored in the storage unit 12g. In step S902, the read history information is analyzed, and the frequency of the same type of action, for example, the number of times of entering a restaurant or the number of times of entering a bar during dinner in the last week is grasped. In step S903, it is determined whether the frequency exceeds a predetermined threshold value. If the determination is affirmative, the warning flag is set to 1 in step S904, and if the determination is negative, the warning flag is set to 0 in step S905.

図３の履歴情報データベースを参照して説明する。３月２０日〜３月２２日までの３日間に酒場に３回入店している。このユーザが予め１週間に飲酒する回数を３回に設定していれば、３月２２日の酒場への入店に伴い行動履歴情報が更新されたときに、飲酒を慎むようにする警告がユーザ端末１０の表示部１２ａに表示され、また、音声出力部１２ｄから出力される。 This will be described with reference to the history information database of FIG. We enter the bar three times during the three days from March 20th to March 22nd. If the number of times this user drinks in advance is set to 3 times in advance, when the action history information is updated as a result of entering the bar on March 22, a warning will be given to refrain from drinking It is displayed on the display unit 12a of the terminal 10 and is output from the audio output unit 12d.

次に、制御部１２ｈは、ステップＳ９０６において、上述したカード利用履歴を取得する必要があるか否かを判定する。前回のカード利用履歴の取得から予め決められた期間が経過している場合はステップＳ９０６が肯定され、そうでなければ否定される。ステップＳ９０６が肯定された場合は、ステップＳ９０７でカード利用履歴をカードサーバ２０から取得する。そして、ステップＳ９０８で所定期間内、例えば、最近１ヶ月間における総使用金額を算出する。 Next, in step S906, the control unit 12h determines whether or not the above-described card usage history needs to be acquired. If a predetermined period has elapsed since the acquisition of the previous card usage history, step S906 is affirmed, otherwise it is denied. If step S906 is affirmed, the card usage history is acquired from the card server 20 in step S907. In step S908, the total amount of money used within a predetermined period, for example, the last one month is calculated.

制御部１２ｈは、ステップＳ９０９において、上記算出した総使用金額が所定の閾値を越えるか否かを判定し、肯定されるとステップＳ９１０でカード警告フラグを１に設定し、否定されると、ステップＳ９１１でカード警告フラグを０に設定する。 In step S909, the control unit 12h determines whether or not the calculated total usage amount exceeds a predetermined threshold value. If the determination is affirmative, the card warning flag is set to 1 in step S910. In step S911, the card warning flag is set to 0.

図３の履歴情報データベースを参照して説明する。３月２０日〜３月２４日までの４日間に飲食代としてカード決済した金額の合計は６４，０００円である。このユーザが１月に使用できるカード決済金額を５０，０００円に設定していれば、３月２４日のレストランへの入店に伴い行動履歴情報が更新されたときに、給料日の２５日まではカードの利用を慎むようにする警告がユーザ端末１０の表示部１２ａに表示され、また、音声出力部１２ｄから出力される。 This will be described with reference to the history information database of FIG. The total amount of card payments for food and beverage charges during the four days from March 20 to March 24 is 64,000 yen. If this user has set the amount of card payment that can be used in January to 50,000 yen, when the action history information is updated with the entrance to the restaurant on March 24th, the payday will be 25th. Until then, a warning to refrain from using the card is displayed on the display unit 12a of the user terminal 10 and is output from the audio output unit 12d.

制御部１２ｈは、ステップＳ９１２において、記憶部１２ｇに記憶されている履歴情報を読み出し、支払金額４０４を取得すると共に、記憶部１２ｇに記憶されている給料情報を取得する。 In step S912, the control unit 12h reads the history information stored in the storage unit 12g, acquires the payment amount 404, and acquires the salary information stored in the storage unit 12g.

制御部１２ｈは、ステップＳ９１３において、所定期間における支払金額を合計する。そして、制御部１２ｈは、ステップＳ９１４において、所定期間における支払金額の合計が基準値を超えたか否かを判定する。なお、給料日までの１週間以内であれば、所定期間における支払金額の合計が低減金額を超えたか否かを判定する。給料日前の１週間は支払いを少なくする目的のためである。支払金額の合計が基準値もしくは低減金額を超えていれば、制御部１２ｈは、ステップＳ９１５において、支払警告フラグを１に設定する。ステップＳ９１４において、支払金額の合計が基準値もしくは低減金額を超えていなければ、制御部１２ｈは、ステップＳ９１６において、支払警告フラグを０に設定する。支払警告フラグの設定後、リターンする。 In step S913, the control unit 12h totals the payment amounts for the predetermined period. Then, in step S914, the control unit 12h determines whether or not the total payment amount in the predetermined period exceeds the reference value. If it is within one week until the salary date, it is determined whether or not the total amount of payment in the predetermined period exceeds the reduction amount. The week before the payday is for the purpose of reducing payments. If the total payment amount exceeds the reference value or the reduction amount, the control unit 12h sets the payment warning flag to 1 in step S915. If the total payment amount does not exceed the reference value or the reduction amount in step S914, the control unit 12h sets the payment warning flag to 0 in step S916. After setting the payment warning flag, return.

図３の履歴情報データベースと図４の給料データベースを参照して説明する。３月２０日〜３月２１日までの３日間に飲食代としてカード決済した金額の合計は１５，０００円である。このユーザが給料日前の１週間に使用できるカード決済金額を１０，０００円に設定していれば、３月２１日の酒場への入店に伴い行動履歴情報が更新されたときに、給料日の２５日まではカードの利用を慎むようにする警告がユーザ端末１０の表示部１２ａに表示され、また、音声出力部１２ｄから出力される。 This will be described with reference to the history information database in FIG. 3 and the salary database in FIG. The total amount of card payment as a food and beverage bill for 3 days from March 20 to March 21 is 15,000 yen. If this user has set the amount of card payment that can be used for one week before the payday to 10,000 yen, when the action history information is updated with the entrance to the bar on March 21, the payday Until the 25th, a warning to refrain from using the card is displayed on the display unit 12a of the user terminal 10 and output from the audio output unit 12d.

制御部１２ｈは、図５のステップＳ１０において、警告フラグが１か否かを判定し、否定されると図６のステップＳ１４に進む。ステップＳ１０が肯定されるとステップＳ１１に進み、上記履歴および個人情報に基づいて、同種の行為の頻度、例えば、最近１週間における夕食時の飲食店への入店回数が多いことを示す警告メッセージをメッセージデータベースから抽出する。ステップＳ１２では、最近、すなわち、現在から遡って所定期間内にこの種の警告を行ったか否かを判定し、肯定されるとステップＳ１４に進む。これは、同種の警告が連続してなされることを防止するための措置である。ステップＳ１２が否定されるとステップＳ１３に進み、上記抽出した警告メッセージを、音声出力部１２ｄを介して発声し、ステップＳ１４に進む。 The control unit 12h determines whether or not the warning flag is 1 in step S10 of FIG. 5, and proceeds to step S14 of FIG. If step S10 is affirmed, the process proceeds to step S11, and based on the history and personal information, a warning message indicating that the frequency of the same kind of action, for example, the number of times of entering the restaurant at dinner during the last week is high. Is extracted from the message database. In step S12, it is determined whether or not this type of warning has been performed recently, that is, within a predetermined period retroactively from the present. This is a measure for preventing consecutive warnings of the same type. If step S12 is negative, the process proceeds to step S13, the extracted warning message is uttered via the voice output unit 12d, and the process proceeds to step S14.

制御部１２ｈは、図６のステップＳ１４において、カード警告フラグが１か否かを判定し、否定されるとステップＳ１８に進む。ステップＳ１４が肯定されるとステップＳ１５に進み、所定期間内、例えば、最近１ヶ月間におけるカード使用の総使用金額が多いことを示す警告メッセージを決定する。ステップＳ１６では、最近、すなわち、現在から遡って所定期間内にこの種のカード使用警告を行ったか否かを判定し、肯定されるとステップＳ１８に進む。ステップＳ１６が否定されるとステップＳ１７に進み、上記カード使用警告メッセージを、音声出力部１２ｄを介して発声する。 The control unit 12h determines whether or not the card warning flag is 1 in step S14 of FIG. 6, and proceeds to step S18 if negative. If step S14 is affirmed, the process proceeds to step S15 to determine a warning message indicating that the total amount of card use is large within a predetermined period, for example, the last one month. In step S16, it is determined whether or not this type of card use warning has been issued recently, that is, within a predetermined period retroactively from the present, and if affirmed, the process proceeds to step S18. If step S16 is negative, the process proceeds to step S17, and the card use warning message is uttered via the voice output unit 12d.

制御部１２ｈは、ステップＳ１８において、支払警告フラグが１か否かを判定し、否定されると図５のステップＳ１に戻る。ステップＳ１８が肯定されるとステップＳ１９に進み、給料日前の所定期間内、例えば、１週間における支払金額が多いことを示す警告メッセージを決定する。ステップＳ２０では、最近、すなわち、現在から遡って所定期間内にこの種の支払金額警告を行ったか否かを判定し、肯定されるとステップＳ１に戻る。ステップＳ２０が否定されるとステップＳ２１に進み、支払金額の合計が基準値もしくは低減金額を超えていることを示す支払金額警告メッセージを、音声出力部１２ｄを介して発声する。その後、ステップＳ１に戻る。 In step S18, the control unit 12h determines whether or not the payment warning flag is 1. If the determination is negative, the control unit 12h returns to step S1 in FIG. If step S18 is affirmed, the process proceeds to step S19 to determine a warning message indicating that the amount of payment in a predetermined period before the salary date, for example, one week is large. In step S20, it is determined whether or not this type of payment amount warning has been performed recently, that is, within a predetermined period retroactively from the present. If step S20 is negative, the process proceeds to step S21, and a payment amount warning message indicating that the total amount of payment exceeds the reference value or the reduction amount is uttered via the voice output unit 12d. Then, it returns to step S1.

―変形例―
上述した処理手順では、履歴情報を記憶部１２ｇに記憶した直後に警告の要否を判定しているが、警告の要否判定は、履歴情報の記憶に因らず、例えば予め決められた周期で行うようにしてもよい。また、警告要と判定された場合に直ぐに警告メッセージを発声するようにしたが、この時点では警告メッセージを記憶するに止め、後にユーザが所定の操作を行ったときに、記憶されている警告メッセージを発声するようにしてもよい。この場合、警告要と判定された時点、あるいは警告メッセージが記憶された時点で、警告メッセージが存在することをユーザに報知するようにしてもよい。その報知方法としては、例えば音声出力部１２ｄにてブザー音を発声させたり、表示部１２ｅに所定のアイコン等を表示するなどが考えられる。なお、警告メッセージそのものも音声ではなく表示により行うようにしてもよい。 -Modification-
In the processing procedure described above, the necessity of warning is determined immediately after the history information is stored in the storage unit 12g. The necessity of warning is determined regardless of the storage of history information, for example, a predetermined cycle. You may make it carry out. In addition, a warning message is uttered immediately when it is determined that a warning is required, but at this point, the warning message is stopped and the warning message stored when the user performs a predetermined operation later is stored. May be uttered. In this case, the user may be notified that the warning message exists when it is determined that the warning is necessary or when the warning message is stored. As the notification method, for example, a buzzer sound is uttered by the audio output unit 12d, or a predetermined icon or the like is displayed on the display unit 12e. Note that the warning message itself may be displayed not by voice but by display.

発せられた警告メッセージを記憶部１２ｇに蓄積記憶し、ユーザの操作に応じて再度発せられるようにしてもよい。また、記憶部１２ｇに蓄積記憶された履歴情報を表示部１２ｅに表示できるようにしてもよい。さらに、これらの履歴情報や警告メッセージは、ユーザの所定操作により一括して、あるいは部分的に消去できるようにしてもよい。 The issued warning message may be stored in the storage unit 12g and may be issued again in response to a user operation. The history information accumulated and stored in the storage unit 12g may be displayed on the display unit 12e. Further, these history information and warning messages may be erased collectively or partially by a predetermined user operation.

―他の実施形態―
上述した警告装置では、ユーザの行為の推定、警告の要否判定、および警告メッセージの選択は、ユーザ端末１０の制御部１２ｈで行う例で説明したが、警告アプリ提供サーバ４０で行うようにしてもよい。この場合、ユーザ端末１０の制御部１２ｈは、上述した映像情報、音声情報、位置情報等を警告アプリ提供サーバ４０に送信し、警告アプリ提供サーバ４０の制御部が所定のプログラムに基づき、ユーザの行為の推定、警告の要否判定、および警告メッセージの選択を行い、選択した警告メッセージをユーザ端末１０に送信する。ユーザ端末１０の制御部１２ｈは、受信した警告メッセージを、音声出力部１２ｄを介して発声する。 -Other embodiments-
In the above-described warning device, the user's action estimation, warning necessity determination, and warning message selection have been described in the example performed by the control unit 12h of the user terminal 10. However, the warning application providing server 40 may perform the estimation. Also good. In this case, the control unit 12h of the user terminal 10 transmits the above-described video information, audio information, position information, and the like to the warning application providing server 40, and the control unit of the warning application providing server 40 is based on a predetermined program. Action estimation, warning necessity determination, and warning message selection are performed, and the selected warning message is transmitted to the user terminal 10. The control unit 12h of the user terminal 10 utters the received warning message via the voice output unit 12d.

この警告装置では、図３及び図４に示したデータベースは、ユーザごとの情報として警告アプリ提供サーバ４０に設けられる。ユーザの行為を知るための情報を自動で取得するカメラ、マイクロフォン、ＧＰＳセンサなどから警告アプリ提供サーバ４０が得た映像データ、音声データ、位置データなどに基づいて、警告アプリ提供サーバ４０は、ユーザの行為を推定し、推定結果を記憶部に履歴情報として蓄積記憶する。警告アプリ提供サーバ４０は、所定の行動履歴更新時に、上記のように記憶された履歴情報を読み出し、履歴情報に基づいてユーザに対する警告の要否を判定する。警告アプリ提供サーバ４０は、この判定部の判定結果により警告すべきと判定したときに、対応する警告メッセージがユーザ端末１０に送信され、ユーザ端末１０の表示装置やスピーカから警告が報知される。 In this warning device, the database shown in FIGS. 3 and 4 is provided in the warning application providing server 40 as information for each user. Based on the video data, audio data, position data, and the like obtained by the warning application providing server 40 from a camera, microphone, GPS sensor, or the like that automatically acquires information for knowing the user's action, the warning application providing server 40 And the estimation result is accumulated and stored in the storage unit as history information. The warning application providing server 40 reads the history information stored as described above when updating a predetermined action history, and determines whether or not a warning is required for the user based on the history information. When the warning application providing server 40 determines that the warning should be issued based on the determination result of the determination unit, a corresponding warning message is transmitted to the user terminal 10 and the warning is notified from the display device or the speaker of the user terminal 10.

したがって、この実施形態の警告装置は、ユーザの行為の履歴情報を得る履歴取得部と、履歴情報に基づいて、ユーザに対する警告の要否を判定する判定部と、警告要と判定された場合に、当該履歴情報に関わるユーザの行為を窘める内容の警告を発する警告部とを備える。履歴取得部はユーザ端末１０に設けられ、判定部と警告部は警告アプリ提供サーバ４０に設けられる。 Therefore, the warning device according to this embodiment includes a history acquisition unit that obtains history information of a user's action, a determination unit that determines whether or not a warning is required for the user based on the history information, And a warning unit that issues a warning of content that gives up the user's action related to the history information. The history acquisition unit is provided in the user terminal 10, and the determination unit and the warning unit are provided in the warning application providing server 40.

なお、他の実施形態の警告装置は、少なくともユーザ端末１０と警告アプリ提供サーバ４０とをネットワークで接続して構成され、ユーザの行為に基づく行動履歴情報を生成する機能、この行動履歴情報に基づく習慣の良否を判定する機能、判定結果に基づく警告を発する機能などを有するが、これらの機能をいずれの機器が分担するかは問わない。 Note that the warning device according to another embodiment is configured by connecting at least the user terminal 10 and the warning application providing server 40 via a network, and is based on this action history information, a function for generating action history information based on user actions. Although it has a function to judge the quality of habits and a function to issue a warning based on the judgment result, it does not matter which device shares these functions.

警告アプリ提供サーバ４０によりクレジットカード利用履歴による警告を行う場合は、警告アプリ提供サーバ４０がユーザの許諾を受けて直接カートサーバ２０にアクセスして利用履歴を取得することもできる。個人情報漏洩防止の観点から、ユーザ自身が履歴情報をカートサーバ２０から取得し、この情報を警告アプリ提供サーバ４０に送信するようにしてもよい。 When the warning application providing server 40 issues a warning based on the credit card usage history, the warning application providing server 40 can directly access the cart server 20 with the permission of the user and acquire the usage history. From the viewpoint of preventing leakage of personal information, the user himself / herself may acquire history information from the cart server 20 and transmit this information to the warning application providing server 40.

本発明は以上説明した実施形態や変形例を適宜組合せて成る警告装置でもよい。また、本発明は上述した例に何ら限定されない。要するに、本発明による警告装置は、ユーザの行為の履歴情報を得る履歴取得部と、履歴情報に基づいて、ユーザに対する警告の要否を判定する判定部と、警告要と判定された場合に、当該履歴情報に関わるユーザの行為を窘める内容の警告を発する警告部とを備えるものであればよい。 The present invention may be a warning device that is an appropriate combination of the above-described embodiments and modifications. The present invention is not limited to the above-described example. In short, the warning device according to the present invention includes a history acquisition unit that obtains history information of a user's action, a determination unit that determines whether a warning is required for the user based on the history information, What is necessary is just to provide the warning part which issues the warning of the content which praises the user's action regarding the said log | history information.

１０ユーザ端末
１１カメラ部
１２本体部
１２ｂ位置情報検出部
１２ｃ音声入力部
１２ｄ音声出力部
２０カードサーバ
３０通信回線網
４０警告アプリ提供サーバ DESCRIPTION OF SYMBOLS 10 User terminal 11 Camera part 12 Main body part 12b Position information detection part 12c Audio | voice input part 12d Audio | voice output part 20 Card server 30 Communication line network 40 Warning application provision server

Claims

A history acquisition unit for obtaining user action history information;
A determination unit that determines whether or not a warning is required for the user based on the history information;
A warning device comprising: a warning unit that issues a warning with a content of giving up the user's action related to the history information when it is determined that a warning is required.

The warning device according to claim 1,
The determination unit recognizes the frequency of the same kind of action by the user based on the history information, and determines that a warning is necessary when the frequency exceeds a predetermined threshold.

The warning device according to claim 2,
The determination unit sets the threshold based on user personal information stored in advance.

The warning device according to claim 2 or 3,
The warning unit determines a warning content based on the history information and personal information of a user registered in advance.

In the warning device according to any one of claims 1 to 4,
The history acquisition unit automatically acquires information for knowing the user's action, estimates the user's action based on the acquired information, and accumulates and stores the estimation result as history information in the storage unit. A warning device comprising: an estimation unit; and a reading unit that reads out the stored history information.

The warning device according to claim 5,
The warning device, wherein the information acquisition unit includes at least one of an imaging unit, a voice input unit, and a position information detection unit.

The warning device according to claim 1,
The history acquisition unit is a communication unit that receives a user's purchase history from the outside as the history information, and the determination unit requires a warning when the amount of money spent for purchase within a predetermined period of the user exceeds a predetermined threshold. Warning device characterized in that it is determined.

The warning device according to claim 7,
The determination unit sets the threshold based on user personal information stored in advance.