JP2018106419A - Marketing apparatus - Google Patents
Marketing apparatus Download PDFInfo
- Publication number
- JP2018106419A JP2018106419A JP2016251931A JP2016251931A JP2018106419A JP 2018106419 A JP2018106419 A JP 2018106419A JP 2016251931 A JP2016251931 A JP 2016251931A JP 2016251931 A JP2016251931 A JP 2016251931A JP 2018106419 A JP2018106419 A JP 2018106419A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- subject
- voice
- video
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は，試供品の評価を被験者から自動的に得るための技術に関する。 The present invention relates to a technique for automatically obtaining a sample evaluation from a subject.
商品・サービスの販売販促活動として，商品・サービスを実際に使用した被験者から，商品・サービスに関する意見を集めるマーケティング調査を行うことがある。商品・サービスを実際に使用した被験者から集めた意見はマーケティング調査後に集計され，商品・サービスの販売戦略を立案する際に参考にされる。 A marketing survey that collects opinions on products and services from subjects who actually used the products and services is sometimes conducted as a sales promotion activity for products and services. Opinions collected from subjects who actually used the product / service are collected after the marketing survey and are used as a reference when planning the sales strategy for the product / service.
マーケティング調査の一つの手法として，商品・サービスに係る質問項目に対する回答を被験者から集めるアンケート調査が以前より用いられている。アンケート調査は，マーケティング調査において有用な手法の一つであるが，アンケート調査では，選択式の質問項目に対する回答する時の意見しか被験者から得られないので，商品・サービスを実際に使用している時の意見を得たい時はヒアリング調査が行われる。 A questionnaire survey that collects answers to questions about products and services from subjects has been used as a method for marketing surveys. Questionnaire surveys are one of the most useful techniques in marketing surveys. However, since questionnaire surveys only provide opinions from subjects when responding to selective question items, they actually use products and services. When you want to get the opinion of the time, a hearing survey is conducted.
ヒアリング調査は，商品・サービスを実際に使用している被験者にインタビューし，例えば，商品・サービスの評価などを被験者に直接聞く手法である。例えば，飲み物（飲料）に係るヒアリング調査を行う場合，ヒアリング調査の対象になる飲み物を被験者に渡し，飲み物を口にした直後における評価を被験者から得る。 The interview survey is a method of interviewing subjects who actually use products and services, and directly listening to subjects about the evaluation of products and services. For example, when conducting a hearing survey relating to drinks (beverages), the subject is given a drink to be interviewed, and an evaluation immediately after the drink is taken from the subject is obtained.
商品に係るヒアリング調査を行う場合，ヒアリング調査を行う側の人が，マーケティングの対象になる商品である試供品を被験者に手渡しで提供していたが，特許文献１で開示されているワインディスペンサーのように，試供品（特許文献１ではワイン）を被験者に提供する装置も開発されているので，試供品の評価を被験者から自動的に得られることが望まれている。試供品の評価を被験者から自動的に得ることができれば，試供品の評価を被験者から自動的に得るための機能を，試供品を被験者に提供する装置（例えば，ワインディスペンサー）に組み込むことができる。 When conducting an interview survey on products, the person conducting the interview survey provided the test sample, which is the product to be marketed, to the subject by hand, but the wine dispenser disclosed in Patent Document 1 Thus, since a device for providing a sample (wine in Patent Document 1) to a subject has been developed, it is desired that the sample can be automatically evaluated from the subject. If the evaluation of the free sample can be obtained automatically from the subject, a function for automatically obtaining the free sample evaluation from the subject can be incorporated into a device that provides the free sample to the subject (for example, a wine dispenser). .
マーケティング調査に係る発明として，例えば，特許文献１では， 質問項目の内容の深さに応じて階層構造化した複数の質問項目データを記憶し，インタビューの残り時間が少ない場合に，浅い階層の質問項目を優先して推薦し，インタビューの残り時間が多い場合に，深い階層の質問項目を優先して推薦する装置が開示されているが，ヒアリング調査に係る従来の発明は，マーケティング調査にて被験者に問う質問項目に注目した発明で，試供品に係る評価を被験者から自動的に得るための発明ではない。 As an invention related to marketing research, for example, Patent Document 1 stores a plurality of question item data structured hierarchically according to the depth of the contents of question items, and when the remaining time of an interview is small, A device that preferentially recommends items and recommends questions with a deep hierarchy when there is a lot of remaining interview time is disclosed. It is an invention that focuses on the question items to ask, and is not an invention for automatically obtaining an evaluation related to a sample from a subject.
また，アンケート調査やヒアリング調査は，試供品を試した後に，ある一定の期間が経過した後に調査されることもあることから，試供品を試した時の印象などが薄れてしまって正確な調査にならないことも考えられる。更に，これらの調査は集計の作業などが必要となることから，マーケティングデータ化するまでに時間がかかってしまっている。 In addition, since questionnaire surveys and interview surveys may be conducted after a certain period of time has passed after a sample has been tried, the impression when the sample has been tried has faded, making it an accurate survey. It is possible that it will not be. In addition, since these surveys require tabulation work, it takes time to create marketing data.
このことからして，早期に試供品の評価を被験者から得ることができれば，マーケティング活動のＰＤＣＡサイクルを手早く回していくことができるため，本発明は，試供品を試したその時の被験者の状態を捉え，試供品の評価を自動的に被験者から取得できる装置を提供することを課題とする。 Therefore, if the evaluation of the sample can be obtained from the subject at an early stage, the PDCA cycle of the marketing activity can be quickly performed. Therefore, the present invention shows the state of the subject at the time when the sample was tested. It is an object of the present invention to provide a device capable of automatically obtaining a sample evaluation from a subject.
上述した課題を解決する本発明は，カメラを用いて被験者の映像を撮影する映像撮影部と，マイクを用いて被験者の音声を受信する音声受信部と，前記映像撮影部が撮影した映像に含まれる顔画像を時系列で表情解析し，被験者の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを生成する表情感情解析部と，前記音声受信部が受信した音声を時系列で音声認識し，被験者が発した単語に対応する感情カテゴリの経時変化を示す音声感情解析データを生成する音声感情解析部と，前記映像撮影部が撮影した映像から被験者の顔画像を検出する処理を行い，顔画像を検出してから顔画像が検出できなくなるまでの顔検出区間で前記映像撮影部が撮影した映像を前記表情感情解析部に引き渡し，前記顔検出区間における前記表情感情解析データを試供品の評価情報の一つとして取得する処理と，前記顔検出区間に前記音声受信部が受信した音声を前記音声感情解析部に引き渡し，前記顔検出区間における前記音声感情解析データを試供品の評価情報の一つとして取得する処理を実行する制御部とを備えたことを特徴とするマーケティング装置である。
また，本発明では，試供品を被験者に提供する試供品提供部を前記マーケティング装置に備えさせ，前記制御部が，前記映像撮影部が撮影した被験者の試供品に対する評価情報に，前記試供品提供部が試供品を被験者に提供した顔検出区間内の時間を含ませると，試供品を提供した前後における被験者の感情の変化を分析できるようになる。
更に，本発明では， 顔画像に基づく人物属性を推定する人物属性推定部を前記マーケティング装置に備えさせ，前記制御部が，前記映像撮影部が撮影した映像から検出した顔画像に基づく人物属性を人物属性推定部に推定させ，前記映像撮影部が撮影した被験者の試供品に対する評価情報に，前記人物属性推定部が推定した人物属性を含ませると，試供品を提供した被験者の人物属性に基づいて被験者の感情の変化を分析できるようになる。
The present invention for solving the above-described problems is included in a video photographing unit that photographs a subject's video using a camera, an audio receiving unit that receives a subject's voice using a microphone, and a video photographed by the video photographing unit. Facial expression analysis of the facial images in the time series and generating facial expression emotion analysis data indicating changes in the emotion category corresponding to the facial expression of the subject, and voice received by the voice receiving section in time series A voice emotion analysis unit that recognizes and generates voice emotion analysis data indicating a temporal change of an emotion category corresponding to a word uttered by the subject, and a process of detecting the face image of the subject from the video captured by the video shooting unit , The video taken by the video photographing unit in the face detection interval from when the face image is detected until the face image cannot be detected is handed over to the facial expression emotion analyzing unit, and the facial expression in the face detection interval Processing for acquiring emotion analysis data as one of the evaluation information of the sample, and delivering the voice received by the voice receiver to the face detection section to the voice emotion analysis section, and the voice emotion analysis data in the face detection section And a control unit that executes a process for acquiring the information as one of the evaluation information of the free samples.
In the present invention, the marketing device is provided with a free sample providing unit that provides a free sample to the subject, and the control unit provides the free sample to the evaluation information on the free sample taken by the video photographing unit. By including the time within the face detection section in which the department provided the sample to the subject, it becomes possible to analyze the change in the subject's emotion before and after providing the sample.
Furthermore, in the present invention, the marketing apparatus is provided with a person attribute estimating unit that estimates a person attribute based on a face image, and the control unit is configured to determine a person attribute based on a face image detected from a video photographed by the video photographing unit. When the personal attribute estimated by the person attribute estimation unit is included in the evaluation information for the sample of the subject photographed by the video photographing unit and estimated by the person attribute estimation unit, This makes it possible to analyze changes in the subject's emotions.
上述した本発明によれば，試供品を試したその時の被験者の状態を捉え，試供品を提供した被験者から試供品の評価を自動的に取得する装置を提供できる。 According to the present invention described above, it is possible to provide a device that captures the state of a subject at the time of trying a sample and automatically obtains the evaluation of the sample from the subject who provided the sample.
ここから，本発明の好適な実施形態を記載する。なお，以下の記載は本発明の技術的範囲を束縛するものでなく，理解を助けるために記述するものである。 From here, preferred embodiments of the present invention will be described. The following description is not intended to limit the technical scope of the present invention, but is provided to aid understanding.
図１は，本実施形態に係るマーケティング装置１を説明する図である。図１で図示したマーケティング装置１は，試供品（図１では，ワイン）の評価情報を被験者２から自動的に得る機能と，試供品を被験者２に提供する機能（図１では，ワインディスペンサー）を備えているが，マーケティング装置１が備える機能は，試供品の評価情報を被験者２から自動的に得る機能のみであってもよい。 FIG. 1 is a diagram for explaining a marketing apparatus 1 according to the present embodiment. The marketing apparatus 1 illustrated in FIG. 1 has a function of automatically obtaining evaluation information of a sample (wine in FIG. 1) from the subject 2 and a function of providing the sample 2 to the subject 2 (in FIG. 1, a wine dispenser). However, the function of the marketing apparatus 1 may be only the function of automatically obtaining the evaluation information of the sample from the subject 2.
図１において，本実施形態に係るマーケティング装置１とネットワーク３を介して接続しているサーバ４は，被験者２から自動的に得た試供品の評価情報の送信先となる装置である。試供品の提供者は，ネットワーク３を介してマーケティング装置１から送信された試供品の評価情報を集計し，集計結果を参考にして試供品の販売戦略を立案する。 In FIG. 1, a server 4 connected to the marketing apparatus 1 according to the present embodiment via a network 3 is an apparatus that is a transmission destination of sample evaluation information automatically obtained from the subject 2. The free sample provider aggregates the evaluation information of the free sample transmitted from the marketing apparatus 1 via the network 3, and formulates a sales strategy for the free sample with reference to the total result.
図２は，本実施形態に係るマーケティング装置１のブロック図である。本実施形態に係るマーケティング装置１は，被験者２から得た試供品の評価情報などの記憶に用いるメモリ１７，無線または有線によりネットワーク３に接続するネットワークインターフェース１８を備え，試供品の評価情報を被験者２から自動的に得る機能として，カメラ１２ａを用いて被験者２の映像を撮影する映像撮影部１２と，マイク１４ａを用いて被験者２の音声を受信する音声受信部１４と，映像撮影部１２が撮影した映像に含まれる顔画像を時系列で表情解析し，被験者２の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを生成する表情感情解析部１１と，音声受信部１４が受信した音声を時系列で音声認識し，被験者２が発した単語に対応する感情カテゴリの経時変化を示す音声感情解析データを生成する音声感情解析部１３と，顔画像に基づく人物属性を推定する人物属性推定部１５と，映像撮影部１２が撮影した映像から被験者２の試供品に対する評価情報を取得する処理を実行する制御部１０を備える。また，本実施形態に係るマーケティング装置１は，試供品を被験者２に提供する試供品提供部１６（本実施形態では，ワインディスペンサー）を備える。 FIG. 2 is a block diagram of the marketing apparatus 1 according to the present embodiment. The marketing apparatus 1 according to the present embodiment includes a memory 17 used for storing evaluation information of a free sample obtained from the subject 2, a network interface 18 connected to the network 3 by wireless or wired, and the evaluation information of the free sample is provided to the subject. As a function automatically obtained from 2, a video shooting unit 12 that takes a video of the subject 2 using the camera 12a, a voice receiving unit 14 that receives the voice of the subject 2 using the microphone 14a, and a video shooting unit 12 include The facial expression included in the photographed video is subjected to facial expression analysis in time series, and the facial expression emotion analysis unit 11 that generates the facial expression emotion analysis data indicating the temporal change of the emotion category corresponding to the facial expression of the subject 2 is received by the voice reception unit 14. Voice recognition is performed in time series, and voice emotion analysis data is generated to show the change over time of the emotion category corresponding to the word uttered by the subject 2 A voice emotion analysis unit 13, a person attribute estimation unit 15 that estimates a person attribute based on a face image, and a control unit 10 that executes processing for obtaining evaluation information on a sample of the subject 2 from a video captured by the video imaging unit 12 Is provided. The marketing device 1 according to this embodiment includes a free sample providing unit 16 (in this embodiment, a wine dispenser) that provides free samples to the subject 2.
マーケティング装置１のメモリ１７としてはＲＡＭまたはＮＶＭ（Non-volatile memory）を利用できる。マーケティング装置１のネットワークインターフェース１８としては，無線によりネットワークに接続するＷｉｆｉ（登録商標），または，有線によりネットワークに接続するＥｔｈｅｒｎｅｔ（登録商標）を利用できる。マーケティング装置１の映像撮影部１２は，ＣＣＤやＣＭＯＳを撮像素子とするカメラ１２ａと，カメラ１２ａが出力したアナログ形式の映像をデジタル形式の映像に変換する回路基板などにより構成される。マーケティング装置１の音声受信部１４は，音声を集音するマイク１４ａと，マイク１４ａが出力したアナログ形式の音声をデジタル形式の音声に変換する回路基板などにより構成される。 As the memory 17 of the marketing apparatus 1, RAM or NVM (Non-volatile memory) can be used. As the network interface 18 of the marketing apparatus 1, WiFi (registered trademark) connected to the network wirelessly or Ethernet (registered trademark) connected to the network by wire can be used. The video photographing unit 12 of the marketing apparatus 1 includes a camera 12a using a CCD or CMOS as an image sensor, and a circuit board that converts an analog video output from the camera 12a into a digital video. The voice receiving unit 14 of the marketing apparatus 1 includes a microphone 14a that collects voice and a circuit board that converts analog voice output from the microphone 14a into digital voice.
マーケティング装置１の試供品提供部１６は，試供品を被験者２に提供する機構等により実現される。本実施形態の試供品提供部１６は，試供品であるワインを被験者２に提供できるように，被験者２に提供する数本のワインボトル１６ａ，ワインボトル１６ａ内に配置されたパイプと接続しているワインの注ぎ口１６ｂ，注ぎ口１６ｂからワインを出すときに被験者２が操作するスイッチ１６ｃを備え，スイッチ１６ｃが押されると，所定量のガス（例えば，窒素ガス）をワインボトル１６ａ内に充填し，所定量のワインが注ぎ口から出る構造になっている。また，図１で図示した試供品提供部１６は，ポイントカードやスマートフォンと近距離無線通信するリーダライタ１６ｄ，ワインを説明する映像などを流すディスプレイ１６ｅ，ワインの試飲に用いる紙コップ１６ｆ，および，使用済の紙コップ１６ｆを入れるゴミ箱１６ｇなどを備える。なお，ワインを説明する映像などを流すディスプレイ１６ｅをタッチパネルにすれば，タッチパネルを利用したアンケート調査を行うこともできる。 The free sample providing unit 16 of the marketing device 1 is realized by a mechanism or the like that provides the free sample to the subject 2. The free sample providing unit 16 of this embodiment is connected to several wine bottles 16a to be provided to the subject 2 and pipes arranged in the wine bottle 16a so that the sample wine can be provided to the subject 2. The wine pour 16b and the switch 16c operated by the subject 2 when the wine is taken out from the pour 16b are provided, and when the switch 16c is pressed, a predetermined amount of gas (for example, nitrogen gas) is filled in the wine bottle 16a. However, it has a structure in which a predetermined amount of wine comes out of the spout. 1 includes a reader / writer 16d for short-distance wireless communication with a point card or a smartphone, a display 16e for displaying an image explaining wine, a paper cup 16f used for wine tasting, A trash box 16g for storing a used paper cup 16f is provided. In addition, if the display 16e which flows the image | video etc. which explain wine is made into a touch panel, the questionnaire survey using a touch panel can also be performed.
マーケティング装置１が備える表情感情解析部１１は，映像撮影部１２が撮影した映像に含まれる顔画像を時系列で表情解析し，被験者２の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを生成する機能で，表情感情解析部１１としてマーケティング装置１のプロセッサを機能させるためのコンピュータプログラム，または，表情感情解析部１１として機能する専用のＩＣチップにより実現できる。 The facial expression emotion analysis unit 11 included in the marketing device 1 performs facial expression analysis on the face image included in the video captured by the video imaging unit 12 in time series, and facial expression emotion analysis indicating the temporal change of the emotion category corresponding to the facial expression of the subject 2. The function of generating data can be realized by a computer program for causing the processor of the marketing apparatus 1 to function as the facial expression analysis unit 11 or a dedicated IC chip that functions as the facial expression analysis unit 11.
図３は，本実施形態に係るマーケティング装置１の表情感情解析部１１の動作を説明する図である。本実施形態に係るマーケティング装置１の表情感情解析部１１は，ＦＡＣＳ（Facial Action Coding System）に係る技術を利用して，映像撮影部１２が撮影した被験者２の顔画像に対応する感情カテゴリを特定する。ＦＡＣＳ（Facial Action Coding System）を利用して感情カテゴリを特定する際，まず，マーケティング装置１の表情感情解析部１１は，映像のフレームに含まれる顔画像を検出する処理を行う（Ｓ１）。マーケティング装置１の表情感情解析部１１は，映像のフレームから顔画像を検出すると，顔画像内におけるフェイシャルポイントを特定する（Ｓ２）。フェイシャルポイントは，顔の表情を規定する顔のポイントで，ＦＡＣＳでは約５００個のフェイシャルポイントを特定する。次に，マーケティング装置１の表情感情解析部１１は，フェイシャルポイントを特定した顔画像を時系列（例えば，映像のフレーム毎）で追跡し（Ｓ３），各々のフェイシャルポイントの変化から表情の動きを特定する（Ｓ４）。マーケティング装置１が備える表情感情解析部１１は，表情の動きの組合せにより定義した複数の感情カテゴリ（驚き，恐怖，嫌悪，怒り，幸福，悲しみ）を記憶し，フェイシャルポイントを用いて特定した表情の動きにより定義されている感情カテゴリを特定し（Ｓ５），図３の手順は終了する。なお，マーケティング装置１の表情感情解析部１１は，図３のＳ２において，顔画像内におけるフェイシャルポイントを特定した後，図３のＳ３−Ｓ５を時系列で実行することで，被験者２の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを生成する。例えば，表情感情解析データは，被験者２の表情が発声した時間と，被験者２の表情に対応する感情カテゴリを記述したＣＳＶ形式のテキストデータである。 FIG. 3 is a diagram for explaining the operation of the facial expression emotion analysis unit 11 of the marketing apparatus 1 according to the present embodiment. The facial expression emotion analysis unit 11 of the marketing apparatus 1 according to the present embodiment specifies an emotion category corresponding to the face image of the subject 2 photographed by the video photographing unit 12 using a technology related to FACS (Facial Action Coding System). To do. When an emotion category is specified using FACS (Facial Action Coding System), first, the facial expression emotion analysis unit 11 of the marketing apparatus 1 performs a process of detecting a face image included in a video frame (S1). The facial expression emotion analysis unit 11 of the marketing device 1 identifies a facial point in the face image when detecting the face image from the frame of the video (S2). Facial points are facial points that define facial expressions. In FACS, about 500 facial points are specified. Next, the facial expression emotion analysis unit 11 of the marketing device 1 tracks the facial image specifying the facial point in time series (for example, every frame of the video) (S3), and changes the facial expression from the change of each facial point. Specify (S4). The facial expression emotion analysis unit 11 included in the marketing device 1 stores a plurality of emotion categories (surprise, fear, disgust, anger, happiness, sadness) defined by combinations of facial expressions, and uses facial points to identify facial expressions specified. The emotion category defined by the movement is specified (S5), and the procedure of FIG. 3 ends. The facial expression emotion analysis unit 11 of the marketing device 1 identifies facial points in the face image in S2 of FIG. 3, and then executes S3-S5 of FIG. Expression emotion analysis data indicating changes in the corresponding emotion category over time is generated. For example, facial expression emotion analysis data is CSV format text data describing the time when the facial expression of the subject 2 uttered and the emotion category corresponding to the facial expression of the subject 2.
マーケティング装置１が備える音声感情解析部１３は，音声受信部１４が受信した音声を時系列で音声認識し，被験者２が発した単語に対応する感情カテゴリの経時変化を示す音声感情解析データを生成する機能で，音声感情解析部１３としてマーケティング装置１のプロセッサを機能させるコンピュータプログラム，または，音声感情解析部１３として機能する専用のＩＣチップにより実現することができる。 The voice emotion analysis unit 13 included in the marketing device 1 recognizes the voice received by the voice reception unit 14 in time series, and generates voice emotion analysis data indicating the temporal change of the emotion category corresponding to the word uttered by the subject 2. This function can be realized by a computer program that causes the processor of the marketing apparatus 1 to function as the voice emotion analysis unit 13 or a dedicated IC chip that functions as the voice emotion analysis unit 13.
図４は，本実施形態に係るマーケティング装置１の音声感情解析部１３の動作を説明する図である。本実施形態に係るマーケティング装置１の音声感情解析部１３は，音声受信部１４が出力した音声から感情カテゴリを特定する際，音声受信部１４が出力した音声に対応する単語を音声認識する（Ｓ１０）。マーケティング装置１の音声感情解析部１３は，感情カテゴリに対応する単語を感情カテゴリ毎に記憶し，音声認識して得られた単語に対応する感情カテゴリを特定し（Ｓ１１），図４の手順は終了する。なお，マーケティング装置１の音声受信部１４は，図４のＳ１０−Ｓ１１を時系列で実行することで，被験者２が発話した単語に対応する感情カテゴリの経時変化を示す音声感情解析データを生成する。例えば，音声感情解析データは，被験者２が発話した時間と，被験者２が発話した単語に対応する感情カテゴリを記述したＣＳＶ形式のテキストデータである。 FIG. 4 is a diagram for explaining the operation of the voice emotion analysis unit 13 of the marketing apparatus 1 according to the present embodiment. The voice emotion analysis unit 13 of the marketing device 1 according to the present embodiment recognizes a word corresponding to the voice output by the voice reception unit 14 when the emotion category is identified from the voice output by the voice reception unit 14 (S10). ). The voice emotion analysis unit 13 of the marketing device 1 stores the words corresponding to the emotion categories for each emotion category, identifies the emotion categories corresponding to the words obtained by voice recognition (S11), and the procedure of FIG. finish. Note that the voice receiving unit 14 of the marketing apparatus 1 generates voice emotion analysis data indicating the temporal change of the emotion category corresponding to the word spoken by the subject 2 by executing S10-S11 of FIG. 4 in time series. . For example, the voice emotion analysis data is text data in CSV format describing the time when the subject 2 spoke and the emotion category corresponding to the word spoken by the subject 2.
マーケティング装置１が備える人物属性推定部１５は，映像撮影部１２が出力した映像に含まれる顔画像を解析して被験者２の人物属性を特定する機能で，マーケティング装置１が備える人物属性推定部１５としてプロセッサを機能させるコンピュータプログラムにより実現することができる。なお，顔画像から人物属性（性別・年齢）を推定する手法としては，人物属性毎に顔の特徴点を記憶し，顔画像から抽出した特徴点に対応する人物属性を推定する手法が広く用いられている。 The person attribute estimation unit 15 included in the marketing apparatus 1 has a function of identifying the person attribute of the subject 2 by analyzing the face image included in the video output by the video shooting unit 12. The person attribute estimation unit 15 included in the marketing apparatus 1 It can be realized by a computer program that causes the processor to function. As a method for estimating a person attribute (gender / age) from a face image, a method of storing a face feature point for each person attribute and estimating a person attribute corresponding to the feature point extracted from the face image is widely used. It has been.
本実施形態に係るマーケティング装置１の制御部１０は，マーケティング装置１に実装されたプロセッサを動作させるコンピュータプログラムにより実現される機能で，試供品を提供する被験者２から自動的に試供品の評価情報を取得する機能に係る処理を実行する。 The control unit 10 of the marketing apparatus 1 according to the present embodiment is a function realized by a computer program that operates a processor installed in the marketing apparatus 1, and automatically evaluates the evaluation information of the sample from the subject 2 who provides the sample. Execute processing related to the function to acquire.
図５は，本実施形態に係るマーケティング装置１の制御部１０の動作を説明する図である。本実施形態に係るマーケティング装置１の電源がＯＮになると，マーケティング装置１の制御部１０等が起動し，マーケティング装置１の制御部１０は，映像撮影部１２と音声受信部１４を少なくとも作動させた後，映像撮影部１２が出力した映像から顔画像を検出する処理を実行する（Ｓ２０）。マーケティング装置１の映像撮影部１２は，所定のフレームレート（３０ｆｐｓや６０ｆｐｓ）で映像を出力し，マーケティング装置１の制御部１０は，映像撮影部１２が出力した映像のフレームから顔画像を検出する。 FIG. 5 is a diagram for explaining the operation of the control unit 10 of the marketing apparatus 1 according to the present embodiment. When the marketing device 1 according to the present embodiment is turned on, the control unit 10 of the marketing device 1 is activated, and the control unit 10 of the marketing device 1 activates at least the video photographing unit 12 and the audio receiving unit 14. Thereafter, a process of detecting a face image from the video output by the video shooting unit 12 is executed (S20). The video shooting unit 12 of the marketing device 1 outputs video at a predetermined frame rate (30 fps or 60 fps), and the control unit 10 of the marketing device 1 detects a face image from the video frame output by the video shooting unit 12. .
映像撮影部１２が出力した映像のフレームから顔画像が検出できると，マーケティング装置１の制御部１０は，映像撮影部１２が出力した映像をメモリ１７に録画する処理と，音声受信部１４が出力した音声をメモリ１７に録音する処理を開始する（Ｓ２１）。 When the face image can be detected from the frame of the video output from the video photographing unit 12, the control unit 10 of the marketing apparatus 1 records the video output from the video photographing unit 12 in the memory 17, and the audio receiving unit 14 outputs the video. The process of recording the recorded voice in the memory 17 is started (S21).
そして，映像の録画および音声データの録音をしている間，試供品を提供する動作を行ったことを示す試供品提供信号が試供品提供部１６から入力されると，マーケティング装置１の制御部１０は，この時の時間（録画を開始してからの時間，または，日時）を試供品提供時間としてメモリ１７に記憶し（Ｓ２２），映像の録画および音声データの録音を続行する。 Then, when a free sample providing signal indicating that the operation of providing a free sample has been performed during video recording and audio data recording is performed from the free sample providing unit 16, the control unit of the marketing apparatus 1. 10 stores the time at this time (time from the start of recording or date and time) in the memory 17 as a sample provision time (S22), and continues video recording and audio data recording.
映像撮影部１２が出力した映像から顔画像が検出できなくなると，マーケティング装置１の制御部１０は，映像の録画および音声の録音を終了する（Ｓ２３）。 When the face image cannot be detected from the video output by the video shooting unit 12, the control unit 10 of the marketing apparatus 1 ends the video recording and the audio recording (S23).
映像の録画および音声データの録音を終了すると，マーケティング装置１の制御部１０は，まず，メモリ１７に録画した映像に含まれる顔画像をマーケティング装置１の人物属性推定部１５に引き渡し，メモリ１７に録画した映像に含まれる顔画像に対応する人物属性を推定する人物属性推定処理（Ｓ２４）を実行する。 When the video recording and the audio data recording are finished, the control unit 10 of the marketing device 1 first passes the face image included in the video recorded in the memory 17 to the person attribute estimation unit 15 of the marketing device 1, and then to the memory 17. A person attribute estimation process (S24) for estimating a person attribute corresponding to the face image included in the recorded video is executed.
次に，マーケティング装置１の制御部１０は，顔画像を検出してから顔画像が検出できなくなるまでの区間である顔検出区間に映像撮影部１２が撮影した映像を表情感情解析部１１に引き渡し，顔検出区間における被験者２の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを表情感情解析部１１から取得する表情感情解析処理（Ｓ２５）を実行する。 Next, the control unit 10 of the marketing device 1 delivers the video imaged by the video imaging unit 12 to the facial expression emotion analysis unit 11 in the face detection section, which is a section from when the face image is detected until the face image cannot be detected. Then, the facial expression emotion analysis process (S25) is executed to acquire facial expression emotion analysis data indicating the change over time of the emotion category corresponding to the facial expression of the subject 2 in the face detection section from the facial expression emotion analysis unit 11.
次に，マーケティング装置１の制御部１０は，顔検出区間に音声受信部１４が撮影した音声を音声感情解析部１３に引き渡し，顔検出区間における被験者２の音声に対応する感情カテゴリの経時変化を示す音声感情解析データを音声感情解析部１３から取得する音声感情解析処理（Ｓ２６）を実行する。 Next, the control unit 10 of the marketing device 1 passes the voice captured by the voice receiving unit 14 to the voice emotion analysis unit 13 in the face detection section, and changes the emotion category corresponding to the voice of the subject 2 in the face detection section over time. The voice emotion analysis process (S26) for acquiring the voice emotion analysis data shown from the voice emotion analysis unit 13 is executed.
次に，マーケティング装置１の制御部１０は，Ｓ２２でメモリ１７に記憶した試供品提供時間，人物属性推定処理（Ｓ２４）で得られた人物属性，表情感情解析処理（Ｓ２５）で得られた表情感情解析データおよび音声感情解析処理（Ｓ２６）で得られた音声感情解析データを試供品の評価情報としてサーバへ送信して（Ｓ２７），この手順は終了する。 Next, the control unit 10 of the marketing apparatus 1 compares the free sample provision time stored in the memory 17 in S22, the human attribute obtained in the human attribute estimation process (S24), and the facial expression obtained in the facial expression analysis process (S25). The emotion analysis data and the voice emotion analysis data obtained in the voice emotion analysis process (S26) are transmitted to the server as evaluation information of the sample (S27), and this procedure ends.
被験者２の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを試供品の評価情報に含ませることで，被験者２が行動で示した感情の変化を時系列で分析でき，被験者２の音声に対応する感情カテゴリの経時変化を示す音声感情解析データを試供品の評価情報に含ませることで，被験者２の発話で示した感情の変化を時系列で分析できる。また，表情感情解析データと音声感情解析データの２つを試供品の評価情報に含ませることで，表情に基づく感情カテゴリが音声に基づく感情カテゴリと一致しているか否かなど，音声に基づく感情カテゴリを利用して表情に基づく感情カテゴリを分析できる。更に，試供品の評価情報に試供品提供時間を含ませることで，試供品を提供する前の被験者２の感情と，試供品を提供した後の被験者２の感情の変化を分析できる。更に，被験者２の人物属性を試供品の評価情報に含ませることで，人物属性に基づいて被験者２の感情を分析できる。 By including facial expression emotion analysis data indicating the change in emotion category corresponding to the facial expression of the subject 2 in the evaluation information of the sample, the emotional change that the subject 2 showed in the behavior can be analyzed in time series. By including the voice emotion analysis data indicating the temporal change of the emotion category corresponding to the voice in the evaluation information of the sample, the emotion change indicated by the utterance of the subject 2 can be analyzed in time series. In addition, by including both facial expression emotion analysis data and voice emotion analysis data in the evaluation information of the sample, emotions based on voice, such as whether the emotion category based on facial expressions matches the emotion category based on speech, etc. Emotion category based on facial expressions can be analyzed using categories. Furthermore, by including the sample provision time in the evaluation information of the sample, it is possible to analyze the emotion of the subject 2 before providing the sample and the change in the emotion of the subject 2 after providing the sample. Furthermore, by including the person attribute of the subject 2 in the evaluation information of the sample, the emotion of the subject 2 can be analyzed based on the person attribute.
１ マーケティング装置
１０ 制御部
１１ 表情感情解析部
１２ 映像撮影部
１２ａ カメラ
１３ 音声感情解析部
１４ 音声受信部
１４ａ マイク
１５ 人物属性推定部
１６ 試供品提供部
２ 被験者
DESCRIPTION OF SYMBOLS 1 Marketing apparatus 10 Control part 11 Facial expression analysis part 12 Image | video imaging part 12a Camera 13 Voice emotion analysis part
14 Voice receiving unit 14a Microphone 15 Person attribute estimating unit 16 Free sample providing unit 2 Subject
Claims (3)
マイクを用いて被験者の音声を受信する音声受信部と，
前記映像撮影部が撮影した映像に含まれる顔画像を時系列で表情解析し，被験者の表情に対応する感情カテゴリの経時変化を示す表情感情解析データを生成する表情感情解析部と，
前記音声受信部が受信した音声を時系列で音声認識し，被験者が発した単語に対応する感情カテゴリの経時変化を示す音声感情解析データを生成する音声感情解析部と，
前記映像撮影部が撮影した映像から被験者の顔画像を検出する処理を行い，顔画像を検出してから顔画像が検出できなくなるまでの顔検出区間で前記映像撮影部が撮影した映像を前記表情感情解析部に引き渡し，前記顔検出区間における前記表情感情解析データを試供品の評価情報の一つとして取得する処理と，前記顔検出区間に前記音声受信部が受信した音声を前記音声感情解析部に引き渡し，前記顔検出区間における前記音声感情解析データを試供品の評価情報の一つとして取得する処理を実行する制御部と，
を備えたことを特徴とするマーケティング装置。 A video shooter that shoots the video of the subject using a camera;
A voice receiver that receives the voice of the subject using a microphone;
A facial expression emotion analysis unit that performs facial expression analysis of face images included in the video captured by the video photographing unit in a time series, and generates facial expression emotion analysis data indicating a temporal change in an emotion category corresponding to the facial expression of the subject;
A voice emotion analysis unit for recognizing the voice received by the voice reception unit in time series and generating voice emotion analysis data indicating a temporal change in an emotion category corresponding to a word uttered by a subject;
A process of detecting the face image of the subject from the image captured by the image capturing unit is performed, and the image captured by the image capturing unit in the face detection section from when the face image is detected until the face image cannot be detected is expressed as the expression A process of handing over to the emotion analysis unit and acquiring the expression emotion analysis data in the face detection section as one of evaluation information of a sample; and a voice received by the voice reception unit in the face detection section A control unit that executes a process of acquiring the voice emotion analysis data in the face detection section as one of evaluation information of a sample;
A marketing device characterized by comprising:
A personal attribute estimation unit for estimating a personal attribute based on a face image, wherein the control unit causes the personal attribute estimation unit to estimate a personal attribute based on a face image detected from a video captured by the video imaging unit; The marketing apparatus according to claim 1 or 2, wherein the person attribute estimated by the person attribute estimation unit is included in the evaluation information on the sample of the subject photographed by the unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016251931A JP6825357B2 (en) | 2016-12-26 | 2016-12-26 | Marketing equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016251931A JP6825357B2 (en) | 2016-12-26 | 2016-12-26 | Marketing equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018106419A true JP2018106419A (en) | 2018-07-05 |
| JP6825357B2 JP6825357B2 (en) | 2021-02-03 |
Family
ID=62784594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016251931A Active JP6825357B2 (en) | 2016-12-26 | 2016-12-26 | Marketing equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6825357B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399837A (en) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | User emotion recognition methods, device and computer readable storage medium |
| CN113823323A (en) * | 2021-09-30 | 2021-12-21 | 深圳万兴软件有限公司 | Audio processing method and device based on convolutional neural network and related equipment |
| JP7283336B2 (en) | 2019-09-30 | 2023-05-30 | 富士通株式会社 | IMPRESSION ESTIMATION METHOD, IMPRESSION ESTIMATION PROGRAM AND IMPRESSION ESTIMATION DEVICE |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006012171A (en) * | 2004-06-24 | 2006-01-12 | Hitachi Ltd | System and method for using biometrics to manage review |
| JP2013171494A (en) * | 2012-02-22 | 2013-09-02 | Sony Corp | Image processing device, method, and program |
| JP2015018301A (en) * | 2013-07-09 | 2015-01-29 | 株式会社リコー | Sales support terminal, program, and information processing method |
| JP2016149063A (en) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | Emotion estimation system and emotion estimation method |
-
2016
- 2016-12-26 JP JP2016251931A patent/JP6825357B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006012171A (en) * | 2004-06-24 | 2006-01-12 | Hitachi Ltd | System and method for using biometrics to manage review |
| JP2013171494A (en) * | 2012-02-22 | 2013-09-02 | Sony Corp | Image processing device, method, and program |
| JP2015018301A (en) * | 2013-07-09 | 2015-01-29 | 株式会社リコー | Sales support terminal, program, and information processing method |
| JP2016149063A (en) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | Emotion estimation system and emotion estimation method |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399837A (en) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | User emotion recognition methods, device and computer readable storage medium |
| CN110399837B (en) * | 2019-07-25 | 2024-01-05 | 深圳智慧林网络科技有限公司 | User emotion recognition method, device and computer readable storage medium |
| JP7283336B2 (en) | 2019-09-30 | 2023-05-30 | 富士通株式会社 | IMPRESSION ESTIMATION METHOD, IMPRESSION ESTIMATION PROGRAM AND IMPRESSION ESTIMATION DEVICE |
| CN113823323A (en) * | 2021-09-30 | 2021-12-21 | 深圳万兴软件有限公司 | Audio processing method and device based on convolutional neural network and related equipment |
| CN113823323B (en) * | 2021-09-30 | 2023-12-12 | 深圳万兴软件有限公司 | Audio processing method and device based on convolutional neural network and related equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6825357B2 (en) | 2021-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6596899B2 (en) | Service data processing apparatus and service data processing method | |
| CN112328999B (en) | Double-recording quality inspection method and device, server and storage medium | |
| CN109460752B (en) | Emotion analysis method and device, electronic equipment and storage medium | |
| US20170364854A1 (en) | Information processing device, conduct evaluation method, and program storage medium | |
| EP1520242A1 (en) | Measurement of content ratings through vision and speech recognition | |
| US20180047030A1 (en) | Customer service device, customer service method, and customer service system | |
| JP5874886B1 (en) | Service monitoring device, service monitoring system, and service monitoring method | |
| JP6825357B2 (en) | Marketing equipment | |
| CN109168052B (en) | Method and device for determining service satisfaction degree and computing equipment | |
| CN112233690B (en) | Double recording method, device, terminal and storage medium | |
| JP2017009825A (en) | Conversation state analyzing device and conversation state analyzing method | |
| CN111353804A (en) | Service evaluation method, device, terminal equipment and medium | |
| CN111885375A (en) | Method, device, server and system for testing double-recorded video | |
| CN112990540A (en) | Skin care product efficacy evaluation and prediction system and method | |
| KR101738057B1 (en) | System for building social emotion network and method thereof | |
| CN103594086B (en) | Speech processing system, device and method | |
| JP7146373B2 (en) | Customer service system | |
| CN111210818B (en) | Word acquisition method and device matched with emotion polarity and electronic equipment | |
| JP5803617B2 (en) | Speech information analysis apparatus and speech information analysis program | |
| JP7206741B2 (en) | HEALTH CONDITION DETERMINATION SYSTEM, HEALTH CONDITION DETERMINATION DEVICE, SERVER, HEALTH CONDITION DETERMINATION METHOD, AND PROGRAM | |
| WO2016038872A1 (en) | Information processing device, display method, and program storage medium | |
| CN113409822B (en) | Object state determining method and device, storage medium and electronic device | |
| JP7021488B2 (en) | Information processing equipment and programs | |
| JP2020071852A5 (en) | Information processing equipment, information processing system, and learning equipment | |
| CN113544700A (en) | Neural network training method and device, and associated object detection method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191030 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6825357 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |