JP2019070934A - 映像処理装置、映像処理方法およびプログラム - Google Patents
映像処理装置、映像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2019070934A JP2019070934A JP2017196383A JP2017196383A JP2019070934A JP 2019070934 A JP2019070934 A JP 2019070934A JP 2017196383 A JP2017196383 A JP 2017196383A JP 2017196383 A JP2017196383 A JP 2017196383A JP 2019070934 A JP2019070934 A JP 2019070934A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- video data
- customer service
- data
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 60
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 230000006399 behavior Effects 0.000 claims description 42
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Abstract
Description
I/F部8は、例えばLAN(Local Area Network)とのインタフェースであり、ハブ(HUB)などを経由して、映像処理装置1を外部ネットワーク(インターネット等)やクラウドコンピューティングシステム等に接続可能とする。
集計部13は、カウント部12の出力を集計し、平均接客回数などを算出する。
前処理部112は、フレーム記憶部115に蓄積された過去の画像フレーム115aと、フレーム取得部111により処理された画像フレームを用いて前処理を行う。すなわち前処理部112は、映像データを前処理して、フレーム間のオプティカルフローと勾配(Gradient)を算出し、特徴量抽出部113への入力に対応したデータとして整形する。
次に、上記構成を基礎として、複数の実施の形態について説明する。
図6は、映像処理装置1の処理を表すフローチャートである。図6において、映像処理装置1は、解析部11に映像データを入力する(ステップS21)。解析部11は、入力された映像データを解析し、フレーム毎の行動判定結果を数値化して出力する(ステップS22)。つまり解析部11は、従業員の接客行動を含むシーン(またはフレーム)を判別し、その結果を出力する(ステップS22)。
図7において、特徴量抽出部113は、機械学習モデル116aをモデル記憶部116からRAM3の記憶領域に読み込む(ステップS31)。また、フレーム取得部111は、画像フレーム115aから1つのフレームを切り出し(ステップS32)、時系列の画像フレームの履歴を時刻情報(タイムスタンプ)とともにフレーム記憶部115に記憶する(ステップS33)。
第2の実施形態では、自動カウントされた接客回数を、店舗再訪率向上のためのコンサルティングに活かすための技術について説明する。
例えば図2において、映像処理に用いるプログラム6aが記憶部6に記憶されているとしたが、これに限定される必要はない。例えば、映像処理装置1が実行するプログラムを、ネットワーク上のサーバ(図示せず)に保持しても良い。この場合、映像処理装置1が映像処理を実行する際に、種々のプログラムがネットワーク上のサーバから映像処理装置1に配信される。そして種々のプログラムを受信した映像処理装置1は、これらのプログラムをRAM3(図1)に展開して、映像処理を実行する。
(付記1)
映像データを解析可能なプロセッサと、メモリとを具備し、
前記プロセッサは、
店舗の営業シーンの映像データを解析して、従業員の接客行動を含むシーンを判別し、
前記接客行動を含むと判別された回数をカウントし、
前記回数を前記メモリに記憶させる、映像処理装置。
店舗の営業シーンを含む映像ファイルを解析して、従業員の接客行動を含むシーンにタグ付けしたタグ付き映像ファイルを出力する解析部と、
前記タグ付き映像ファイルの前記タグの数をカウントするカウント部と、
前記カウントされたタグの数を記憶する記憶部とを具備する、映像処理装置。
Claims (13)
- 店舗の営業シーンの映像データを解析して、従業員の接客行動を含むシーンを判別する解析部と、
前記解析部により前記接客行動を含むと判別された回数をカウントするカウント部と、
前記回数を記憶する記憶部とを具備する、映像処理装置。 - 前記解析部は、
前記映像データからフレーム単位で特徴量を抽出する特徴量抽出部と、
前記抽出された特徴量に基づいて、前記接客行動を含むシーンを判別する判別部とを備える、請求項1に記載の映像処理装置。 - 前記特徴量抽出部は、
前記映像データに基づくベクトルデータを入力される入力層と、前記特徴量を出力する出力層とを備え、機械学習モデルに基づく畳み込み演算により前記特徴量を得るニューラルネットワークを備える、請求項2に記載の映像処理装置。 - 前記解析部は、
前記映像データを前処理して、前記映像データの画像フレームと、前記画像フレーム間のオプティカルフローと、前記画像フレーム間の勾配とを含む複数次元のベクトルデータを生成して前記入力層に入力する前処理部をさらに具備する、請求項3に記載の映像処理装置。 - 前記前処理部は、前記映像データを前処理して、前記ベクトルデータの時系列データを生成して前記入力層に入力する、請求項4に記載の映像処理装置。
- 前記ニューラルネットワークは、畳み込みニューラルネットワークおよび再帰型ニューラルネットワークの少なくともいずれかを含む、請求項3乃至5のいずれか1項に記載の映像処理装置。
- コンピュータが、店舗の営業シーンの映像データを解析して、従業員の接客行動を含むシーンを判別する解析過程と、
前記コンピュータが、前記解析過程において前記接客行動を含むと判別された回数をカウントする過程と、
前記コンピュータが、前記回数を記憶する過程とを具備する、映像処理方法。 - 前記解析過程は、
前記コンピュータが、前記映像データからフレーム単位で特徴量を抽出する特徴量抽出過程と、
前記コンピュータが、前記抽出された特徴量に基づいて、前記接客行動を含むシーンを判別する過程とを備える、請求項7に記載の映像処理方法。 - 前記特徴量抽出過程は、前記映像データに基づくベクトルデータを入力される入力層と、前記特徴量を出力する出力層とを備え、機械学習モデルに基づく畳み込み演算により前記特徴量を得るニューラルネットワークにより前記特徴量を抽出する、請求項8に記載の映像処理方法。
- 前記解析過程は、
前記コンピュータが、前記映像データを前処理して、前記映像データの画像フレームと、前記画像フレーム間のオプティカルフローと、前記画像フレーム間の勾配とを含む複数次元のベクトルデータを生成して前記入力層に入力する前処理過程をさらに具備する、請求項9に記載の映像処理方法。 - 前記前処理過程は、前記コンピュータが、前記映像データを前処理して、前記ベクトルデータの時系列データを生成して前記入力層に入力する、請求項10に記載の映像処理方法。
- 前記ニューラルネットワークは、畳み込みニューラルネットワークおよび再帰型ニューラルネットワークの少なくともいずれかを含む、請求項9乃至11のいずれか1項に記載の映像処理方法。
- コンピュータを、
店舗の営業シーンの映像データを解析して、従業員の接客行動を含むシーンを判別する解析部として機能させるための命令と、
前記解析部により前記接客行動を含むと判別された回数をカウントするカウント部として機能させるための命令と、
前記回数を記憶する記憶部として機能させるための命令とを含む、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017196383A JP2019070934A (ja) | 2017-10-06 | 2017-10-06 | 映像処理装置、映像処理方法およびプログラム |
JP2022126537A JP2022145822A (ja) | 2017-10-06 | 2022-08-08 | 映像処理装置、映像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017196383A JP2019070934A (ja) | 2017-10-06 | 2017-10-06 | 映像処理装置、映像処理方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022126537A Division JP2022145822A (ja) | 2017-10-06 | 2022-08-08 | 映像処理装置、映像処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019070934A true JP2019070934A (ja) | 2019-05-09 |
Family
ID=66441608
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017196383A Pending JP2019070934A (ja) | 2017-10-06 | 2017-10-06 | 映像処理装置、映像処理方法およびプログラム |
JP2022126537A Pending JP2022145822A (ja) | 2017-10-06 | 2022-08-08 | 映像処理装置、映像処理方法およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022126537A Pending JP2022145822A (ja) | 2017-10-06 | 2022-08-08 | 映像処理装置、映像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP2019070934A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114764946A (zh) * | 2021-09-18 | 2022-07-19 | 北京甲板智慧科技有限公司 | 基于时序标准化的动作计数方法、系统和智能终端 |
US11685405B2 (en) | 2020-04-06 | 2023-06-27 | Toyota Jidosha Kabushiki Kaisha | Vehicle controller, method, and computer program for vehicle trajectory planning and control based on other vehicle behavior |
US11776277B2 (en) | 2020-03-23 | 2023-10-03 | Toyota Jidosha Kabushiki Kaisha | Apparatus, method, and computer program for identifying state of object, and controller |
US11829153B2 (en) | 2020-04-06 | 2023-11-28 | Toyota Jidosha Kabushiki Kaisha | Apparatus, method, and computer program for identifying state of object, and controller |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000242789A (ja) * | 1999-02-22 | 2000-09-08 | Atr Media Integration & Communications Res Lab | 動作識別装置およびコンピュータを動作識別装置として機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体 |
JP2016071414A (ja) * | 2014-09-26 | 2016-05-09 | 富士ゼロックス株式会社 | 情報提示プログラム及び情報処理装置 |
JP2016076092A (ja) * | 2014-10-07 | 2016-05-12 | パナソニックIpマネジメント株式会社 | 活動状況分析システム、活動状況分析装置、活動状況分析方法、活動状況分析プログラムおよびそのプログラムを格納する記憶媒体 |
WO2017078744A1 (en) * | 2015-11-05 | 2017-05-11 | Facebook, Inc. | Systems and methods for processing content using convolutional neural networks |
WO2017155663A1 (en) * | 2016-03-11 | 2017-09-14 | Qualcomm Incorporated | Recurrent networks with motion-based attention for video understanding |
WO2017168487A1 (ja) * | 2016-03-28 | 2017-10-05 | 株式会社日立製作所 | 接客評価支援システムおよび接客評価支援方法 |
-
2017
- 2017-10-06 JP JP2017196383A patent/JP2019070934A/ja active Pending
-
2022
- 2022-08-08 JP JP2022126537A patent/JP2022145822A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000242789A (ja) * | 1999-02-22 | 2000-09-08 | Atr Media Integration & Communications Res Lab | 動作識別装置およびコンピュータを動作識別装置として機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体 |
JP2016071414A (ja) * | 2014-09-26 | 2016-05-09 | 富士ゼロックス株式会社 | 情報提示プログラム及び情報処理装置 |
JP2016076092A (ja) * | 2014-10-07 | 2016-05-12 | パナソニックIpマネジメント株式会社 | 活動状況分析システム、活動状況分析装置、活動状況分析方法、活動状況分析プログラムおよびそのプログラムを格納する記憶媒体 |
WO2017078744A1 (en) * | 2015-11-05 | 2017-05-11 | Facebook, Inc. | Systems and methods for processing content using convolutional neural networks |
JP2018534710A (ja) * | 2015-11-05 | 2018-11-22 | フェイスブック,インク. | 畳み込みニューラル・ネットワークを使用してコンテンツを処理するシステムおよび方法 |
WO2017155663A1 (en) * | 2016-03-11 | 2017-09-14 | Qualcomm Incorporated | Recurrent networks with motion-based attention for video understanding |
JP2019509566A (ja) * | 2016-03-11 | 2019-04-04 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ビデオ理解のための動きベースアテンションを用いたリカレントネットワーク |
WO2017168487A1 (ja) * | 2016-03-28 | 2017-10-05 | 株式会社日立製作所 | 接客評価支援システムおよび接客評価支援方法 |
Non-Patent Citations (2)
Title |
---|
"Special Interview 膨大・雑多な情報を「ビジネス価値」へと変換 ビッグデータ利活用の", 日経コンピュータ, vol. 第829号, JPN6022018091, 7 March 2013 (2013-03-07), JP, pages 48 - 51, ISSN: 0004765469 * |
"拡充進むビッグデータ関連サービス大手IT、得意技で競う", ビッグデータ革命が変える企業経営, vol. 第1巻, JPN6022018090, 24 December 2012 (2012-12-24), JP, pages 34 - 36, ISSN: 0004765470 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11776277B2 (en) | 2020-03-23 | 2023-10-03 | Toyota Jidosha Kabushiki Kaisha | Apparatus, method, and computer program for identifying state of object, and controller |
US11685405B2 (en) | 2020-04-06 | 2023-06-27 | Toyota Jidosha Kabushiki Kaisha | Vehicle controller, method, and computer program for vehicle trajectory planning and control based on other vehicle behavior |
US11829153B2 (en) | 2020-04-06 | 2023-11-28 | Toyota Jidosha Kabushiki Kaisha | Apparatus, method, and computer program for identifying state of object, and controller |
CN114764946A (zh) * | 2021-09-18 | 2022-07-19 | 北京甲板智慧科技有限公司 | 基于时序标准化的动作计数方法、系统和智能终端 |
CN114764946B (zh) * | 2021-09-18 | 2023-08-11 | 北京甲板智慧科技有限公司 | 基于时序标准化的动作计数方法、系统和智能终端 |
Also Published As
Publication number | Publication date |
---|---|
JP2022145822A (ja) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nwosu et al. | Predicting stroke from electronic health records | |
JP2022145822A (ja) | 映像処理装置、映像処理方法およびプログラム | |
US20240086971A1 (en) | Systems, methods, and storage media for training a machine learning model | |
US10521734B2 (en) | Machine learning predictive labeling system | |
WO2021027260A1 (zh) | 处理交互序列数据的方法及装置 | |
US11055317B2 (en) | Methods and systems for determining and outputting correlations between metrics in a web analytic dataset | |
WO2022113439A1 (ja) | データ解析装置、データ解析方法 | |
CN109168052B (zh) | 服务满意度的确定方法、装置及计算设备 | |
JP5780348B1 (ja) | 情報提示プログラム及び情報処理装置 | |
WO2021068781A1 (zh) | 一种疲劳状态识别方法、装置和设备 | |
US20170344834A1 (en) | Facility use measuring device and facility use measuring system | |
Alazab et al. | Maximising competitive advantage on E-business websites: A data mining approach | |
JP2019528538A (ja) | 複数のデータストリームにリアルタイムアナリティクスを実行する方法及びシステム | |
JPWO2018008203A1 (ja) | シミュレーション装置、シミュレーションシステム、及びシミュレーション方法 | |
US20190197578A1 (en) | Generating significant performance insights on campaigns data | |
WO2018061623A1 (ja) | 評価装置及び評価方法 | |
CN108898067B (zh) | 确定人和物关联度的方法、装置及计算机可读存储介质 | |
JP2020067720A (ja) | 人属性推定システム、それを利用する情報処理装置及び情報処理方法 | |
JP6733766B1 (ja) | 解析装置、制御方法、及びプログラム | |
US11854369B2 (en) | Multi-computer processing system for compliance monitoring and control | |
Amirian et al. | Data science and analytics | |
Li et al. | Correlating stressor events for social network based adolescent stress prediction | |
US20160343071A1 (en) | Systems and methods for generating communication data analytics | |
Kilinc et al. | Do machine learning and business analytics approaches answer the question of ‘will your Kickstarter project be successful? | |
Manocha et al. | IoT Analytics-inspired Real-time Monitoring for Early Prediction of COVID-19 Symptoms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20171106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20171106 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201002 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211203 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220510 |