JP2019191718A - 役務動作分析評価システム - Google Patents

Abstract

【課題】従業者の役務動作について、客観的な技術として抽出し、属人的要素に頼らず効果的に伝達することを目的として、本発明は、あらゆる業種における従業者の役務動作について、半自動的又は自動的に、小単位の動作に分解し、分類・類型化し、その巧拙を分析及び評価するシステムを提供する。
【解決手段】様々な業種における従業者の一連の役務動作を撮影した動画から、単位動作を検出・特定して切り出し、当該単位動作に対して、蓄積された評価基準データベースに基づき、分類・類型化し、その巧拙を分析し評価するシステム。
【選択図】図１

Description

本発明は、従業者が行う役務の動作・所作・処理・言動などを半自動的又は自動的に分類・類型化し、その巧拙を分析及び評価する役務動作分析評価システムに関するものである。

本明細書において、従業者が業務上、対象物・対象者に対して行う動作・所作・処理・言動など（以下「動作」と総称する。）を「役務動作」と称する。

サービス業などにおいて、顧客に対する接客の質を向上することが重要である。顧客は、自身を接客する従業者の動作・所作・言動・振る舞いなどの質が高ければ、高い満足感を得ることができ、その後の購買行動や再訪に繋がる。
サービス業では、接客の重要性を十分認識しており、従業者に教育・研修を施したり、人事評価におけるインセンティブを設定するなどして、接客の質を向上することに取り組んでいる。
また、サービス業以外の業種、例えば、物を作ったり、処理したりする業種、情報を伝達する業種などにおいても、同様のことが当てはまる。

しかしながら、サービス業における接客を始めとする役務動作の質、良し悪しは、属人的な要素に基づくところが大きく、客観的な技術として抽出し伝達することが容易ではない。ある熟練した従業者の上手な役務動作を、他の従業者も同様にすることができるように教育・訓練しようとするが、これを属人的要素に頼らず、客観的かつ効果的に行う方法は見つかっていない。

同様な観点からの試みとして、特許文献１には、人の会話の巧みさを分析する手法が提案されている。この文献では、収集した発話者の音声から重要語を抽出する一方で、受話者の顔表情と頭部の動きを撮影して笑顔時間及び頷き回数を認識し、さらには、会話のトーン及びテンポを分析し、これらの情報に基づいて、会話の巧みさを判定するシステムが提案されている。

特開２０１６−１０３０８１号公報（特許請求の範囲等）

しかしながら、特許文献１に提案されている会話分析システムにおいては、一定時間にわたる会話についての巧拙を自動的に判定することができるものの、個々の役務動作に関連する会話部分を分別して抽出したり、その巧拙を判定したりすることはできない。
このほか、役務動作の質を向上するための様々な取り組みがなされてきたが、これらの動作を類型化したり、客観的指標に基づいて分析することは、行われていなかった。

そこで、従業者の役務動作について、客観的な技術として抽出し、属人的要素に頼らず効果的に伝達することを目的として、本発明は、あらゆる業種における従業者の役務動作について、半自動的又は自動的に、小単位の動作に分解し、分類・類型化し、その巧拙を分析及び評価する仕組みをコンピュータシステムによって実現しようとするものである。
尚、ここで言う「小単位の動作」とは、一連の役務動作の中から抽出して分類・類型化し得る小単位の動作（以下、「単位動作」という）である。

上記解決課題に鑑みて鋭意研究の結果、本発明者は、様々な業種における従業者の一連の役務動作を撮影した動画から、単位動作を検出・特定して切り出し、当該単位動作に対して、蓄積された評価基準データベースに基づき、分類・類型化し、その巧拙を分析し評価するシステムが構築可能であることに想到した。

すなわち、本発明は、動画に含まれる役務動作を動画片の単位で分析評価する解析サーバと、分析評価された動画片を記憶する蓄積データベースとからなる動作分析評価システムであって、前記解析サーバは、役務動作を撮影した動画を取得する動画取得部と、前記取得した動画から役務の単位動作を認識し、当該単位動作を含む動画片として抽出する動画片抽出部と、前記抽出した動画片に含まれる単位動作の種類を特定し、当該単位動作の巧拙について所定の基準を満たすか否かを評価する動画片評価部と、所定の基準を満たすと評価された動画片を前記蓄積サーバに送信する評価結果出力部と、を有していることを特徴とする動作分析評価システムを提供するものである。

本発明の動作分析評価システムにおいて、前記解析サーバの前記動作分析評価システムは、種類を特定した単位動作に当該種類であることを示すタグ付与することを特徴とする。
これにより、役務動作の種類別に分別して蓄積データベースに蓄積することができ、利便性の高い蓄積データが得られることになる。

本発明の動作分析評価システムにおいて、前記解析サーバの前記評価結果出力部は、動画片の評価結果を出力することを特徴とする。例えば、動画片の評価結果として、動画から取得された動画片について
・全動画片の所定基準のクリア率
・単位動作の種類別の所定基準のクリア率
・時間帯別の所定基準のクリア率
・単位動作の実施者別の所定基準のクリア率
のうち１つ以上を出力することができる。
これにより、本システム利用者は、評価対象である現場で行われている役務の問題点を客観的に把握することができる。

本発明の動作分析評価システムにおいて、前記解析サーバの動画片抽出部は、動画片に含まれる音声を認識し抽出することを特徴とする。
これにより、発話・会話も含めた役務動作の動画片として評価し蓄積することが可能となる。

本発明の動作分析評価システムにおいて、前記解析サーバの動画片抽出部は、蓄積データベースに記憶された動画片を読み込み、前記取得した動画から役務の単位動作を認識する処理の精確度を向上するための学習を行うことを特徴とする。
本発明の動作分析評価システムにおいて、前記解析サーバの動画片評価部は、蓄積データベースに記憶された動画片を読み込み、前記抽出した動画片に含まれる単位動作の種類を特定する処理の精確度を向上するための学習を行うことを特徴とする。
本発明の動作分析評価システムにおいて、前記解析サーバの動画片評価部は、蓄積データベースに記憶された動画片を読み込み、前記種類が特定された動画片に含まれる単位動作の巧拙を評価する処理の精確度を向上するための学習を行うことを特徴とする。
これらの学習機能により、本システムは稼働すればするほど、処理の精確度が向上し、より価値の高い動画片が蓄積されることになる。

本発明の動作分析評価システムは、特に、前記役務動作として、接客業における接客動作を対象とする場合や、飲食業における調理動作を対象とする場合、医療業、介護業又は美理容業における顧客の身体に対して物理的に行う動作を対象とする場合などにおいて、高い効果を発揮するものである。

以上、説明したように、本発明の動作分析評価システムによれば、様々な業種における従業者の役務動作を撮影した動画から、役務の単位動作を検出・特定して切り出し、当該単位動作に対して、蓄積された評価基準データベースに基づき、その巧拙を分析し評価することが可能となる。これにより、役務が行われる現場における従業者の働き具合、行動の傾向、パフォーマンスなどを把握することができ、それらの情報をもって役務の質の向上に資することができる。

本発明の動作分析評価システムが適用される場所の一例として、店舗の概観を示す図である。 図１に示すビデオカメラａ〜ｃにより撮影された動画から接客の単位動作を抽出することを概念的に示す図である。 本発明の動作分析評価システムの全体構成を概略的に示す図である。 図３に示す解析サーバの内部構成を示す機能ブロック図である。 図３、図４に示す解析サーバによる動画分析評価処理の流れを示すフロー図である。 蓄積データベースにおいて蓄積される動画片及び付加情報のデータ形式の例示する図である。 図３、図４に示す解析サーバの動画片評価部による評価結果情報の出力画面の一例を模式的に示す図である。

以下、添付図面を参照しながら、本発明の動作分析評価システムを実施するための最良の形態として、小売業における小売店舗での接客動作を対象とした動作分析評価システムを例に挙げて、詳細に説明する。図１〜図７は、本発明の実施の形態を例示する図であり、これらの図において、同一の符号を付した部分は同一物を表わし、基本的な構成及び動作は同様であるものとする。

システムの概略
本発明の動作分析評価システムの概念を概略的に説明する。
図１は、本発明の動作分析評価システムが適用される場所の一例として、店舗の概観を示す図である。
図１において、店舗には、店内を撮影するビデオカメラａ〜ｃが設置されている。店員Ａ〜Ｃは、ビデオカメラに容易に識別されるような識別子を携帯している。ビデオカメラａ〜ｃは、店員の識別子を追尾して撮影方向を変えながら撮影を行うことができる。
図中、店員Ａは、店舗入口付近に居て、来店客、退店客への対応を行う。例えば、来店客への挨拶、店内への誘導、退店客へのお礼などである。店員Ｂは、商品棚の商品を見ている客Ｂに付き添い、商品説明や、他の商品棚への誘導、レジカウンターへの誘導などを行う。店員Ｃは、レジカウンターに居て、客Ｃの商品購入の会計処理をしている。

上記の動作に限られず、店舗内における店員による接客動作が本システムの取り扱い対象となる。
また、ビデオカメラは複数台ではなく、一台で店舗内全体を撮影できるものを使用してもよい。
また、ビデオカメラによる店員の追尾は、識別子によらず、予め登録してある店員の顔や制服などをパターン認識で識別することで行うこともできる。
ビデオカメラにより撮影された動画データは店舗内の端末装置（図示せず）に蓄積される。あるいは、リアルタイムで解析サーバ（後述）に送信されるようにしてもよい。ビデオカメラ又は端末装置において、動画データに撮影場所情報、ビデオカメラ識別情報、映っている店員の識別情報（認識できれば）を付加する。

図２は、図１に示すビデオカメラａ〜ｃにより撮影された動画から接客の単位動作を１つずつ抽出することを概念的に示す図である。
図２に示すように、各動画中の、接客の単位動作として認識される部分の始点と終点を特定する。このようにして特定された単位動作の動画片が後の分析・評価の対象となる。

システム構成
図３は、本発明の動作分析評価システムの全体構成を概略的に示す図である。
図３において、本発明の動作分析評価システムは、接客動作を撮影するためのビデオカメラが設置された店舗と、店舗で撮影された動画を解析する解析サーバと、接客の単位動作の動画片が蓄積された蓄積データベースとから構成される。

図４は、図３に示す解析サーバの内部構成を示す機能ブロック図である。
図４において、解析サーバは、解析対象となる動画をシステム外部から取得する動画取得部と、取得した動画から１つ１つの単位動作の動画片を抽出する動画片抽出部と、抽出した動画片に含まれる単位動作の巧拙を評価する動画片評価部と、動画片の評価結果を出力する評価結果出力部と、システム管理者による操作入力を受け付ける管理者操作入力部と、これらのソフトウェア処理を行うために必要なデータ等を一時的に記憶する一次記憶部とから構成されている。

図５は、上記の解析サーバによる動画分析評価処理の流れを示すフロー図である。
図５を参照しながら、上記の解析サーバの各処理部による処理の流れと詳細を説明する。
動画取得部は、通信回線を通じて、店舗の端末装置ないしはビデオカメラからの、店舗で撮影された動画データの入力を受け付ける（ステップＳ１）。あるいは、動画取得部が能動的に動画データを取得してもよい。動画データの入力／取得のタイミングは、例えば、１日１回決まった時間に２４時間分の動画データを入力／取得する、ビデオカメラから常時リアルタイムで入力／取得する、など予め設定しておく。
動画片抽出部は、動画取得部において取得した動画データから、１つの単位動作を含む部分を認識し、動画片として抽出する（ステップＳ２）。この抽出は、接客の単位動作として認識される部分の始点と終点を特定し、その始点から終点までの動画データを複製することで行うことができる。尚、動画片抽出部は、抽出した動画片に含まれる会話・発話を音声データとして抽出してもよい。
動画片評価部は、動画片抽出部において抽出した動画片（及び音声データ、以下同様）に含まれる店員の単位動作の種類を特定し、当該種類の単位動作であることを示すタグを付加する（ステップＳ３）。続いて、動画片に含まれる単位動作の巧拙を評価する（ステップＳ４）。評価は、１００点満点の点数評価、５段階評価など、数値化できるものであればどのような方法でもよい。
評価結果出力部は、動画片評価部において種類特定、評価された動画片についての評価結果情報を出力する（ステップＳ５）。出力先は、システム管理者端末、店舗端末などである。出力の方式については後述する。続いて、当該動画片の評価が所定の基準以上であるか否かを判定する（ステップＳ６）。評価が所定基準に満たない場合、処理を終了する。評価が所定の基準以上である動画片については、蓄積データベースに送信する（ステップＳ７）。蓄積データベースでは、各種の単位動作の動画片であって評価が所定の基準以上であるものが蓄積されることになる。以上で、処理が終了する。
尚、ステップＳ７において、評価が所定基準に満たない動画片についても、低評価の動画片として蓄積データベースに蓄積して、後述する学習に役立てることもできる。
管理者操作入力部は、動画片抽出部及び動画片評価部の設定条件や動作条件を変更することができる。後述する動画片抽出、単位動作の種類特定、評価についての学習を行うよう指示することもできる。

蓄積データベースは、解析サーバから受信する動画片及び付加情報を蓄積する。解析サーバから受信する動画片以外の動画片を蓄積していてもよい。蓄積される動画片及び付加情報のデータ形式の例を図６に示す。
このように、蓄積データベースは、動作の種類ごとに分類された、一定以上の評価を有する接客の単位動作の動画片を蓄積したものである。これらの動画片は、接客業の従業者にとっての接客動作のお手本・教材（類型化、標準化された接客動作の動画片ワンセット）として活用することができるほか、後述するように、解析サーバの、動画片評価部及び動画片評価部の処理性能向上のための学習素材として利用することができる。

蓄積データを利用した学習
本発明の動作分析評価システムにおいては、蓄積データベースに蓄積されている、動作の種類ごとに分類された、一定以上の評価を有する接客の単位動作の動画片を利用して、解析サーバの動画片抽出部及び動画片評価部を学習させることで、その機能を向上させるができる。以下の３つの処理について学習を行うことが可能である。
・動画片抽出部による動画片の抽出
・動画片評価部による単位動作の種類特定
・動画片評価部による動画片の評価
学習の方法は、既存の深層学習（Deep Learning）技術を利用することができる。例えば、下記の文献に記載の技術を利用できる。
高橋正樹（2011）「映像解析による人物動作理解に関する研究」総合研究大学院大学複合科学研究科博士論文

解析サーバの動画片抽出部及び動画片評価部は、外部から取得されるデータを利用して深層学習を行う機能を有している。システム管理者は、管理者操作入力部を用いて、動画片抽出部及び動画片評価部に対し、上記３つの学習を行うよう指示入力することができる。あるいは、動画片抽出部及び動画片評価部が定期的に予め設定した時間に学習を行うようにしてもよい。

動画片抽出部による動画片の抽出処理についての学習は、蓄積された多数の接客の単位動作の動画片を深層学習することで、動画データから接客の単位動作に相当する動画片を抽出する精確度（適当な動画片を漏らさず抽出し、かつ、不適当な動画片を抽出しないこと）を向上させることができる。
動画片抽出部による単位動作の種類特定処理についての学習は、蓄積された多数の特定種類の単位動作の動画片を深層学習することで、動画片に含まれる単位動作が当該種類のものであることを特定する精確度（不適当な種類特定をしないこと）を向上させることができる。
動画片評価部による動画片の評価処理についての学習は、蓄積された多数の特定種類の高評価の単位動作の動画片を深層学習することで、動画片に含まれる特定種類の単位動作に対する評価の精確度（単位動作の巧拙を精密に評価すること）を向上させることができる。

尚、蓄積データベースに蓄積された動画片の数が多く精確度（不適当な動画片が含まれる割合の低さ）が高いほど、学習の効果は高くなる。したがって、システム運用開始時には、蓄積データベースに予め精確度の高い動画片を一定数（数千〜数万本）蓄積しておくのが好ましい。
このようにして、蓄積データベースへの動画片の蓄積と、蓄積された動画片からの学習による解析処理の精確度の向上とが相乗的・重層的に行われることで、解析サーバの処理の質及び蓄積データベースの蓄積データの質が漸進的に向上することになる。

評価結果の出力例
本発明の動作分析評価システムにおける解析サーバの動画片評価部による評価結果情報の出力について、以下例示する。
図７は、解析サーバの動画片評価部による評価結果情報の出力画面の一例を模式的に示す図である。この例では、本システムの適用対象となる一店舗における従業者の動作分析評価の結果を表示している。画面には、店舗名、店舗設置のビデオカメラにより撮影した動画の延べ録音時間、動画から抽出された単位動作数（動画片数）、抽出された単位動作のうち所定の評価基準をクリアした単位動作数、抽出された単位動作のうち所定の評価基準をクリアした単位動作の割合を表示している。さらに、単位動作の種類ごとに、所定の評価基準をクリアした割合、時間帯別での単位動作が所定の評価基準をクリアした割合を示している。
このほか、例えば、時間帯別のあるいは単位時間当たりの抽出単位動作数や、動画中の抽出単位動作が占める時間的割合などを表示してもよい。また、これらの指標を従業者別に表示してもよい。
このように表示された評価結果情報により、特定の店舗における（特定の）従業者の働き具合、行動の傾向、パフォーマンスなどを把握することができ、これらは接客の質の向上のための基礎情報となるものである。

接客業以外の業種でのシステム適用例
本発明の動作分析評価システムの適用対象は、上に例示した小売業における小売店舗での接客動作に限られず、あらゆる業種の役務動作について適用可能である。
例えば、小売業以外の飲食業、宿泊施設、娯楽施設、運動施設、教育サービス、案内業、公共サービスなど、顧客に対して従業者が直接的に接客を行う場面を有するあらゆる接客業における接客動作についても、同様の仕組みで適用可能である。さらには、従業者が顧客に対して物理的な接触・働きかけ・処理をする医療、介護、美理容においても適用可能である。

また、役務の対象が客（人）ではなく物である業種についても適用可能である。例えば、物を作ったり、処理したりする業種においては、物を作る、物に変化を与える、物を操作する、整理する、清掃する、廃棄するなどの役務動作が存在し得るが、これらを本システムの適用対象とすることができる。あるいは、情報を伝達する業種などにおいても同様に適用が可能である。

以上、本発明の動作分析評価システムについて、具体的な実施の形態を示して説明したが、本発明はこれらに限定されるものではない。当業者であれば、本発明の要旨を逸脱しない範囲内において、上記各実施形態における解析サーバ、蓄積データベース、店舗端末、ビデオカメラなどの構成及び機能に様々な変更・改良を加えることが可能である。

本発明の動作分析評価システムは、図３〜６に示すように、コンピュータのＣＰＵ、メモリ、補助記憶装置、ディスプレイ、入力デバイス等を含むハードウェア資源上に構築されたＯＳ、アプリケーション、データベース、ネットワークシステム等によって実現されるものであり、１つの単位動作を含む動画片を抽出し、分類し、巧拙を評価し、蓄積するという情報処理が上記のハードウェア資源を用いて具体的に実現されるものであるから、自然法則を利用した技術的思想に該当するものであり、ソフトウェア産業において利用することができるものである。

Claims (11)

1. 動画に含まれる役務動作を動画片の単位で分析評価する解析サーバと、分析評価された動画片を記憶する蓄積データベースとからなる動作分析評価システムであって、
   前記解析サーバは、
   役務動作を撮影した動画を取得する動画取得部と、
   前記取得した動画から役務の単位動作を認識し、当該単位動作を含む動画片として抽出する動画片抽出部と、
   前記抽出した動画片に含まれる単位動作の種類を特定し、当該単位動作の巧拙について所定の基準を満たすか否かを評価する動画片評価部と、
   所定の基準を満たすと評価された動画片を前記蓄積サーバに送信する評価結果出力部と、
   を有していることを特徴とする動作分析評価システム。
2. 前記解析サーバの前記動作分析評価システムは、種類を特定した単位動作に当該種類であることを示すタグ付与することを特徴とする請求項１に記載の動作分析評価システム。
3. 前記解析サーバの前記評価結果出力部は、動画片の評価結果を出力することを特徴とすることを特徴とする請求項１又は２に記載の動作分析評価システム。
4. 前記解析サーバの前記評価結果出力部は、動画片の評価結果として、動画から取得された動画片について、全動画片の所定基準のクリア率、単位動作の種類別の所定基準のクリア率、時間帯別の所定基準のクリア率、単位動作の実施者別の所定基準のクリア率のうち少なくとも１つを出力することを特徴とする請求項３に記載の動作分析評価システム。
5. 前記解析サーバの動画片抽出部は、動画片に含まれる音声を認識し抽出することを特徴とする請求項１から４のいずれか１項に記載の動作分析評価システム。
6. 前記解析サーバの動画片抽出部は、蓄積データベースに記憶された動画片を読み込み、前記取得した動画から役務の単位動作を認識する処理の精確度を向上するための学習を行うことを特徴とする請求項１から５のいずれか１項に記載の動作分析評価システム。
7. 前記解析サーバの動画片評価部は、蓄積データベースに記憶された動画片を読み込み、前記抽出した動画片に含まれる単位動作の種類を特定する処理の精確度を向上するための学習を行うことを特徴とする請求項１から６のいずれか１項に記載の動作分析評価システム。
8. 前記解析サーバの動画片評価部は、蓄積データベースに記憶された動画片を読み込み、前記種類が特定された動画片に含まれる単位動作の巧拙を評価する処理の精確度を向上するための学習を行うことを特徴とする請求項１から７のいずれか１項に記載の動作分析評価システム。
9. 前記役務動作は、接客業における接客動作であることを特徴とする請求項１から８のいずれか１項に記載の動作分析評価システム。
10. 前記役務動作は、飲食業における調理動作であることを特徴とする請求項１から９のいずれか１項に記載の動作分析評価システム。
11. 前記役務動作は、医療業、介護業又は美理容業における顧客の身体に対して物理的に行う動作であることを特徴とする請求項１から９のいずれか１項に記載の動作分析評価システム。