CN1685380A - 远程教育系统、听讲确认方法及听讲确认程序 - Google Patents

Abstract

本发明提供一种可在远程教育中防止第三者使用录影影像等所进行的代替听讲，且可确认是否为正式听讲者在听讲的远程教育系统。远程教育系统(1)由Web服务器(10)、双向通信服务器(20)、内容发送服务器(30)、经营管理系统(40)、讲师终端(60)与通信线路连接机构(70)所构成，可通过互联网(2)对听讲者终端(101、102、…)提供远程教育。经营管理系统(40)具有登录有讲座课程、出席簿及听讲者个人信息、脸部画面与声音等的讲座信息数据库(50)，可进行讲座设定处理(41)、听讲登录处理(42)、讲座设定处理(43)、听讲确认处理(44)等。听讲确认处理(44)由听讲者画面取得处理(45)、脸部画面比对处理(46)、动作要求处理(47)与动作检测处理(48)所构成，可针对要求听讲者脸部画面比对的动作检测画面变化。

Description

远程教育系统、听讲确认方法及听讲确认程序

技术领域

本发明是涉及一种远程教育系统、听讲确认方法及听讲确认程序，是可以包含影像及声音的多媒体双向通信进行远程教育，特别是涉及具有可确认正式听讲者是否在听讲的听讲确认功能的远程教育系统、听讲确认方法及听讲确认程序。

背景技术

近年来，由于通信技术发达，以使用包含影像和声音的多媒体双向通信，使听讲者可自异地通过通信线路来接受教育的远程教育系统正开始实用化。

为了使该远程教育系统可逐渐受认同成为今后的正式教育方式，并可通过远程教育正式学分取得或资格认定，乃要求必须确实地进行听讲者的听讲确认。尤其，远程教育中，由1名讲师对应多数听讲者时，会有由听讲者自行听讲程序化的无人讲座的情形，因此必须有可不依赖人力的听讲者听讲确认方法。

以往，确认听讲者听讲的方法有诸如再公表公报WO00-59226号所记载的视听觉认证系统。这是对节目提供者以固有的定时对视听者提示特有的视听确认码，对此，视听者则将由视听觉终端输入的视听确认码连同输入时刻传送至视听觉认证系统，再根据视听觉认证系统由传送来的视听确认码与输入时刻判断听讲者是否实际在听看节目。

但是，所述现有视听觉认证系统是由输入的视听确认码与时间信息来判断视听者是否在听看节目，虽可确认视听者是否在听看节目，但并无法保证该听讲者是否为正式的听讲者。故，即使是例如正式听讲者请第3者代为听讲时，也会记录成是正式听讲者在听讲。且，以远程教育系统对听讲者进行考试时，正式听讲者极易请第3者代替。

另一方面，确认听讲者是否为正式听讲者的方法现有听讲者输入预先登录的密码的密码认证法、询问听讲者预先登录的个人信息的个人信息询问确认法、取得听讲者的脸部画面等而与预先登录的听讲者脸部画面等比对的画面比对法或取得听讲者的声音而与预先登录的听讲者声音比对的声音比对法等。

但是，密码认证法或个人信息询问确认法只要正式听讲者预先将密码或个人信息告知第3者，即可请第3者代为听讲。

另外，画面比对法或声音比对法亦可由收到听讲确认要求的听讲者将预先录好的正式听讲者影像或预先录音好的正式听讲者声音自终端传送，便可请第3者代为听讲。

如此，若以现有听讲确认方法，则正式听讲者可故意请第3者代为听讲，而难以确认是否为正式听讲者在听讲。

发明内容

故，本发明的主要目的在于提供一种远程教育系统，其可防止第3者使用录影影像等来进行代替听讲，并确认是否为正式听讲者在听讲。

本发明方式1的远程教育系统，在可通过具有影像及声音的多媒体双向通信来进行远程教育的远程教育系统中，包含有：听讲者影像取得机构，其用以取得听讲者的影像；脸部画面比对机构，其可将听讲者影像取得机构所取得的听讲者影像与已预先登录的听讲者脸部画面加以比对；动作要求机构，其可对听讲者要求动作；及，动作检测机构，其可根据听讲者影像取得机构所取得的听讲者影像的变化来检测听讲者的动作；因而，该远程教育系统具有可确认正式的听讲者在听讲的功能。

由此，可取得通过听讲者影像取得机构而由听讲者终端传送的听讲者影像，并将脸部画面比对机构所取得的听讲者影像与已预先登录的听讲者脸部画面加以比对，因此可确认该取得的影像为正式听讲者的影像。另外，可以动作要求机构对听讲者要求动作，并以动作检测机构检测由取得的听讲者影像的画面变化来检测听讲者是否已进行动作，故，由于若正式听讲者以预先录好的影像等请第3者代为听讲时，不会产生对应动作要求的画面变化，因此可识破代替听讲，确认是正式听讲者在听讲。

而，动作要求机构要求听讲者的动作只要是使取得的影像上产生画面变化者皆可，例如移动脸部、闭眼、动口或举手等。

本发明方式2的远程教育系统是如本发明方式1的远程教育系统，其中动作要求机构具有要求移动脸部位置的功能；且，动作检测机构并具有检测听讲者的脸部位置是否已移动的功能。

由此，可以由动作要求机构对听讲者要求移动脸部位置，并以动作检测机构由取得影像的画面变化来检测听讲者是否有移动脸部位置，因此正式听讲者以预先录好的影像等请第3者代为听讲时，脸部位置无法依照指示变化，故，可识破代替听讲，确认是正式听讲者在听讲。

本发明方式3的远程教育系统是如本发明方式1或2的远程教育系统，其中动作要求机构具有询问听讲者并要求声音回答的功能；且，动作检测机构具有取得听讲者声音的功能、由取得的声音来辨识声音回答的功能、由辨识的声音回答来判定听讲者声音回答的正确性的功能及随听讲者的声音回答来检测听讲者的嘴部动作的功能。

由此，可以由动作要求机构询问听讲者并要求声音回答，以动作检测机构取得听讲者的声音后，辨识声音回答来判断听讲者声音回答的正确性，同时由取得的影像的画面变化来检测听讲者伴随该声音回答的嘴部动作，因此可确认是脸部画面比对机构判断为正式听讲者的听讲者在对询问进行声音回答，而确认定正式听讲者在听讲。

本发明方式4的远程教育系统是如本发明方式3的远程教育系统，其中动作检测机构具有将听讲者的声音回答与已预先登录的听讲者声音加以比对的功能。

由此，可以动作检测机构将听讲者的声音回答与已预先登录的听讲者声音进行比对，因此听讲者不仅进行脸部画面比对，且进行声音比对，而可更精确地确认是正式听讲者在听讲。

本发明方式5的远程教育系统是如本发明方式3或4的远程教育系统，其中动作要求机构具有对听讲者进行有关时刻的询问来要求声音回答的功能；且，动作检测机构具有判断听讲者所回答的时刻的正确性的功能。

由此，可以动作要求机构对听讲者进行有关时刻的询问，并以动作检测机构判断听讲者所回答的时刻的正确性，同时以取得的影像的画面变化来检测听讲者伴随声音回答的嘴部动作，故，由于正式听讲者以预先录好的影像等请第3者代为听讲时，无法进行有关要求时刻的声音回答，因此可识破代替听讲，而确认是正式听讲者在听讲。

举例而言，有关时刻的询问可要求以声音回答现在时刻，而听讲者以声音回答的时刻的正确性，亦可将以声音辨识听讲者的声音回答所得的时刻与现在时刻比较。

本发明方式6的远程教育系统是如本发明方式3、4或5的远程教育系统，其中动作要求机构具有对听讲者进行有关个人信息的询问来要求声音回答的功能；且，动作检测机构具有将听讲者所回答的个人信息与已预先登录的听讲者个人信息加以比对的功能。

由此，可以动作要求机构对听讲者进行有关听讲者个人信息的询问，并以动作检测机构将听讲者所回答的个人信息与预先登录的听讲者个人信息进行比对，同时以取得的影像的画面变化来检测听讲者伴随声音回答的嘴部动作，故，由于正式听讲者以预先录好的影像等请第3者代为听讲时，无法进行有关听讲者个人信息的声音回答，因此可识破代替听讲，而确认定正式听讲者在听讲。

而，要求声音回答的听讲者的个人信息宜自预先登录的多个个人信息项目中不规则选择询问。由此，代替听讲者便无法事先预测回答，而可更精确地确认是正式听讲者在听讲。

本发明方式7的远程教育系统是如本发明方式1、2、3、4、5或6的远程教育系统，其中动作检测机构具有判断听讲者的脸部画面位置是否连续无变化的功能。

由此，可检测出代替听讲者将由终端传送的影像依动作要求切换至录影影像时产生的脸部画面的不连续位置变化，因此可更确实地防止第3者代替听讲，而可更精确地确认是正式听讲者在听讲。

本发明方式8的远程教育系统是如本发明方式1、2、3、4、5、6或7的远程教育系统，其中动作检测机构具有判断动作要求机构，对听讲者要求动作后在指定的时间内是否有画面变化的功能。

由此，要求动作后，若预定时间内没有预定的画面变化，便可判断正式听讲者没有在听讲。另外，即使可于终端生成对应动作要求的影像等，亦可不予代替听讲者准备该影像的时间，而可更精确地确认定正式听讲者在听讲。

本发明方式9的远程教育系统是如本发明方式1、2、3、4、5、6、7或8的远程教育系统，其中动作要求机构具有以无法预测的定时对听讲者要求动作的功能。

由此，由于听讲者无法预测何时会发生动作要求，因此无法于上课时间中离开终端，而可促使听讲者在整个上课时间连续听讲。

本发明方式10的远程教育系统是如本发明方式1、2、3、4、5、6、7或8的远程教育系统，其中动作要求动作具有由讲师的指令对听讲者要求动作的功能。

由此，讲师可控制对听讲者发出动作要求的定时，因此可在不影响听讲者学习的情况下，进行听讲确认。

本发明方式11是一种听讲确认方法，是可在远程教育中确认正式听讲者是否在听讲者的听讲确认方法，包含有以下步骤：取得听讲者的影像的步骤；将取得的影像与已预先登录的听讲者脸部画面加以比对的步骤；对听讲者要求动作的步骤；及，由取得的影像的画面变化来检测听讲者动作的步骤。

由此，由于可以取得听讲者影像的步骤来取得由听讲者终端传送的听讲者影像，并由与预先登录的听讲者脸部画面进行比对的步骤将取得的听讲者影像与预先登录的听讲者影像的脸部画面进行比对，因此可确认该取得的影像为正式听讲者的影像。另外，由要求动作的步骤对听讲者要求动作，并由检测动作的步骤从取得的听讲者影像的画面变化来检测听讲者是否已动作，故，由于若正式听讲者以预先录好的影像等请第3者代为听讲时，不会产生对应动作要求的画面变化，因此可识破代替听讲，确认是正式听讲者在听讲。

但是，以要求动作的步骤来要求听讲者的动作只要是使取得的影像上产生画面变化者皆可，例如移动脸部、闭眼、动口或举手等。

本发明方式12的听讲确认方法是如本发明方式11的听讲确认方法，其中要求动作的步骤包含有要求移动脸部位置的步骤；且，检测动作的步骤包含有检测听讲者的脸部位置有移动的步骤。

由此，可以要求动作的步骤对听讲者要求移动脸部位置，并以检测动作的步骤从取得影像的画面变化来检测听讲者是否有移动脸部位置，故，由于正式听讲者以预先录好的影像等请第3者代为听讲时，脸部位置无法依照指示变化，因此可识破代替听讲，确认是正式听讲者在听讲。

本发明方式13的听讲确认方法是如本发明方式11或12的听讲确认方法，其中要求动作的步骤具有询问听讲者并要求声音回答的步骤；且，检测动作的步骤具有取得听讲者声音的步骤、由取得的声音来辨识声音回答的步骤、由辨识的声音回答来判断听讲者声音回答的正确性的步骤及随听讲者的声音回答来检测听讲者的嘴部动作的步骤。

由此，可以要求动作的步骤询问听讲者要求声音回答，并以检测动作的步骤取得听讲者的声音后，辨识声音回答来判断听讲者声音回答的正确性，同时由取得的影像的画面变化来检测听讲者伴随该声音回答的嘴部动作，故，可确认足以与预先登录的听讲者的脸部画面进行比对的步骤判断为正式听讲者的听讲者在对询问进行声音回答，而可确认是正式听讲者在听讲。

本发明方式14的听讲确认方法是如本发明方式13的听讲确认方法，其中检测动作的步骤具有将听讲者的声音回答与已预先登录的听讲者声音加以比对的步骤。

由此，可以检测动作的步骤将听讲者的声音回答与已预先登录的听讲者声音进行比对，因此听讲者不仅进行脸部画面比对，且进行声音比对，而可更精确地确认是正式听讲者在听讲。

本发明方式15的听讲确认方法是如本发明方式13或14的听讲确认方法，其中要求动作的步骤具有对听讲者进行有关时间的询问来要求声音回答的步骤；且，检测动作的步骤具有判断听讲者所回答的时刻正确性的步骤。

由此，可以要求动作的步骤对听讲者进行有关时刻的询问，并以检测动作的步骤判断听讲者所回答的时刻的正确性，同时以取得的影像的画面变化来检测听讲者伴随声音回答的嘴部动作，故，由于正式听讲者以预先录好的影像等请第3者代为听讲时，无法进行有关要求时刻的声音回答，因此可识破代替听讲，而确认定正式听讲者在听讲。

举例言之，有关时刻的询问可要求以声音回答现在时刻，而听讲者以声音回答的时刻的正确性，亦可将以声音辨识听讲生的声音回答所得的时刻与现在时刻比较。

本发明方式16的听讲确认方法是如本发明方式13、14或15的听讲确认方法，其中要求动作的步骤具有对听讲者进行有关个人信息的询问来要求声音回答的步骤；且，检测动作的步骤具有将听讲者所回答的个人信息与已预先登录的听讲者个人信息加以比对的步骤。

由此，可以要求动作的步骤对听讲者进行有关听讲者个人信息的询问，并以检测动作的步骤将听讲者所回答的个人信息与预先登录的听讲者个人信息进行比对，同时以取得的影像的画面变化来检测听讲者伴随声音回答的嘴部动作，故，由于正式听讲者以预先录好的影像等请第3者代为听讲时，无法进行有关听讲者个人信息的声音回答，因此可识破代替听讲，而确认定正式听讲者在听讲。

而，要求声音回答的听讲者的个人信息宜自预先登录的多个个人信息项目中不规则选择询问。由此，代替听讲者便无法事先预测回答，而可更精确地确认定正式听讲者在听讲。

本发明方式17的听讲确认方法是如本发明方式11、12、13、14、15或16的听讲确认方法，其中检测动作的步骤具有判断听讲者的脸部影像位置是否连续无变化的步骤。

由此，可检测出代替听讲者将由终端传送的影像依动作要求切换至录影影像时产生的脸部画面的不连续位置变化，因此可更确实地防止第3者代替听讲，而可更精确地确认定正式听讲者在听讲。

本发明方式18的听讲确认方法是如本发明方式11、12、13、14、15、16或17的听讲确认方法，其中检测动作的步骤具有判断要求动作的步骤对听讲者要求动作后在指定的时间内是否有画面变化的步骤。

由此，要求动作后，若预定时间内没有预定的画面变化，便可判断正式听讲者没有在听讲。另外，即使可于终端生成对应动作要求的影像等，亦可不予代替听讲者准备该影像的时间，而可更精确地确认定正式听讲者在听讲。

本发明方式19的听讲确认方法是如本发明方式11、12、13、14、15、16、17或18的听讲确认方法，其中要求动作的步骤具有以无法预测的定时对听讲者要求动作的步骤。

由此，由于听讲者无法预测何时会发生动作要求，因此无法于上课时间中离开终端，而可促使听讲者于全上课时间连续听讲。

本发明方式20的听讲确认方法是如本发明方式11、12、13、14、15、16、17或18的听讲确认方法，其中要求动作的步骤具有由讲师的指令对听讲者要求动作的步骤。

由此，讲师可控制对听讲者发出动作要求的定时，因此可在不影响听讲者学习的情况下，进行听讲确认。

本发明方式21的听讲确认程序是用以使计算机执行本发明方式11、12、13、14、15、16、17、18、19或20的听讲确认方法的听讲确认程序。

通过使计算机具有用以使计算机成为执行本发明方式11、12、13、14、15、16、17、18、19或20的听讲确认方法各步骤的机构的程序，可在远程教育时防止第3者代替听讲，确认是正式听讲者在听讲。

本发明的所述目的、其它目的、特征及优点可由参考图式所进行的以下发明实施方式的详细说明而更为明了。

附图说明

图1是本发明其中实施方式的远程教育系统的系统构成图。

图2是表示以本发明其中实施方式的远程教育系统显示在听讲者终端的画面例的图。

图3是本发明其中实施方式的远程教育系统的听讲确认程序的处理流程图(其1)。

图4是本发明其中实施方式的远程教育系统的听讲确认程序的处理流程图(其2)。

图5是本发明其中实施方式的远程教育系统的听讲确认程序的处理流程图(其3)。

具体实施方式

图1表示本发明的一实施例的远程教育系统的系统构成图。图中，1为远程教育系统，而Web服务器10、双向通信服务器20、内容发送服务器30、经营管理系统40、讲师使用的讲师终端60与通信线路连接机构70是以网络连接，并在提供远程教育服务时通过通信线路2与听讲者使用的听讲者终端101、102、…连接。

Web服务器10为作为使用本系统的窗口的WWW服务器，可由讲师终端60或听讲者终端101、102、…以Web浏览器访问预定网页来进行讲座设定或进行、或是听讲手续等。

双向通信服务器20具有登录连接的终端的终端地址的连接对象表，可连接登录在连接对象表中的终端，并提供包含影像及声音的多媒体信息的双方通信功能。讲座的开设中，连接对象表内登录有讲师终端60与出席该讲座的听讲者使用的听讲者终端101、102、…的终端地址，可接收由讲师终端60所传送的影像及声音与由各听讲者终端101、102…所传送的影像及声音，并将接收的影像及声音加以合成后传送至讲师终端60及各听讲者终端101、102…。

内容发送服务器30具有存储有动态画面、静止画面、声音、文件、效果声音等多媒体教材的教材数据库32，可提供对登录在发送对象表的终端发送指定内容的功能。讲座的开设中，是在发送对象表内登录讲师终端60及出席该讲座的听讲者使用的听讲者终端101、102、…的终端地址，并由讲师终端60将指定的教材内容发送至各终端。

经营管理系统40为经营管理远程教育的系统，具有存储涉及提供的讲座的各种数据的讲座信息数据库50，可进行设定讲座的讲座设定处理41、开设已设定的讲座的讲座开设处理42、接受听讲已开设的讲座的听讲接受处理43、确认讲座开设中的听讲者的听讲确认处理44等。

讲师终端60是由取得讲师影像的视频摄影机(a)、输出入讲师声音的头组件(b)、显示画面的显示画面(c)、输入指令或信息用的键盘(d)与鼠标(e)及具有影像输入接口、声音输出入接口与网络连接机构等的计算机(f)；所构成，且计算机内装有可取得讲师影像及声音并传送至双向通信服务器20，并且将由双向通信服务器20传送的影像及声音输出至显示画面及头组件的影像声音通信程序、由内容发送服务器30发送的画面与声音输出至显示画面及头组件的内容显示程序及用以进入Web服务器10的Web浏览器。

通信线路2可适用诸如有线计算机网络、无线计算机网络、电话线路、卫星线路、互联网等各种通信线路，在此是以使用互联网为例进行说明。故，通信线路连接机构70乃使用用以连接互联网的互联网路由器。

另一方面，听讲者终端101、102…与讲师终端60相同，由取得讲师影像的视频摄影机(a)、输出入讲师声音的头组件(b)、显示了画面的显示画面(c)、输入指令或信息用的键盘(d)与鼠标(e)及具有影像输入接口、声音输出入接口与网络连接机构(如TA等)的计算机(f)所构成，且载入有可取得听讲者影像及声音并传送至双向通信服务器20，并且将由双向通信服务器20传送的影像及声音输出至显示画面及头组件的影像声音通信程序、由内容发送服务器30发送的画面与声音输出至显示画面及头组件的内容显示程序及用以进入Web服务器10的Web浏览器。

接着，说明以本远程教育系统1实施远程教育的顺序。

首先，实施远程教育的事务局由讲师终端60或专用的事务局终端(省略图式)访问Web服务器10的事务局网页后，决定并输入依据对应年度教育计划的讲师课程所开设的讲座。由此，经营管理系统40的会以讲座开设处理41于讲座信息数据库50建构讲座课程数据库，并于各讲座制作出席簿而登录于出席簿数据库52。

接着，事务局募集听讲者，并对满足定听讲基准的各听讲者发行用以进入Web服务器10的ID与密码。发行到ID与密码的各听讲者由各听讲者终端进入Web服务器10的听讲者网页后，进行听讲者个人信息登录、听讲确认时用于比对脸部画面的脸部画面登录、及听讲确认时用于比对有关个人信息的询问的声音回答的声音登录。

个人信息登录是以经营管理系统40的听讲登录处理42将各听讲者所输入的姓名、年龄、性别、出生年月日、住址、电话号码及电子邮件地址等连同各听讲者的ID、密码与各听讲者终端的终端地址登录于听讲信息数据库50的个人信息数据库53。接着，参照讲座进程数据库51来判断该听讲者希望听讲的讲座是否可听讲，若可听讲时便于出席簿数据库52的该讲座的出席簿登录该听讲者。

脸部画面登录是以经营管理系统40的听讲登录处理42在双向通信服务器20的连接对象表设定该听讲者终端的终端地址及经营管理系统的地址，并于该听讲者点击设在Web网页的脸部画面登录键(省略图式)时的影像记录为静止画面后登录于讲座信息数据库50的脸部画面数据库54。

声音登录同样以经营管理系统40的听讲登录处理42在双向通信服务器20的连接对象表设定该听讲者终端的终端地址及经营管理系统的地址，并取得该听讲者点击设于Web网页的个人信息项目中的声音登录键(省略图式)时的声音后依个人信息项目登录于讲座信息数据库50的声音数据库55。

到了设定在讲座课程数据库51中的讲座日期，根据讲座开设处理43在双向通信服务器20和内容发送服务器30设定讲座。

该讲座的听讲者由听讲者终端101、102…进入听讲受理网页后以预定的ID及密码登入，由此于双向通信服务器20的连接对象表与内容发送服务器30的发送对象表设定该听讲者终端的终端地址。

另外，该讲座的讲师由讲师终端60进行访问Web服务器的讲师受理网页，由此于双向通信服务器20的连接对象表与内容发送服务器30的发送对象表设定该讲师终端60的终端地址。

对于登录后的听讲者，以经营管理系统40的听讲确认处理44实施后述的听讲确认，若确认是正式听讲者，便于出席簿记录出席时刻。

如此开始讲座，讲师由讲师终端60进行授课，将讲师的影像及声音发送至各听讲者终端。另外，讲师可由讲师终端60经Web服务器10控制内容发送服务器30，并由教材数据库32检索及播放必要的教材，由此对各听讲者发送该教材。

图2显示授课中的听讲者终端101、102…的显示画面所显示的画面例。图中，A为显示自讲师终端60传送的讲师影像的讲师画面，B为将由各听讲者终端101、102…传送的各听讲者影像与各听讲者的姓名加以合成并显示的听讲者画面。在听讲者画面B显示听讲者的姓名，是预定可让讲师可指定特定的听讲者进行发言或回答。

C为由内容发送服务器30发送的内容画面，内容画面C内可以来自讲师终端60的操作显示指标，并于一面播放教材一面进行内容说明时，对听讲者指明说明处。

D为接受听讲者发言、回答讲师所发的问题或中途离退席等时的输出的输入画面，E为自讲师终端或经营管理系统对各听讲者显示信息的信息画面。在听讲确认处理44进行听讲者的听讲确认时，给各听讲者的信息会显示于该信息画面E。

讲师终端60的显示画面内亦与所述听讲者终端的显示画面进行相同显示，但指令输入画面D内设有诸如用以对以内容发送服务器30发送的内容进行检索或播放控制的按键或显示于内容画面C内的指标控制键等。

各听讲者可于讲座中按发言键来对讲师进行询问或发言等。听讲者按下发言键后，听讲者画面B的该听讲者会出现闪动显示，而讲师可由讲师终端点击该显示来接受发言。此时，该听讲者的影像会扩大合成而发送至讲师终端及各听讲者终端，且该听讲者的声音会发送至讲师终端及其它听讲者终端。由此，该听讲者可以影像及声音与讲师对谈，并将其对谈内容亦传达至其他听讲者。

另外，讲师可于讲座中设定问题由所有听讲者或特定听讲者回答。由讲师指定的听讲者选择选择键而于信息框输入信息并点击回答键后，其内容会通过Web服务器10传达至经营管理系统40，而统计结果则显示于讲师终端60。另外，讲师可视该统计结果揭示于各听讲者，并以讲师终端60的指令通过内容发送服务器30发送至各听讲者终端。

讲座时间中，由经营管理系统40的听讲确认处理44随时实施后述的听讲确认，以确认是正式听讲者在听讲。

各听讲者可因要上厕所等要中途离席时点击中途离席键。由此，听讲者画面B的该听讲者的影像会出现中途离席标记，并于出席簿中记录中途离席时刻。另外，各听讲者由中途离席返回时便点击入座键。由此，讲者画面B的该听讲者之中途离席标记会恢复一般显示，并于出席簿记录返回时刻。另外，各听讲者于讲座结束时或提早离开讲座时点击结束键。由此，即记录出席簿的退席时刻，且该听讲者终端地址由连接对象表及发送表中删除并结束讲座。

如此，由于讲师可确实掌握各听讲者的出席状况，且出席簿可自动记录出席时刻、退席时刻、中途离席时刻及返回时刻，因此可掌握该讲座的实质听讲时间。尤其，由于本远程教育系统1可由听讲确认处理44随时实施各听讲者的听讲确认，因此可期待确实进行讲座中的出席时刻管理，以避免各听讲者缺席。

另外，双向通信服务器20内具有应用程序共享机能，是可于讲师终端与各听讲者终端间启动共通的应用程序，而互相交互换终端已进行的操作信息，以使全员共享应用程序。由此，举例言之，可实施于各终端的画面显示描绘文字或图形的共通白板，讲师或各听讲者可自由地一面写入文字或图形一面进行讨论的研讨会形式讲座。

另外，具有于各终端显示交谈画面，并于讲师及各听讲者间以文字或会话进行讨论的功能。

如此，通过本远程教育系统1，各听讲者可利用双向通信服务器20一面接收讲师的影像及声音，一面以内容发送服务器30接收多媒体教材的发送，且讲师可视需要对听讲者设定问题并要求回答，或接受来自听讲者的询问或发言，而利用双向通信服务器20来以影像及声音进行对谈，因此听讲者即使身处远地，亦可获得与在讲课室通过共通的教材来上课相同的教育效果。

所述实施方式中，是说明听讲者画面B内合成并显示各听讲者的影像，但除对讲师进行询问或发言时外，亦可以静止图像显示。由此，即使通信线路的频带有限制时，亦可在不会对通信线路带来大负担的情形下实施远程教育。

另外，所述实施方式中，是说明听讲者画面B内显示各听讲者的姓名，但听讲者画面B内亦可只显示听讲者的影像或图示，而提供讲师一对应另一显示方式的出席簿。

所述实施方式中，是说明讲师以实况方式进行授课的有人讲座的情形，但亦可设定以授课录影带进行的无人讲座。此时，由事务局预先制作授课录影带并先登录于内容发送服务器30的教材数据库32，并于到讲座设定日期时，以内容发送服务器30指定要发送的授课录影带而自动开始授课。授课录影带内设定有适当问题，并可自动统计与记录听讲者对问题的回答。另外，若听讲者有询问等时则发邮件给事务局，由此联络负责讲师以后回答。

接着，就经营管理系统40的听讲确认处理44的细节进行说明。

听讲确认处理44是由取得自各听讲者终端送来的各听讲者影像的听讲者影像取得处理45、将已取得的各听讲者影像与脸部画面数据库54的该听讲者脸部画面加以比对的脸部画面比对处理46、对已通过脸部画面比对的各听讲者要求配合各听讲者终端所送来的画面变化的动作的动作要求处理47与对已要求的动作检测由各听讲者终端所送来的画面变化的动作检测处理48所构成。而，本实施方式中，是对各听讲者要求依指示移动脸部位置、以声音回答现在时刻及以声音回答有关听讲者个人信息的询问等3种动作。

第3至5图乃显示听讲确认处理44的处理流程。

如图所示，当到听讲确认时刻时(S100)，即将听讲确认要求通知讲师终端60(S102)，而讲师受到听讲确认要求后便进行听讲确认(S104)。听讲确认时刻可选择讲座开始时刻与讲座开讲中的随机时刻。通过对讲座开讲中的随机时刻进行确认，听讲者便无法预测何时会进行听讲确认，而可促使听讲者于全讲座时间连续听讲。但是，由于讲师在进行讲座当中进行听讲确认会妨碍听讲，因此可通知讲师听讲确认要求，让讲师中断讲座并点击听讲确认要求的接收键后进行听讲确认。而，使用讲座录影带的无人讲座时，可预先于讲座录影带中登录可中断点，针对所述听讲确认要求于最初的可中断点暂停讲座录影带的播放，以进行听讲确认。

非听讲确认时刻时，前进至S406重复直到讲座结束。

接着，由出席簿数据库52取得该讲座的出席簿(S106)后—将登录于出席簿的各听讲者的听讲者终端的终端地址通知双向通信服务器20，取得该听讲者的影像及声音(S108)，同时对该听讲者终端通知脸部画面确认(S110)。时，可将例如“现在开始进行听讲确认。请以与听讲登录时相同的状态将脸部朝向摄影机”的信息显示于信息画面。另外，可加上“准备好以后请点击这里”的信息，并以Web服务器10检测出已点击“这里”后进入下一步骤。

接着，由脸部画面数据库53取得该听讲者的脸部画面数据(S112)，并将由取得中的听讲者影像裁出的静止画面面与该听讲者的脸部画面数据进行画面比对(S114)。画面比对可将该听讲者的脸部画面数据作为模板对取得中的听讲者影像进行直接比对处理，求取相似度最高的点。而，亦可针对由取得中的听讲者影像裁出的静止画面，进行求取外形轮廓、眼鼻口等位置或形状等的特微量的特征拍摄运算，而将该听讲者的脸部尺寸正常化后进行比对处理，或针对该听讲者的脸部画面数据与特征提取运算的结果进行比较。

当画面比对的结果可获得预定的相似度时便进入下一步骤(S116)，而当无法获得预定的相似度时则对该听讲者终端通知确认信息(S118)，若有回应便返回S110，并重复脸部画面确认要求(S120)，而若无回应则前往S406将出席簿的该听讲者登记为缺席。

接着，进行脸部移动确认。首先，针对所述裁出的静止画面面来检测听讲者脸部的初始位置(S122)。脸部位置是于所述画面比对的比对处理中求取相似度最高的点。

再来，对该听讲者终端通知脸部移动要求(S124)。此时，可将例如“请将脸部位置向右移动约10cm左右”的信息显示于信息画面。而，移动脸部的方向或移动距离可随机变更。由此，便难以用预先准备好的录影带影像来接受画面确认，而可防止第3者代替听讲。

在此，针对取得中的听讲者影像，以所述画面比对手法连续进行听讲者脸部位置检测(S126)，检测出对应所述信息的脸部位置变化后便进入下一步骤(S128)。且，预定时间内未检测出脸部位置变化时(S130)，对该讲者终端通知确认信息(S132)，若有回应便返回S120重复脸部移动要求(S134)，而若无回应则前进至S406将出席簿的该听讲者登记为缺席。

接着，进行时刻的声音回答确认。首先，对该听讲者终端通知时刻的声音回答要求(S200)。此时，是将例如“请以声音回答讲师画面所示的现在时刻”等信息显示于信息画面。对此，由取得中的听讲者声音的信号等级检测听讲者的声音回答，并于检测出一连串的声音回答后(S202)，取得声音回答中的影像及声音(S204)。当检测一连串的声音前，经过一预定的时间后(S206)，便对该听讲者终端通知一确认信息(S208)，若有回应，便由S200开始重复，而若无回应则前进至S406将出席簿的该听讲者登记为缺席。

接着，针对已取得的声音回答中的声音进行声音识别(S212)。在此的声音辨识，由于对象不限于时刻，因此可以与时刻有关的声音字典，以音节单位进行比对处理。由于可识别的字汇数有限，因此可通过一对应不特定话者的声音字典的不特定话者直声音辨识来进行辨识，而亦可预先使听讲者登录关于时刻的声音，并以此为声音字典进行特定话者声音辨识。

接着，取得讲师画面所示的现在时刻(S214)，而当已进行声音辨识的声音回答的时刻于预定范围内时(S216)，便针对取得的声音回答中的影像检测嘴部动作(S218)。嘴部动作的检测可利用所述特征拍出运算针对已取得的声音回答中的影像对应已辨识的各个声音；音节的帧来求取嘴部形状参数，并将此与由已辨识声音的各音节减去登录有音节与嘴部形状参数的关系的表所获得的嘴部形状参数加以比较，以整体判断相似度。而，由于嘴部动作的判断的目的在于识破所比对脸部画面的听讲者影像为录影数据或时刻的声音回答为录音数据，因此不需判断精确的相似度，举例言之，亦可使用一对应检测出声音回答后的期间听讲者的嘴部形状是否有产生变化等较为简便的方法。另外，使听讲者预先登录有关时刻的声音来进行特定话者单字声音认识时，亦可于预先使听讲者登录有关时刻的声音时，同时记录对应的听讲者影像，并将每一已辨识声音的音节所取得的听讲者影像与记录的听讲者影像直接比较来进行判定。

在此，若判断听讲者的嘴部动作有对应声音回答，便前进至下一步骤(S220)。当于S216判断声音回答时刻不正确，或于S220判断影像不对应声音回答时，则前进至S208，对该听讲者终端通知确认信息，若由回应便由S200重复。

而，所述实施方式中，是说明对声音回答的时刻进行声音辨识后比较现在时刻，但亦可由声音字典依序取出对应现在时刻的音节数据，并将此与听讲者声音回答中的声音依序进行比较，而当听讲者的声音回答整体到达预定的相似度时判断声音回答时刻为正确。

接着，进行听讲者的个人信息声音回答确认。首先，选择个人信息的询问项目，并对该听讲者终端通知有关该个人信息的询问项目(S300)。此时，可将例如“请以声音回答你的出生年月日”等信息显示于信息画面。有关该个人信息的询问项目亦以随机选择来使听讲者无法预测为佳。对此，是由取得中的听讲者声音的信号等级检测声音回答，并于检测出一连串的声音回答后(S302)，取得声音回答中的影像与声音(S304)。检测一连串的声音回答前，当经过一预定时间后(S306)，便对听讲者终端通知确认信息(S308)，若有回应即自S300重复(S310)。而若无回应时则前进至S406将出席簿的该听讲者登记为缺席。

接着，由声音数据库55取得对应该听讲者个人信息的询问项目的声音数据(S312)，并将该声音数据作为模板与取得的声音回答中的声音进行比对处理(S314)。结果，若可获得预定的相似度时(S316)，针对取得的声音回答中的影像检测嘴部动作(S318)。嘴部动作的检测可利用所述特征提取运算针对已取得的声音回答中的影像的各帧来求取嘴部形状参数，并将此与由登录于个人信息数据库53的该听讲者的个人信息的文字数据减去登录有文字与嘴部形状参数的关系的表所获得的嘴部形状参数加以比较，以综合地判断相似度。而，由于嘴部动作的判断的目的与所述时刻确认的情形相同，在于识破所比对脸部画面的听讲者影像为录影数据或时刻的声音回答为录音数据，因此不需判断精确的相似度，举例言之，亦可使用一对应检测出声音回答后的期间听讲者的嘴部形状定否有产生变化等较为简便的方法。另外，亦可于个人信息的声音登录时，同时预先记录听讲者的影像，并将取得的声音回答中的影像与记录的听讲者影像直接比较来进行判定。另外，亦可于个人信息的声音登录时，由听讲者的影像以时间系列求取嘴部形状参数而预先加以记录，并比较就取得的声音回答中的影像所求得的嘴部形状参数与记录的嘴部形状参数来判断。

在此，若可判断听讲者的嘴部动作有对应声音回答，便前进至下一步骤(S320)。若于S316判断声音回答的个人信息不正确，或于S320判断影像并未对应声音回答时，便前进至S308对该听讲者终端通知确认信息，若有回应则由S300重复。

针对该听讲者结束以上听讲确认处理后，对该听讲者终端通知听讲确认结束(S400)，并通知双向通信服务器20，结束该听讲者的影像与声音的取得(S402)。

接着，针对所有听讲者结束以上听讲确认处理后(S404)，由开头(S100)重复直到讲座结束为止。

所述实施方式中，是说明依每一听讲确认时刻进行所有脸部画面比对、脸部移动确认、时刻的声音回答确认及个人信息的声音回答确认，但本发明并未受限于此，亦可，实施脸部画面比对与脸部移动的组合、脸部画面比对与时刻的声音回答确认或脸部画面比对与个人信息的声音回答的组合等任一者，并将这些依听讲确认时间适当选择来实施。

另外，所述实施方式中，是说明要求听讲者的动作为脸部移动或声音回答的情形，但本发明并未受限于此，亦可要求旋转脸部、闭眼、举手、将特定物品朝向摄影机或将纸上写有指定形状者朝向摄影机等，只要是可捕捉影像变化者，任何动作皆可达到本发明的效果。

所述实施方式中，是说明于进行脸部画面比对后，要求脸部移动确认、时刻的声音回答确认或个人信息的声音回答确认等动作，判断当时的画面变化是否有对应要求，由此确认是否为正式的听讲者，但亦可设置功能，由取得的听讲者影像连续检测听讲者的脸部位置，并确认脸部位置没有产生不连续的变化。由此，当代替听讲者收到动作要求时，即使采取切换至对应该动作要求的录影影像的动作时，由于听讲者的脸部位置不连续变化，因此可检测出代替听讲，而可更精确地确认是否为正式听讲者在听讲。

所述实施方式中，是说明讲座的所有听讲者皆由听讲者终端听讲，没有直接听讲讲师讲座的听讲者，但亦可在一具有可显示由双向通信服务器20传送的影像的大画面显示装置及可输出双向通信服务器20所传送的声音的会场扬声器的授课会场来进行授课，设定一会场听讲者与远程听讲者混合的讲座。

另外，亦可在各地设置卫星会场，并设置大画面显示装置及会场扬声器，而将集合于此的听讲者当作1个集合听讲者。

由此，可直接前往授课会场或卫星会场的听讲者便直接听讲，而无法前往的听讲者则在远地听讲，如此即可由1名讲师进行讲座，并使多数听讲者可同时听讲。当然，此时亦可对授课会场或卫星会场听讲者设置一具有所述询问回答的输入功能、用以听讲确认的影像输入功能或声音输入功能的终端。

所述实施方式中，是说明远程教育系统具有内容发送服务器，而将讲座所使用的教材以内容发送服务器发送至各听讲者终端，但本发明并未受限于此，举例言之，亦可仅在讲师终端将教材软件播放于屏幕等上，并已取得讲师影像的视频摄影机来拍摄它。另外，亦可使讲师终端具有外部影像声音输入端子，并将其与VTR或DVD等连接，而将讲师所播放的教材软件的影像声音与讲师影像或声音合成或切换来传送至双向通信服务器，并通过双向通信服务器发送至各听讲者终端。

所述实施方式中，是说明讲师终端连接于远程教育系统内的网络，但本发明并未受限于此，讲师终端亦可通过互联网连接于远程教育系统。由此，讲师只要具有可连接互联网的讲师终端，无论从何处皆可开设讲座，而可委托外国者担任讲师，如此，不仅易于调整讲师的课程，且有助于删减人事费用。

所述实施方式中，是说明远程教育系统具有Web服务器，而听讲者终端使用具有Web浏览器功能的计算机来进入Web服务器，由此进行听讲手续，但本发明并未受限于此，听讲者终端亦可使用一般的视讯电话，并设置功能，使自经营管理系统传送至听讲者终端的信息可将生成的信息画面以双向通信服务器合成后传送至各听讲者终端，而由听讲者终端传向经营管理系统的指令或信息的输入则可使用听讲者终端的拨号键，并于双向通信服务器设置可检测PB音调信号的功能。由此，听讲者终端可使用诸如连接于以ITU-T劝告的H.320为依据的ISDN视讯电话终端等公用电话线路的电话型视讯电话终端或连接于以ITU-T劝告的H.323为依据的IP(Internet Protocol)视讯电话终端等互联网的IP型视讯电话终端线路等。此时，双向通信服务器需具备对应听讲者终端规格的影像编码译码器或声音编码译码器，但通过以其它方式接收进行通信协议变换的间送器，亦可混合各种规格的听讲者终端。

产业上利用的可能，

如前所述，通过本发明，可达到于远程教育防止使用录影影像等的第三者代替听讲，而可确认定正式听讲者在听讲的效果。

Claims (21)

1.一种远程教育系统，是可通过具有影像及声音的多媒体双向通信来进行远程教育的远程教育系统，其特征在于，包含有：

听讲者影像取得机构，其用以取得听讲者的影像；

脸部画面比对机构，其可将所述听讲者影像取得机构所取得的听讲者影像与已预先登录的听讲者脸部画面加以比对；

动作要求机构，其可对听讲者要求动作；及

动作检测机构，其可由所述听讲者影像取得机构所取得的听讲者影像的变化来检测听讲者的动作；

因而，该远程教育系统具有可确认正式听讲者在听讲的功能。

2.如权利要求1所述的远程教育系统，其特征在于，

所述动作要求机构具有要求移动脸部位置的功能；

且，所述动作检测机构并具有检测听讲者的脸部位置已移动的功能。

3.如权利要求1或2所述的远程教育系统，其特征在于，

所述动作要求机构具有询问听讲者并要求声音回答的功能；

且，所述动作检测机构具有取得听讲者声音的功能、由所述取得的声音来辨识声音回答的功能、由所述辨识的声音回答来判定听讲者声音回答的正确性的功能及随听讲者的声音回答来检测听讲者的嘴部动作的功能。

4.如权利要求3所述的远程教育系统，其特征在于，

所述动作检测机构具有将听讲者的声音回答与已预先登录的听讲者声音加以比对的功能。

5.如权利要求3或4所述的远程教育系统，其特征在于，

所述动作要求机构具有对听讲者进行有关时刻的询问来要求声音回答的功能；

且，所述动作检测机构具有判断听讲者所回答的时刻的正确性的功能。

6.如权利要求3～5中的任一项所述的远程教育系统，其特征在于，

所述动作要求机构具有对听讲者进行有关个人信息的询问来要求声音回答的功能；

所述动作检测机构具有将听讲者所回答的个人信息与已预先登录的听讲者个人信息加以比对的功能。

7.如权利要求1～6中的任一项所述的远程教育系统，其特征在于，

所述动作检测机构具有判断听讲者的脸部画面位置是否连续变化的功能。

8.如权利要求1～7中的任一项所述的远程教育系统，其特征在于，

所述动作检测机构具有判断由所述动作要求机构对听讲者要求动作后在指定的时间内是否有画面变化的功能。

9.如权利要求1～8中的任一项的远程教育系统，其特征在于，

所述动作要求机构具有以无法预测的定时对听讲者要求动作的功能。

10.如权利要求1～8项的远程教育系统，其特征在于，

所述动作要求机构具有由讲师的指令对听讲者要求动作的功能。

11.一种听讲确认方法，是在远程教育中确认正式听讲者是否在听讲的听讲确认方法，其特征在于，包含有以下步骤：

取得听讲者的影像的步骤；

将所述取得的影像与已预先登录的听讲者脸部画面加以比对的步骤；

对听讲者要求动作的步骤；及

由所述取得的影像的画面变化来检测听讲者的动作的步骤。

12.如权利要求11所述的听讲确认方法，其特征在于，

要求所述动作步骤包含有要求移动脸部位置的步骤；

检测所述动作的步骤包含有检测听讲者的脸部位置已移动的步骤。

13.如权利要求11或12所述的听讲确认方法，其特征在于，

要求所述动作的步骤具有询问听讲者并要求声音回答的步骤；

检测所述动作的步骤具有取得听讲者声音的步骤、由所述已取得的声音来辨识声音回答的步骤、由所述辨识的声音回答来判断听讲者声音回答的正确性的步骤及随听讲者的声音回答来检测听讲者的嘴部动作的步骤。

14.如权利要求13所述的听讲确认方法，其特征在于，

检测所述动作的步骤具有将听讲者的声音回答与已预先登录的听讲者声音加以比对的步骤。

15.如权利要求13或14所述的听讲确认方法，其特征在于，

要求所述动作的步骤具有对听讲者进行有关时刻的询问来要求声音回答的步骤；

检测所述动作的步骤具有判断听讲者所回答的时刻的正确性的步骤。

16.如权利要求13～15中的任一项所述的听讲确认方法，其特征在于，

要求所述动作的步骤具有对听讲者进行有关个人信息的询问来要求声音回答的步骤；

且，检测所述动作的步骤具有将听讲者所回答的个人信息与预先登录的听讲者个人信息加以比对的步骤。

17.如权利要求11～16中的任一项所述的听讲确认方法，其特征在于，

检测所述动作的步骤具有判断听讲者的脸部画面位置是否连续变化的步骤。

18.如权利要求11～17中的任一项所述的听讲确认方法，其特征在于，

检测所述动作的步骤具有判断由要求所述动作的步骤对听讲者要求动作后在指定的时间内是否有画面变化的步骤。

19.如权利要求11～18中的任一项所述的听讲确认方法，其特征在于，

要求所述动作的步骤具有以不能预测的定时对听讲者要求动作的步骤。

20.如权利要求11～18中的任一项所述的听讲确认方法，其特征在于，

要求所述动作的步骤具有由讲师的指令对听讲者要求动作的步骤。

21.一种听讲确认程序，是由计算机执行权利要求11～20中任一项所述的听讲确认方法的听讲确认程序。

Images