KR100978091B1 - 온라인 테스트 평가 관리 시스템 및 방법 - Google Patents

Abstract

본 발명은 온라인 테스트 평가 관리 시스템 및 방법에 관한 것으로, 학습자의 로그인 정보와 개인 정보, 수험 정보를 저장하는 학습자 정보 데이터베이스, 온라인 테스트를 위한 평가 문항을 저장하는 문제 은행 데이터베이스, 온라인 테스트 시험 화면을 통하여 온라인 테스트를 수행할 때 학습자가 온라인 테스트에 출력된 문제들에 대한 보기 입력순서, 보기 변경 클릭회수, 보기 선택 후 보기 입력에 걸린 반응시간 데이터를 수집하는 온라인 테스트부, 및 상기 온라인 테스트부로부터 수집된 학습자의 온라인 테스트 데이터를 분석하여 학습자의 학습수준과 학습능력, 수험 행태를 평가하고 진단하여 온라인으로 학습자 단말 또는 교수자 단말로 보고하는 반응패턴 분석부를 포함하고, 보기 선택순서, 클릭회수, 반응시간을 학습자의 평가결과에 반영하여 효율적으로 학습자의 학습수준과 학습능력, 성향을 평가하고 진단할 수 있도록 하는 것이다.

Description

온라인 테스트 평가 관리 시스템 및 방법{Management system for online test assessment and method thereof}

본 발명은 온라인 테스트 평가 관리 시스템 및 방법에 관한 것으로, 보다 상세하게는 온라인 테스트 평가 시 객관식 문제에 대해 학습자가 입력하는 보기 선택순서, 보기 풀이 시간을 기록하고 분석함으로써 효율적으로 학습자의 학습수준을 평가하고 수험 행태를 진단할 수 있는 온라인 테스트 평가 관리 시스템 및 방법에 관한 것이다.

일반적인 종래의 학습 방법은 학교, 학원 및 기업 내 연수원 등에 다수의 학습자를 대상으로 교과 과정과 강의 시간 및 그룹별 난이도에 따라 학습을 진행하는 방식이 채용되었다.

그러나, 상기와 같은 학습 방법은 학습자에게 피동적인 역할만을 요구할 뿐만 아니라, 학습 과정의 난이도 면에 있어서 학습자의 개별적인 학습 수준 및 개별적인 학습 능력 등과 같은 개인적인 특성이 전혀 반영되지 않아 학습자의 학습 수준의 향상에 많은 도움을 주지 못하였다.

이러한 문제점을 해결하기 위해서 근래에는 학습자들이 개인의 시간과 비용을 직접 부담하면서 온라인 학습을 하고, 학습한 결과는 상기 강의를 제공한 학습 사이트 또는 학원이나 정부에서 인정하는 시험을 통해 평가받는 형태의 학습이 이루어지고 있다.

상기와 같은 온라인 학습방법 역시 종래의 학습 방법과 유사한 공급자 중심의 강의로써, 학습자 각각의 학업 성취도와 무관하게 평준화 강의를 제공한다.

상기 온라인 학습을 수행한 학습자에 대한 평가는 학습관리서버를 활용하여 다양한 문제출제와 테스트, 결과 진단을 제공하게 된다.

그런데, 일반적인 온라인 테스트는 학습자에게 제공한 강의에 대한 온라인 테스트 평가를 수행하고 상기 온라인 테스트 평가의 결과에 대해 별도의 해설 없이 정답 또는 오답의 여부만을 가려내기 때문에 학습자의 취약학습분야를 인식하기 어려울 뿐 아니라, 학습자의 의지가 배제되면 취약학습분야에 대한 지속적인 학습 관리가 어려운 실정이다.

이를 해결하기 위한 것으로 국내특허출원 2000-27989호에는 학습자 개인별로 정확한 학습수준의 평가와 함께 그에 맞는 반복적인 학습과정을 수행할 수 있도록 하는 시스템과 온라인 상에서 학습자의 학습수준을 향상시킬 수 있고 학습자의 취약학습분야에 대한 지속적인 학습이 가능한 강의 조합에 의한 온라인 맞춤형 학습 방법이 제안되고 있다.

그러나, 상기 시스템과 방법은 테스트에서 학습자가 오답처리 한 문제를 파악하고, 이 오답처리 된 문제의 과목, 단원, 난이도 중 적어도 하나 이상을 파악하여 상기 학습자의 취약학습분야를 분석하고 강의, 문제, 해설동영상을 실시간으로 추출 및 조합하여 맞춤형강좌를 제작하고, 지속적인 학습을 제공하지만, 학습자의 학습방법이나 문제해결 방법, 문제해결능력, 판단능력을 종합적으로 평가하여 판단하기가 어렵고 지속적인 학습을 위해서는 시간과 노력이 많이 요구되는 문제점이 있다.

또한, 이러닝(e-learning)에 관련된 기술로서 문제은행과 같은 문항 데이터베이스를 구축하여 문항을 관리하는 기술과 학습자들이 평가를 실시하기 위한 시험지 관리, 실제 온라인 상에서 이루어지는 시험 관리, 학습자의 평가 결과 분석, 결과 리포팅을 통한 피드백 제공 기술이 있다.

그리고, 개인의 역량과 학습 결과를 평가하여 진학, 승진 등에 사용하고 있고, IBT, GRE 등의 영어 영역에서 주고 사용되었지만, 현재에는 다양한 분야에 평가 솔루션이 있다.

그러나, 종래의 온라인 테스트 평가 시스템에서는 학습자의 답안 보기 입력 반응을 분석하여 학습자의 학습 수준과 수험 행태를 분석하여 수험 능력을 평가하는 방법은 제시되어 있지 않았다.

본 발명은 상기와 같은 종래의 문제점을 해결하고자 안출된 것으로,객관식 문제에 대한 학습자의 반응을 분석하여 학습자의 능력을 평가하기 위해 온라인 테스트 평가에 있어서 객관식 답안의 보기 선택순서, 클릭회수, 반응시간을 모두 학습자의 평가결과에 반영하여 효율적으로 학습자의 문제 이해도, 수험 성향을 평가하고 진단할 수 있는 온라인 테스트 평가 관리 시스템 및 방법을 제공하기 위한 것이다.

또한, 수험자의 객관식 시험행태를 분석하여 객관식 문제에 대한 풀이 기법을 향상시킬 수 있도록 하고 취득한 명목 점수 이외에 문제의 보기 이해도에 따른 부분점수 환산을 통하여 실제적인 실력을 평가하고 문제풀이 능력을 향상시키도록 하는 온라인 테스트 평가 관리 시스템 및 방법을 제공하기 위한 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 온라인 테스트 평가 관리 시스템은, 학습자의 로그인 정보와 개인 정보, 수험 정보를 저장하는 학습자 정보 데이터베이스, 온라인 테스트를 위한 평가 문항을 저장하는 문제 은행 데이터베이스, 온라인 테스트 시험 화면을 통하여 온라인 테스트를 수행하고 학습자가 온라인 테스트에 출력된 문제들에 대한 보기 입력순서, 보기 변경 클릭회수, 보기 선택 후 보기 입력에 걸린 반응시간 데이터를 수집하는 온라인 테스트부, 및 상기 온라인 테스트부로부터 수집된 학습자의 온라인 테스트 데이터를 분석하여 학습자의 학습수준과 학습능력, 수험 형태를 평가하고 진단하여 온라인으로 학습자 단말 또는 교수자 단말로 보고하는 반응패턴 분석부를 포함하는 것이다.

또한, 본 발명에 따른 온라인 테스트 평가 관리 시스템에 있어서, 상기 온라인 테스트부는, 온라인 테스트에 출력된 문제들에 대한 학습자의 보기 입력순서, 보기 변경 클릭회수를 체크하는 보기 입력 순서 체크 모듈과, 온라인 테스트에서 학습자의 보기 선택 후 보기 입력에 걸린 반응시간 데이터를 체크하는 반응시간 체크 모듈과, 상기 반응시간 체크 시에 한 문항에서 다른 문항으로 보기 선택을 하는 경우에 제한 시간을 리셋하는 리셋 처리 모듈과, 상기 보기 입력 순서와 반응 시간, 제한시간을 문항에 따라 각각 맵핑하여 저장하기 위한 맵핑 처리 모듈을 포함하는 것을 특징으로 하는 것이다.

또한, 본 발명에 따른 온라인 테스트 평가 관리 시스템에 있어서, 상기 반응 패턴 분석부는, 상기 반응패턴 분석부는 온라인 테스트로 출력되는 문제들에 대해 학습자가 입력한 보기의 정답여부를 판단하고 명목점수를 부여하는 명목점수 모듈, 온라인 테스트로 출력되는 문제들에 대해 학습자의 보기 입력순서, 보기 변경 클릭회수, 반응 시간 데이터를 분석하는 반응 패턴 분석 모듈, 상기 반응 패턴에 대하여 학습자의 보기 선택 변경, 보기 선택 변경 회수, 반응시간에 따라 가점 또는 감점을 고려한 부분점수를 환산하여 부여하는 부분점수 환산모듈, 상기 반응 패턴에 대하여 보기 입력 또는 보기 선택 변경 후 입력에 따른 학습자의 정답 적중률을 산출하는 확률 산출 모듈, 및 상기 반응 패턴에서 평가된 결과를 통하여 학습자의 보기 선택 또는 변경에 대한 정답 적중 확률, 부분 점수를 포함하는 수험 행태 분석 결과를 온라인으로 학습자 단말 또는 교수 단말로 보고하는 결과 리포팅 모듈을 포함하는 것을 특징으로 하는 것이다.

또한, 본 발명에 따른 온라인 테스트 평가 관리 시스템에 있어서, 상기 부분점수 환산 모듈은, 학습자가 입력하거나 변경하는 보기에 대한 정답 유사도에 따라 부분점수율을 미리 설정하는 유사도 맵핑 모듈, 학습자가 보기 입력 또는 보기 변경에 따른 최종 선택까지 소요되는 제한 시간을 설정하여 부분점수율을 설정하는 시간 제한 모듈, 및 상기 유사도 맵핑 모듈과 시간 제한 모듈에서 산정된 부분 점수율에 따라 명목점수에 대한 플러스 부분 점수과 마이너스 부분점수를 연산하는 부분점수 생성모듈을 포함하는 것을 특징으로 하는 것이다.

또한, 본 발명에 따른 온라인 테스트 평가 관리 시스템에 있어서, 상기 확률산출 모듈은 전체 문항수에서 보기 변경 후 맞은 문항수와 보기 변경 후 틀린 문항수에 대한 비율과 보기 선택 후 변경하지 않아서 맞은 문항수의 상대 확률을 비교하는 것을 특징으로 하는 것이다.

한편, 본 발명에 따른 온라인 테스트 평가 관리 방법은, a) 학습자 단말이 온라인으로 온라인 테스트 평가 관리 시스템에 접속하여 온라인 테스트를 수행하는 단계, b) 온라인 테스트에 제출된 문항들에 대한 상기 학습자가 수행하는 보기 입력순서, 보기 변경 클릭회수, 보기 선택 입력 반응시간에 대한 데이터를 기록, 저장하는 단계, 및 c) 상기 온라인 테스트로부터 저장된 학습자의 온라인 테스트 데이터를 분석하여, 획득한 명목점수, 보기선택, 보기 변경, 반응시간에 따른 부분점수를 환산한 수정 점수, 보기 선택, 변경에 따른 정답 적중률에 따른 수험 행태를 평가하고 진단하여 온라인으로 학습자 단말 또는 교수자 단말로 보고하는 단계를 포함하는 것이다.

또한, 본 발명에 따른 온라인 테스트 평가 관리 방법에 있어서, 상기 b) 단계는, b-1) 학습자가 온라인 테스트에 제출된 문항에 제시된 보기를 선택 입력하거나 선택 수정하는 순서를 체크하는 단계, b-2) 학습자가 온라인 테스트에 제출된 문항에 제시된 보기 선택 입력 각각에 대하여 응답하는 클릭회수, 반응시간을 체크하는 단계, b-3) 상기 반응시간 체크 시에 한 문항에서 다른 문항으로 보기 선택을 하는 경우에 제한 시간을 리셋하는 단계, 및 b-4) 상기 보기 입력 순서와 반응 시간, 제한시간을 문항 보기에 따라 각각 맵핑하여 저장하는 단계를 포함하는 것을 특징으로 하는 것이다.

또한, 본 발명에 따른 온라인 테스트 평가 관리 방법에 있어서, 상기 c) 단계는, c-1) 학습자가 온라인 테스트에 제출된 문항들에 대한 보기 입력 응답을 정답, 오답으로 판단하여 명목점수를 부여하는 단계, c-2) 학습자가 온라인 테스트에 제출된 문항들에 대한 학습자의 보기 입력순서, 보기 변경 클릭회수, 반응 시간 데이터에 따른 학습자 패턴을 생성하는 단계, c-3) 상기 학습자 패턴에 대하여 학습자의 보기 선택 변경, 보기 선택 변경 회수, 반응시간에 따라 가점 또는 감점을 고려한 부분점수를 환산하여 부여하는 단계, c-4) 상기 반응 패턴에 대하여 보기 입력 또는 보기 선택 변경 후 입력에 따른 학습자의 정답 적중률을 산출하는 단계, c-5) 상기 명목점수, 보기선택, 보기 변경, 반응시간에 따른 부분점수를 환산한 수정 점수, 보기 선택, 변경에 따른 정답 적중확률에 따른 수험 행태를 평가하고 진단하는 단계, 및 c-6) 상기 학습자의 온라인 테스트 결과와 학습자 패턴 분석 결과를 리포팅하고 피드백을 제공하는 단계를 포함하는 것을 특징으로 하는 것이다.

또한, 본 발명에 따른 온라인 테스트 평가 관리 방법에 있어서, 상기 c-3) 단계는, 온라인 테스트에 출제되는 문항의 보기에 대하여 미리 정답 유사도에 따라 부분점수율을 미리 맵핑하여 저장하는 단계, 온라인 테스트에 출제되는 문항의 보기에 대하여 보기 입력 또는 보기 변경에 따른 최종 선택까지 소요되는 제한 시간을 고려하여 부분점수율을 미리 맵핑하여 저장하는 단계, 및 상기 부분 점수율에 따라 명목점수에 대한 플러스 부분 점수와 마이너스 부분점수를 연산하고 실질점수를 생성하는 단계를 포함하는 것을 특징으로 하는 것이다.

또한, 본 발명에 따른 온라인 테스트 평가 관리 방법에 있어서, 상기 c-4) 단계는, 전체 문항수에서 보기 변경 후 정답으로 판정된 문항수의 적중률을 계산하는 단계, 전체 문항수에서 보기 변경 후 오답으로 판정된 문항수에 대한 비율을 계산하는 단계, 및 상기 정답 적중률과 오답 비율을 비교하여 전체 문항수에서 처음으로 보기 선택 후 정답으로 판정된 문항수에 대한 적중률을 계산하는 단계를 포함하는 것을 특징으로 하는 것이다.

본 발명은 객관식 답안의 보기 선택순서, 클릭회수, 반응시간을 모두 학습자의 평가결과에 반영하여 효율적으로 학습자의 문제 이해도, 수험 성향을 평가하고 진단할 수 있는 효과가 있다.

또한, 본 발명은 수험자의 객관식 시험행태를 분석하여 객관식 문제에 대한 풀이 기법을 향상시킬 수 있도록 하고 취득한 명목점수 이외에 문제의 보기 이해도에 따른 부분점수 환산을 통하여 실제적인 실력을 평가하고 문제풀이 능력을 향상시킬 수 있는 효과가 있다.

도1은 본 발명의 일 실시예에 따른 온라인 테스트 평가 관리 시스템 블록도이다.
도2는 상기 도1에 도시된 온라인테스트평가관리서버의 상세구성 블록도이다.
도3은 상기 도2에 도시된 온라인 테스트부의 상세 구성 블록도이다.
도4는 상기 도2에 도시된 반응패턴 분석부의 상세 구성 블록도이다.
도5는 상기 도4에 도시된 부분점수 환산모듈의 상세 구성 블록도이다.
도6a는 본 발명에 따른 온라인 테스트 평가 시스템에서 수험자의 응답 데이터의 실시예이고, 도6b는 본 발명에 따른 온라인 테스트 평가 시스템에서 수험자의 상세 분석 정보의 실시예이고, 도6c는 본 발명에 따른 온라인 테스트 평가 시스템에서 수험자의 행태분석 리포트의 실시예이다.
도7은 본 발명의 일실시예에 따른 온라인 테스트 평가 관리 방법의 흐름도이다.
도8은 본 발명의 일실시예에 따른 온라인 테스트 평가 관리 방법에서 문항별 온라인 테스트 과정이다.
도9는 본 발명의 일실시예에 따른 온라인 테스트 평가 관리 방법에서 학습자의 패턴을 생성, 분석하여 보고하는 흐름도이다.
도10은 본 발명의 일실시예에 따른 온라인 테스트 평가 관리 방법에서 실질점수 환산 과정이다.
도11은 본 발명의 일실시예에 따른 온라인 테스트 평가 관리 방법에서 정답 적중률 분석 과정이다.

이하, 본 발명에 대하여 첨부된 도면을 참조하여 도면에 도시된 실시예에 대하여 더욱 상세히 설명한다.

도1은 본 발명의 일실시 예에 따른 온라인 테스트 평가 관리 시스템을 나타낸다.

도1을 참조하면, 본 발명의 일시예에 따른 온라인 테스트 평가 관리 시스템은 인터넷 접속이 가능한 다수의 학습자 단말(10)과 교수자 단말(20), 상기 학습자 단말(10)에서 인터넷 접속하여 온라인 테스트를 처리하는 온라인 테스트 평가관리서버(100)와 상기 온라인테스트 평가관리서버(100)에 연동하는 문제은행데이터베이스(210), 학습자 정보 데이터베이스(220)를 포함한다.

여기에서, 상기 온라인 테스트 평가관리서버(100)는 학습자 단말(10)이 인터넷 접속을 하고 상기 문제 은행 데이터베이스(210)로부터 영역별, 수준별로 문항을 선택하고 특정 테스트를 위한 문제지를 형성하고 이를 온라인으로 출력하여 온라인 테스트에 의한 학습자의 응답에 대한 결과와 평가를 학습자 단말(10) 또는 교수자 단말(20)로 피드백하여 준다.

상기 학습자 정보 데이터베이스(220)는 학습자의 로그인 정보와 개인 정보 및 학습 수준을 저장한다.

도2는 상기 도1에 도시된 온라인 테스트 평가관리서버의 상세구성 블록도이다.

도2를 참조하면, 본 발명에 따른 온라인 테스트 평가 관리 시스템은, 문제은행 데이터베이스(210), 학습자정보 데이터베이스(220)와 연동하는 온라인 테스트부(110)와 반응패턴분석부(120)를 포함한다.

여기에서, 상기 온라인 테스트 평가 문항 관리 시스템에 접근하는 교수자의 로그인 정보 또는 개인 정보 등을 저장하기 위한 교수자 정보 데이터베이스도 채용할 수 있다.

상기 문제 은행 데이터베이스(210)는 온라인 테스트를 위해 문항을 추출하기 위해 영역별, 난이도별로 분류된 문항을 저장하는 데이터베이스이다.

상기 온라인 테스트로 출력되는 문제지의 문항 유형은 선택형(choice), 다중선택형(multiple choice) 중에서 선택될 수 있고, 바람직하게는 객관식 형태의 4지 선택 또는 5지 선택형이 될 수 있다.

이때, 상기 온라인 테스트부(110)는 온라인 테스트 시험 화면을 통하여 출력된 문제에 대하여 온라인 테스트를 수행하며 학습자의 온라인 테스트 평가로서 학습자가 온라인 테스트에 제출된 문항들에 대한 보기 입력순서, 보기 변경 클릭회수, 보기 선택 후 보기 입력에 걸린 반응시간 데이터를 수집하게 된다.

반응패턴 분석부(120)는 상기 온라인 테스트부(110)로부터 수집된 학습자의 온라인 테스트 데이터를 분석하여 학습자의 학습수준과 학습능력, 수험 행태를 평가하고 진단하여 온라인으로 학습자 단말(10) 또는 교수자 단말(20)로 보고하게 된다.

도3은 상기 도2에 도시된 온라인 테스트부의 상세 구성 블록도이다.

도3을 참조하면, 상기 평가문항관리서버(100)에 포함된 상기 온라인 테스트부(110)는 온라인 테스트에 출력된 문제들에 대한 학습자의 보기 입력순서, 보기 변경 클릭회수를 체크하는 보기 입력 순서 체크 모듈(112)을 포함한다.

또한, 상기 온라인 테스트부(110)는 온라인 테스트에서 학습자의 보기 선택 후 보기 입력에 걸린 반응시간 데이터를 체크하는 반응시간 체크 모듈(114)을 포함한다.

또한, 상기 온라인 테스트부(110)는 상기 반응시간 체크 시에 한 문항에서 다른 문항으로 변경하는 경우에 제한 시간을 리셋하는 리셋 처리 모듈(116)과 상기 보기 입력 순서와 반응 시간, 제한시간을 문항에 따라 각각 맵핑하여 저장하기 위한 맵핑 처리 모듈(118)을 포함한다.

본 발명에 따른 온라인 테스트 평가 문항 서버(100)의 온라인 테스트부(110)는 학습자 단말(10) 화면에 특정 인터페이스를 디스플레이하고, 학습자가 문항 유형에 따른 문항 풀기 버튼을 클릭하는 순간 문항 선택 인터페이스 화면에서 처리되는 문항 보기 선택과 변경, 클릭회수, 제한시간, 반응시간의 응답 입력 상황이 모두 저장되어 학습자의 반응 상태를 분석하는 자료가 된다.

도4는 상기 도2에 도시된 반응패턴 분석부의 상세 구성 블록도이다.

도4를 참조하면, 상기 평가문항관리서버(100)에 포함된 상기 반응패턴 분석부(120)는 명목점수 모듈(121), 반응 패턴 분석 모듈(122), 부분점수환산모듈(123), 확률산출모듈(124), 결과리포팅모듈(125)을 포함한다.

상기 명목점수 모듈(121)은 온라인 테스트로 출력되는 문제들에 대해 학습자가 입력한 보기의 정답여부를 판단하고 명목점수를 부여한다.

반응패턴분석모듈(122)은 온라인 테스트로 출력되는 문제들에 대해 학습자의 보기 입력순서, 보기 변경 클릭회수, 반응 시간 데이터를 분석하는 것이다.

학습자가 입력한 보기의 입력 순서와 반응 시간을 기록하여, 효율적으로 학습자의 성향 파악, 학습자의 수준을 진단할 수 있고, 이를 통해 학습자 수험 성향을 피드백한다.

또한, 문항의 보기 선택 과정을 모두 기록하여, 문항의 보기 선택을 번복하였을 경우, 정답 여부에 따른 결과를 별도로 기록하고, 관리하도록 한다. 보기 선택의 번복에 따른 정답 여부 결과에 따라 학습자의 능력과 성향 등을 분석하는 데이터로 사용하도록 한다.

그리고, 기존 응답자의 보기 선택 과정의 기록을 패턴화 시키고, 현재 학습자의 보기 선택 과정의 기록과 기존 응답자의 패턴을 분석하여 연관성 분석을 한다.

부분점수 환산모듈(123)은 상기 반응 패턴에 대하여 학습자의 보기 선택 변경, 보기 선택 변경 회수, 반응시간에 따라 가점 또는 감점을 고려한 부분점수를 환산하여 부여하게 된다.

부분점수의 환산은 정답 보기에 대한 유사도가 있는 보기를 선택한 경우에는 점수부여규칙에 따라 플러스 부분점수를 부여한다.

그러나, 정답보기도 아니고 유사도 보기에 해당되지 않은 선택을 하는 경우에는 마이너스 부분점수를 부여한다.

그리고, 상기 플러스점수와 마이너스 점수에 의한 부분점수를 합산한 경우 음수값이 나오면 0점 처리된다. 또한 문항에 대해 합산한 점수값이 문항에 따른 배점을 초과하는 경우는 문항에 대한 배점 점수를 채택한다.

또한, 최소문제풀이 시간 이하로 보기 선택과 보기입력된 경우에는 부분점수를 부여하지 않게 된다.

상기 확률산출모듈(124)은 상기 반응 패턴에 대하여 보기 입력 또는 보기 선택 변경 후 입력에 따른 학습자의 정답 적중률을 산출하는 것이다.

여기에서, 상기 확률산출 모듈(124)은 전체 문항수에서 보기 변경후 맞은 문항수와 보기 변경후 틀린 문항수에 대한 비율과 보기 선택후 변경하지 않아서 맞은 문항수의 상대 확률을 비교하게 된다.

결과리포팅모듈(125)은 상기 반응 패턴에서 평가된 결과를 통하여 학습자의 보기 선택 또는 변경에 대한 정답 적중 확률, 부분 점수를 포함하는 수험 행태 분석 결과를 온라인으로 학습자 단말(10) 또는 교수자 단말(20)로 보고하는 것이다.

도5는 상기 도4에 도시된 부분점수 환산모듈(123)의 상세 구성 블록도이다.

도5를 참조하면, 상기 부분점수 환산 모듈(123)의 유사도 맵핑 모듈(123a)은 학습자가 입력하거나 변경하는 보기에 대해서 미리 정답 유사도에 따라 부분점수율을 설정하는 것이다.

또한, 시간제한모듈(123b)은 학습자가 보기 입력 또는 보기 변경에 따른 최종 선택까지 소요되는 제한 시간을 설정하여 부분점수율을 설정하는 것이다.

그리고, 부분점수 생성모듈(123c)은 상기 유사도 맵핑 모듈과 시간 제한 모듈에서 산정된 부분 점수율에 따라 명목점수에 대한 플러스 부분 점수와 마이너스 부분점수를 연산한다.

도6a는 본 발명에 따른 온라인 테스트 평가 시스템에서 수험자의 응답 데이터의 실시예이고, 도6b는 본 발명에 따른 온라인 테스트 평가 시스템에서 수험자의 상세 분석 정보의 실시예이고, 도6c는 본 발명에 따른 온라인 테스트 평가 시스템에서 수험자의 행태분석 리포트의 실시예이다.

상기 도6a를 참조하면, 수험자인 '홍길동'의 문제에 대한 보기 선택, 보기 변경, 클릭회수, 입력 과정과 반응시간 데이터를 모두 수집하여 저장한 다.

또한, 도6b를 참조하면, 온라인 테스트 평가 시스템에서 제시하는 수험자의 상세 분석 정보에는 각 문항에 대하여 정답을 입력한 경우에 획득한 명목점수, 정답 보기에 유사도를 고려하여 부여된 수정점수가 나타나 있다.

또한, 각 문제에 대한 보기 변경에 따른 클릭회수와 보기 변경 과정과 각 보기 선택에 대하여 경과된 반응시간도 나타나 있다.

도6b에 의하면, 정답 보기와 유사성 보기에 대하여 점수부여규칙에 따라 플러스 부분점수를 부여한 결과를 나타내고 있다.

도6c에서, 명목점수에 부분점수를 고려한 수정점수인 실질점수에 대한 내역 설명과 수험자의 보기 선택 행태 분석에 따라 성적 향상을 위한 수험 방법을 안내한다.

부분점수의 환산은 정답 보기에 대한 유사도가 있는 보기를 선택한 경우에는 점수부여규칙에 따라 플러스 부분점수를 부여하고 있다.

예를들어, 1번 문항에서, 정답이 ②인데 ②->③으로 수정하여 정답이 아닌 오답으로 수정하였지만, 정답 ②와 정답 유사성이 높은 보기 ③을 선택하였기에 실질점수에서는 부분점수 2점(정답 선택 +1점, 정답 유사 보기 선택 +1점)을 플러스 부분점수로 부여하여 명목점수는 0점이지만 부분점수를 고려한 실질점수는 2점을 획득한 것으로 평가한다.

그런데, 3번 문항의 경우 정답 ②를 맞추어 명목점수는 4점이지만, 정답 유사성이 없는 보기 ①을 선택하여 실질점수에서는 마이너스 부분점수 1점을 차감한 결과 실질점수는 3점을 획득한 것으로 평가한다.

또한, 24번 문항의 경우 비록 정답을 맞추었으나 문제를 푼 시간이 5초로 나타나 있으므로, 문제를 이해하고 푼 것이 아니라 직관적이거나 우연에 의하여 보기를 선택한 것으로서, 정상적으로 문제를 풀었다고 볼 수 없다고 평가하여 실질점수에서는 4점이 아닌 0점을 부여하게 된다.

한편, 수험자의 행태분석에서는 보기 입력 또는 보기 선택 변경 후 입력에 따른 학습자의 정답 적중률이 요약정보에 나타나 있고, 이에 대하여 수험자 행태 분석을 통하여 성적향상 또는 객관식 시험에서 고득점을 위한 처방을 제시하고 있다.

도7은 본 발명의 일실시예에 따른 온라인 테스트 평가 관리 방법의 흐름도이다.

먼저, 학습자 단말(10) 또는 교수자 단말(20)은 온라인 테스트 평가 관리 서버(100)에 사용자 로그인을 하고 사용자 권한 확인을 진행한다(S10).

다음으로, 온라인 테스트 평가 관리 시스템은 지정된 문제지를 온라인 테스트로 출력하여 학습자 단말(10)에서 온라인 테스트를 수행하는 단계를 진행한다(S20).

이때, 온라인 테스트에 제출된 문항들에 대해 상기 학습자가 테스트를 수행하면서 입력하는 보기 입력순서, 클릭회수, 반응시간에 대한 평가 데이터를 기록, 저장하는 단계를 진행한다(S30, S40).

학습자 단말(10)에서 온라인 테스트에 대한 응답 입력으로서 보기 선택이 모두 종료되어 온라인 테스트가 완료되었는지를 판단하고 상기 온라인 테스트로부터 저장된 학습자의 온라인 테스트 평가 데이터로부터 반응 패턴을 생성한다(S50, S60).

상기 온라인 테스트로부터 저장된 학습자의 온라인 테스트 데이터를 분석하여, 명목점수, 보기선택, 보기 변경, 반응시간에 따른 부분점수를 환산하여 수정된 실질점수, 보기 선택, 변경에 따른 정답 적중률에 따른 수험 행태를 평가하고 진단하여 온라인으로 학습자 단말 또는 교수자 단말로 보고하게 된다(S70, S80).

도8은 본 발명의 일실시예에 따른 온라인 테스트 평가 관리 방법에서 온라인 테스트 과정이다.

도8을 참조하면, 온라인 테스트로 지정된 문제지를 온라인 테스트 평가 문항 관리 시스템에서 출력하면 학습자 단말(10)의 인터페이스를 통해 테스트를 시작한다(S110).

이때, 온라인 테스트 평가 관리 시스템은 학습자가 온라인 테스트에 제출된 문항에 제시된 보기를 선택 입력하거나 선택 수정하는 순서를 체크한다(S120).

또한, 온라인 테스트 평가 관리 시스템은 학습자가 온라인 테스트에 제출된 문항에 제시된 보기 선택 입력 각각에 대하여 응답하는 클릭회수, 반응시간을 체크한다(S130).

상기 반응시간 체크 시에 한 문항에서 다른 문항으로 보기 선택을 하는 경우에 제한 시간을 리셋한다(S140).

마지막으로, 상기 보기 입력 순서와 반응 시간, 제한시간을 문항에 따라 각각 맵핑하여 저장한다(S150).

여기에서, 상기 맵핑 저장에는 문항의 각 보기에 대하여 미리 설정된 유사도를 함께 맵핑하여 저장하게 된다.

온라인으로 출력된 테스트 결과를 모두 저장하고 온라인 테스트는 종료된다(S160).

모든 문항을 풀어 종료하거나 또는 예정된 시간이 만료 되어 자동 종료 되는 경우에 전체 온라인 테스트가 종료된다.

도9는 본 발명의 일실시예에 따른 온라인 테스트 평가 관리 방법에서 학습자의 패턴을 생성, 분석하여 보고하는 흐름도이다.

먼저, 학습자가 온라인 테스트의 맵핑 저장된 데이터에 대하여 보기 입력 응답을 정답, 오답으로 판단하여 명목점수를 부여한다(S210).

다음, 학습자가 온라인 테스트에 제출된 문항들에 대한 학습자의 보기 입력순서, 보기 변경 클릭회수, 반응 시간 데이터에 따른 학습자 패턴을 생성한다(S220).

상기 학습자 패턴은 보기 입력순서와 클릭회수, 반응시간데이터를 모든 문항에 대하여 분석한 결과로서 도6b와 같은 표 형태나 그래프 형태로 표현될 수 있다.

다음에, 상기 학습자 패턴에 대하여 학습자의 보기 선택 변경, 보기 선택 변경 회수, 반응시간에 따라 가점 또는 감점을 고려한 부분점수를 환산하여 부여한다(S230).

도6b에서는 학습자 패턴과 함께 부분점수와 이를 반영한 실질점수를 함께 분석하고 있다.

다음으로, 상기 학습자 패턴에 대하여 보기 입력 또는 보기 선택 변경 후 입력에 따른 학습자의 정답 적중률을 산출하게 된다(S240).

도6c에서, 보기 입력 또는 보기 선택 변경 후 입력에 따른 학습자의 정답 적중률이 요약정보로 제시하고 있다.

다음으로, 획득한 명목점수, 보기선택, 보기 변경, 반응시간에 따른 부분점수를 환산한 실질 점수, 보기 선택, 변경에 따른 정답 적중확률에 따른 수험 행태를 평가하고 진단한다(S250).

최종적으로, 상기 학습자의 온라인 테스트 결과와 수험 행태 분석 결과를 리포팅하고 피드백을 제공한다(S260).

도10은 본 발명의 일실시예에 따른 온라인 테스트 평가 관리 방법에서 실질점수 환산 과정이다.

먼저, 온라인 테스트에 출제되는 문항의 보기에 대하여 미리 정답 유사도에 따라 부분점수율을 미리 맵핑하여 저장한다(S231).

또한, 온라인 테스트에 출제되는 문항의 보기에 대하여 보기 입력 또는 보기 변경에 따른 최종 선택까지 소요되는 제한 시간을 고려하여 부분점수율을 미리 맵핑하여 저장한다(S232).

다음에, 상기 부분 점수율에 따라 명목점수에 대한 플러스 부분 점수와 마이너스 부분점수를 연산하고 실질점수를 생성한다(S233).

도11은 본 발명의 일실시예에 따른 온라인 테스트 평가 관리 방법에서 정답 적중률 분석 과정이다.

도6c의 실시예를 함께 참조하면, 학습자의 상세 분석 결과를 바탕으로 전체 문항수에서 보기 변경 후 정답으로 판정된 문항수의 적중률을 계산한다(S241).

또한, 전체 문항수에서 보기 변경후 오답으로 판정된 문항수에 대한 비율을 계산한다(S242).

다음으로, 상기 정답 적중률과 오답 비율을 비교하여 전체 문항수에서 1차 보기 선택에서 정답으로 판정된 문항수에 대한 적중률을 계산한다(S243).

도6c를 참조하면, 보기 입력 또는 보기 선택 변경 후 입력에 따른 학습자의 정답 적중률이 요약정보에서 각각 계산되어 있고, 이에 대하여 수험자 행태 분석을 통하여 성적향상 또는 객관식 시험에서 고득점을 위한 가이드를 제시하게 된다.

이상에서 본 발명은 기재된 구체적인 실시 예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.

10 : 학습자 단말 20 : 교수자 단말
100 : 온라인테스트평가관리서버 110 : 온라인 테스트부
112 : 보기입력순서체크모듈 114 : 반응시간체크모듈
116 : 리셋처리모듈 118 : 맵핑처리부
120 : 반응패턴 분석부 121 : 명목점수 모듈
122 : 반응패턴 분석모듈 123 : 부분점수환산모듈
123a : 유사도 맵핑모듈 123b : 시간제한모듈
123c : 부분점수생성모듈 124 : 확률산출모듈
125 : 결과리포팅모듈 210 : 문제은행 데이터베이스
220 : 학습자정보 데이터베이스

Claims (10)

1. 삭제
2. 학습자의 로그인 정보와 개인 정보, 수험 정보를 저장하는 학습자 정보 데이터베이스;
   온라인 테스트를 위한 평가 문항을 저장하고 온라인 테스트를 수행할 때 온라인 테스트 시험 화면으로 출력하는 문제 은행 데이터베이스;
   온라인 테스트 시험 화면을 통하여 온라인 테스트를 수행하고 학습자가 온라인 테스트에 출력된 문제들에 대한 보기 입력순서, 보기 변경 클릭회수, 보기 선택 후 보기 입력에 걸린 반응시간 데이터를 수집하는 온라인 테스트부; 및
   상기 온라인 테스트부로부터 수집된 학습자의 온라인 테스트 데이터를 분석하여 학습자의 학습수준과 학습능력, 수험 행태를 평가하고 진단하여 온라인으로 학습자 단말 또는 교수자 단말로 보고하는 반응패턴 분석부를 포함하고, 상기 온라인 테스트부는,
   온라인 테스트에 출력된 문제들에 대한 학습자의 보기 입력순서, 보기 변경 클릭회수를 체크하는 보기 입력 순서 체크 모듈과,
   온라인 테스트에서 학습자의 보기 선택 후 보기 입력에 걸린 반응시간 데이터를 체크하는 반응시간 체크 모듈과,
   상기 반응시간 체크 시에 한 문항에서 다른 문항으로 보기 선택을 하는 경우에 제한 시간을 리셋하는 리셋 처리 모듈과, 상기 보기 입력 순서와 반응 시간, 제한시간을 문항에 따라 각각 맵핑하여 저장하기 위한 맵핑 처리 모듈을 포함하는 것을 특징으로 하는 온라인 테스트 평가 관리 시스템.
3. 학습자의 로그인 정보와 개인 정보, 수험 정보를 저장하는 학습자 정보 데이터베이스;
   온라인 테스트를 위한 평가 문항을 저장하고 온라인 테스트를 수행할 때 온라인 테스트 시험 화면으로 출력하는 문제 은행 데이터베이스;
   온라인 테스트 시험 화면을 통하여 온라인 테스트를 수행하고 학습자가 온라인 테스트에 출력된 문제들에 대한 보기 입력순서, 보기 변경 클릭회수, 보기 선택 후 보기 입력에 걸린 반응시간 데이터를 수집하는 온라인 테스트부; 및
   상기 온라인 테스트부로부터 수집된 학습자의 온라인 테스트 데이터를 분석하여 학습자의 학습수준과 학습능력, 수험 행태를 평가하고 진단하여 온라인으로 학습자 단말 또는 교수자 단말로 보고하는 반응패턴 분석부를 포함하고, 상기 반응 패턴 분석부는,
   온라인 테스트로 출력되는 문제들에 대해 학습자가 입력한 보기의 정답여부를 판단하고 명목점수를 부여하는 명목점수 모듈;
   온라인 테스트로 출력되는 문제들에 대해 학습자의 보기 입력순서, 보기 변경 클릭회수, 반응 시간 데이터를 분석하는 반응 패턴 분석 모듈;
   상기 반응 패턴에 대하여 학습자의 보기 선택 변경, 보기 선택 변경 회수, 반응시간에 따라 가점 또는 감점을 고려한 부분점수를 환산하여 부여하는 부분점수 환산모듈;
   상기 반응 패턴에 대하여 보기 입력 또는 보기 선택 변경 후 입력에 따른 학습자의 정답 적중률을 산출하는 확률 산출 모듈; 및
   상기 반응 패턴에서 평가된 결과를 통하여 학습자의 보기 선택 또는 변경에 대한 정답 적중 확률, 부분 점수를 포함하는 수험 형태 분석 결과를 온라인으로 학습자 단말 또는 교수 단말로 보고하는 결과 리포팅 모듈을 포함하는 것을 특징으로 하는 온라인 테스트 평가 관리 시스템.
4. 제 3 항에 있어서,
   상기 부분점수 환산 모듈은,
   학습자가 입력하거나 변경하는 보기에 대한 정답 유사도에 따라 부분점수율을 미리 설정하는 유사도 맵핑 모듈;
   학습자가 보기 입력 또는 보기 변경에 따른 최종 선택까지 소요되는 제한 시간을 설정하여 부분점수율을 설정하는 시간 제한 모듈; 및
   상기 유사도 맵핑 모듈과 시간 제한 모듈에서 산정된 부분 점수율에 따라 명목점수에 대한 플러스 부분 점수과 마이너스 부분점수를 연산하는 부분점수 생성모듈을 포함하는 것을 특징으로 하는 온라인 테스트 평가 관리 시스템.
5. 제 3 항에 있어서,
   상기 확률산출 모듈은 전체 문항수에서 보기 변경 후 맞은 문항수와 보기 변경 후 틀린 문항수에 대한 비율과 보기 선택 후 변경하지 않아서 맞은 문항수의 상대 확률을 비교하는 것을 특징으로 하는 온라인 테스트 평가 관리 시스템.
6. 삭제
7. a) 학습자 단말이 온라인으로 온라인 테스트 평가 관리 시스템에 접속하여 온라인 테스트를 수행하는 단계;
   b) 온라인 테스트에 제출된 문항들에 대한 상기 학습자가 수행하는 보기 입력순서, 보기 변경 클릭회수, 보기 선택 입력 반응시간에 대한 데이터를 체크, 저장하는 단계; 및
   c) 상기 온라인 테스트로부터 저장된 학습자의 온라인 테스트 데이터를 분석하여, 명목점수, 보기선택, 보기 변경, 반응시간에 따른 부분점수를 환산하여 수정된 실질점수, 보기 선택, 변경에 따른 정답 적중률에 따른 수험 행태를 평가하고 진단하여 온라인으로 학습자 단말 또는 교수자 단말로 보고하는 단계를 포함하며, 상기 b) 단계는,
   b-1) 학습자가 온라인 테스트에 제출된 문항에 제시된 보기를 선택 입력하거나 선택 수정하는 순서를 체크하는 단계;
   b-2) 학습자가 온라인 테스트에 제출된 문항에 제시된 보기 선택 입력 각각에 대하여 응답하는 클릭회수, 반응시간을 체크하는 단계;
   b-3) 상기 반응시간 체크 시에 한 문항에서 다른 문항으로 보기 선택을 하는 경우에 제한 시간을 리셋하는 단계;
   b-4) 상기 보기 입력 순서와 반응 시간, 제한시간을 문항 보기에 따라 각각 맵핑하여 저장하는 단계를 포함하는 것을 특징으로 하는 온라인 테스트 평가 관리 방법.
8. a) 학습자 단말이 온라인으로 온라인 테스트 평가 관리 시스템에 접속하여 온라인 테스트를 수행하는 단계;
   b) 온라인 테스트에 제출된 문항들에 대한 상기 학습자가 수행하는 보기 입력순서, 보기 변경 클릭회수, 보기 선택 입력 반응시간에 대한 데이터를 체크, 저장하는 단계; 및
   c) 상기 온라인 테스트로부터 저장된 학습자의 온라인 테스트 데이터를 분석하여, 명목점수, 보기선택, 보기 변경, 반응시간에 따른 부분점수를 환산하여 수정된 실질점수, 보기 선택, 변경에 따른 정답 적중률에 따른 수험 행태를 평가하고 진단하여 온라인으로 학습자 단말 또는 교수자 단말로 보고하는 단계를 포함하며, 상기 c) 단계는,
   c-1) 학습자가 온라인 테스트에 제출된 문항들에 대한 보기 입력 응답을 정답, 오답으로 판단하여 명목점수를 부여하는 단계;
   c-2) 학습자가 온라인 테스트에 제출된 문항들에 대한 학습자의 보기 입력순서, 보기 변경 클릭회수, 반응 시간 데이터에 따른 학습자 패턴을 생성하는 단계;
   c-3) 상기 학습자 패턴에 대하여 학습자의 보기 선택 변경, 보기 선택 변경 회수, 반응시간에 따라 가점 또는 감점을 고려한 부분점수를 환산하여 부여하는 단계;
   c-4) 상기 학습자 패턴에 대하여 보기 입력 또는 보기 선택 변경 후 입력에 따른 학습자의 정답 적중률을 산출하는 단계;
   c-5) 획득한 명목점수, 보기선택, 보기 변경, 반응시간에 따른 부분점수를 환산한 수정 점수, 보기 선택, 변경에 따른 정답 적중확률에 따른 수험 형태를 평가하고 진단하는 단계; 및
   c-6) 상기 학습자의 온라인 테스트 결과와 학습자 패턴 분석 결과를 리포팅하고 피드백을 제공하는 단계를 포함하는 것을 특징으로 하는 온라인 테스트 평가 관리 방법.
9. 제 8 항에 있어서,
   상기 c-3) 단계는,
   온라인 테스트에 출제되는 문항의 보기에 대하여 미리 정답 유사도에 따라 부분점수율을 미리 맵핑하여 저장하는 단계;
   온라인 테스트에 출제되는 문항의 보기에 대하여 보기 입력 또는 보기 변경에 따른 최종 선택까지 소요되는 제한 시간을 고려하여 부분점수율을 미리 맵핑하여 저장하는 단계; 및
   상기 부분 점수율에 따라 명목점수에 대한 플러스 부분 점수와 마이너스 부분점수를 연산하고 실질점수를 생성하는 단계를 포함하는 것을 특징으로 하는 온라인 테스트 평가 관리 방법.
10. 제 8 항에 있어서,
    상기 c-4) 단계는,
    전체 문항수에서 보기 변경 후 정답으로 판정된 문항수의 적중률을 계산하는 단계;
    전체 문항수에서 보기 변경후 오답으로 판정된 문항수에 대한 비율을 계산하는 단계; 및
    상기 정답 적중률과 오답 비율을 비교하여 전체 문항수에서 1차 보기 선택에서 정답으로 판정된 문항수에 대한 적중률을 계산하는 단계를 포함하는 것을 특징으로 하는 온라인 테스트 평가 관리 방법.

Images